[성과측정] ‘평가적 사고’를 반영한 평가와 수립 방법 01 – 평가 수립/수행 과정
실무도구 / by NPO지원센터 / 2019.10.11

우리의 활동이 정말 사회에 변화를 일으키고 있을까? 우리의 활동이 수혜자들의 변화를 불러왔을까? 프로그램이 계획대로 진행되고 있을까? 잘못되고 있다면, 어디서 문제가 발생했으며, 어떻게 개선해야하는가? 효과를 향상시키기 위해서는 어떻게 할 수 있을까? 이 질문은 사회성과를 효과적으로 달성하는 과정에 반드시 답을 해야합니다. 그리고 평가(Evaluation)은 바로 질문에 답을 하는 방법이자 과정입니다. 평가는 결과를 통한 비교가 목적이 아닙니다. 평가는 도출된 내용을 학습(Learning)하고, 반영(Reflect)하여 기존보다 더 나은 대안을 마련하기 위한 자기발전적 행위입니다. 그러면 더 나은 프로그램, 더 나은 의사결정을 위한 평가는 진행하는 것이며, 어떤 과정을 거칠까요? 미국의 대표적인 비영리 재단인 켈로그 재단에서 200여 페이지에 달하는 평가 안내서를 배포하고 있어 소개합니다.

*이 글은 켈로그 재단 (W.K. Fellogg Foundation)에서 출간하여 무료로 배포하는 평가설계 안내지침서인 <The Step-by-Step Guide to Evaluation>를 일부 번역·편집하였습니다. 인용 및 배포 시 원문 출처를 반드시 밝혀주시기 바랍니다.

 

원문 바로가기

<The Step-by-Step Guide to Evaluation> 다운로드 바로가기

 

평가적 사고(Evaluative Thinking)’, 

어떤 결과를 기대하는지, 어떻게 결과를 성취할지, 결과가 향상될 수 있도록 하기 위한 미래의 행동을 위해서 어떤 정보와 근거가 필요한지에 대해서 사고하는 과정이 평가적 사고(Evaluative Thinking)’입니다. , ‘평가적 사고는 전략, 계획, 프로그램, 정책, 조직체에 대해서 이해하고 설명하기 위해 정보를 수집하고 분석하는 체계적 과정입니다.

 

평가적 사고는 다음의 내용으로 구성됩니다.

- 무엇이 기능하고, 무엇이 기능하지 않을 지에 대한 논리적 제반 조건을 규명

- 당신의 목적 활동 기간 중 또는 종료 후, 당신이 기대하는 변화가 무엇인지에 대한 심도있는 질문

- 심사숙고한 반추 및 반영을 통한 깊은 이해를 추구

- 활동의 결과로 얻은 것에 대한 과장과 축소 없는 의사소통

- 충분한 정보 및 근거에 기반한 행동 의사결정

 

평가적 사고는 다음의 기능을 통해서 특정 이슈와 집단에 대한 구체적인 상황설명이 가능하게 합니다.

- 특정 주제, 집단과 관련해서 널리 퍼져있는 통념에 대한 구체적 파악

- 대안적인 설명을 위한 정보를 제공

- 경험과 현장으로부터의 내용을 통한 교육과 학습을 통한 사고체계 전환 


평가 중점 방향 및 평가에 대한 이해 

1) 중점 방향

- (유용성) 평가로부터 도출된 내용 반드시 실용적이고, 현장 관계자 및 수혜자에게 유용해야 함

- (정보성) 관련 주체들의 의사결정과 역량구축을 위한 정보로 활용될 수 있어야 함.

 

2) 이해

- 병렬적으로 수행하는 과정임 동시에 실제적 활동이 기반으로 삼아야하는 수행과정

- 시간적 지속성을 가지는 삶의 질 향상노력을 촉진하기 위한 병렬적으로 수행되는 정보 체계

- 이해관계자와 관련된 현재의 가치와 현실상황에 대한 연구로부터 얻어낸 교훈

 

 

(그림 1.‘평가적 사고기반 평가 과정)

[출처: The Step-by-Step Guide to Evaluation, 40p.]

 

평가 과정 단계별 주요 확인 사항*

*그림 1 참고

**각 단계별 상세 사항은 안내서의 목차상 해당 장 참조

 

평가 준비 단계 (A 단계) - 안내서 제5 

가장 유용하고 적절한 평가가 될 수 있도록 하기 위해서 자신의 조직 또는 협력기관이 평가역량을 가지고 확보하고 있는지를 평가 착수 전 확인해야합니다.


평가 착수 전 확인 사항

- 누가 평가를 위한 재원을 제공하는가? 왜 제공하는가?

- 평가 결과로 혜택을 보는 사람이 누구인가?

- 잠재적 위험요소는 무엇인가?

- 현재 진행하고 있는 것과 평가에 영향을 미칠 수 있는 다른 어떤 것이 있는가?

- 어떤 유형(목적)의 평가가 필요한가? (수행정도 모니터링, 형성 평가(形成 評價), 과정 총괄 평가, 성과 평가 중 해당하는가? 또는 모두 해당하는가?)

- 어떤 평가 접근법을 선호하는가? 어떤 평가 방법론이 당신의 필요에 부합하는가?

- 내부 평가인가? 외부 평가인가?

 

이해관계자 파악 및 확정 단계 (B 단계) - 안내서 제6 

평가과정이 협력적이며, 유용한 학습과정이 되도록 하기 위해, 모든 이해관계자를 파악하고 함께 관여해야 합니다. 그리고 평가에 영향을 줄 수 있을 주요 사항에 대한 다양한 관점을 가질 수 있도록 이해관계자들과 연계해야합니다. 또한 평가의 결과를 통해서 이해관계자들이 알고 싶어 하는 것이 무엇인지를 파악하기 위해서도 이해관계자와 연계해야합니다.


유용한 평가 결과 도출을 위한 이해관계자 관련 주요 확인 사항

- 당신의 전략, 계획, 프로그램을 통해서 어떤 결과를 기대하고 있는가?

- 성공적 결과의 예상되는 모습은 어떤 모습인가? 당신이 기대하는 성과를 달성했을 때 어떻게 알 수 있는가?

- 기대하는 성공적 결과 달성을 돕거나 방해할 것으로 예상되는 요소가 무엇인가?

- 가장 좋은 정보 제공처가 무엇인가? 혹은 누구 인가?

- 지금 진행하려는 평가가 지역사회에 이로울 것으로 보이는가? 아니면 해로울 것으로 보이는가? 그렇다면 이유는 무엇인가?

- 평가자 또는 평가 수행 스텝이 정보를 수집할 때 반드시 고려해야할 사회적 전통, 규범, 기타 사회적 행동 양식 등이 있는가?

- 평가 또는 평가자를 부정적으로 간주할 잠재적 요인이 있는가? 왜 있는가? 그럴 잠재적 요소가 있다면 그 가능성을 줄이기 위해 무엇을 할 수 있는가?

 

이해관계자와의 원활한 관여를 위한 팁

- 평가 기획과정/평가 수행/평가 결과 해석/향후 의사결정에서 이해관계자의 역할 파악하기

- 적합한 이행관계자가 가능한 모두 포함되어 있음을 검토하기

- 이해관계자의 가치를 이해하고 존중하기

- 이해관계자 참여 방법을 수립하기

- 이해관계자 참여 및 활동 영역 확인하기

- 필요에 따라 이해관계자와 함께 하기

- 정기적 참여를 위한 주요 이해관계자 정하기

- 평가에 필요한 질문을 제안하도록 이해관계자에게 문의

 

프로그램 논리 배경/가정 파악 단계 (C, D 단계)* - 안내서 제7 

<변화이론> 또는 <논리모형>은 바라는 변화의 구체적 내용과 그 변화에 이르기 위해 거쳐갈 단계/과정을 논리적 배경과 가정을 바탕으로 구체화하고 있습니다. 또한 각 단계에 도달하기 위해 해야 할 일을 규정합니다. 각 단계가 다음 단계로 연결될 수 있도록 하는 조건도 규정하는데, 조건의 달성 정도를 파악하기 위해 지표를 설정하게 되고, 측정방법이 명시됩니다.

 

위와 같은 특징으로 인해서, <변화 이론> 또는 <논리 모형>은 그 자체로 평가의 대상임 동시에 평가 계획으로써 기능합니다.

 

평가와 관련하여 <변화 이론>/<논리 모형>은 아래의 기능을 합니다.

- 기획, 운영/관리, 평가 기능을 조직하고 시스템화할 수 있도록 지원

- 측정방법틀(적정 지표/측정수단/정보출처/정보수집방법/정보수집빈도) 개발 및 측정계획 수립을 안내

- 변화 과정 및 성과에 영향을 줄 수 있거나, 변화가 요구되는 맥락이 구체적으로 드러날 수 있도록 함.

- 평가를 통해 나온 발견사항을 보고하고 발견사항을 반영하는 과정을 안내 

*<C, D 단계>는 앞서 설명한 <변화 이론>을 통해서 구체적으로 윤곽이 드러납니다. 자세한 사항은 관련 포스팅에서 참고해주세요.

<변화이론> 관련 포스팅 바로가기

 

정보 분석 단계 (E 단계) - 안내서 제8 

평가 계획 수립이 완성되면, 프로그램 운영과 동시에 정보 수집이 시작됩니다. 그렇게 수집된 정보에 대한 분석이 수반됩니다. 분석은 선형(Linear)분석 또는 직접분석(Strightforward)형태가 될 수 있습니다


유형별 분석 방법 비교 (선형분석 vs. 직접 분석)

 

구분

선형 분석

직접 분석

목적

프로그램 효과가 미친 성과 규명

옹호활동, 전략변화에 따른 변화 규명

과정

1) 프로그램 시작 전 수혜대상자로부터 정보 수집 (기초선 파악)

2) 프로그램 진행과정 또는 프로그램 종료 후 정보 수집 (중간선, 종료선 파악)

3) 코드화된 질적 정보(Qualitative) 또는 통계를 활용한 정보 분석

1) 새로운 전략 시작 전 시스템을 맵핑

2) 변화를 의도하는 시스템의 부분을 결정

3) 바라는 변화를 초진하거나 막는 여소를 파악 / 통제 범위에 있는 요소와 통제 범위 밖의 요소를 파악

4) 변화의 발생 여부 및 발생 시점에 대한 이해를 돕는 주요 지점으로부터 정보를 수집

5) 질적(Qualitative) 또는 양적 (Quantitative) 방법을 활용한 정보 분석

6) 변화가 발생했는지, 또는 어디에서 발생했는지를 파악하기 위해 시스템 다시 맵핑

 

분석 팁

- 설문조사를 통한 정보 수집의 경우, 분석 착수 전 결과를 검토(review)하고 다듬(clean)는다.*

  *설문조사 미경험자의 경우, 전문 평가자의 자문 필요 

- 질적 정보 수집 시, 가능한 기록을 검토하고, 혹시 있을 정보의 빈틈을 채우기 위해 인터뷰 대상자를 지속관리하고, 대상 상황 또는 인터뷰 당시 상황을 검토한다.*

  *외부평가자와 협업시, 인터뷰 품질 관리를 위해 인터뷰 과정에 대한 설명을 요구

- 분석을 위한 충분한 시간과 재원을 준비한다.

- 분석 결과를 설명할 때, “중요한이라는 단어의 사용 기준을 명확하게 한다. 만약 통계적으로는 유의미하지 않은데, 중요한 내용으로 판단되는 경우는 실제적으로 중요또는 프로그램 상 중요등의 대체 표현을 사용한다.

 

평가 결과에 대한 요약(Summarize), 토의(Communicate), 반영(Reflect) 단계 (F, G단계)* - 안내서 제9

분석을 통해서 발견한 사항(Findings)은 내용 도출 그 자체로도 의미가 있습니다. 하지만 학습과 개선을 위한 반영이라는 평가의 본질적 목적에 부합하기 위해서 평가 결과에 대해서 이해관계자와의 토의와 해석의 과정을 거쳐야 합니다. 이러한 과정은 평가 결과에 대한 관련자의 학습을 촉진할 뿐 아니라, 학습된 교훈과 결과의 함의를 확신하게 만듭니다.

 

학습·토의·반역은 더 나은 활동을 위한 의사결정으로 이어져야 합니다. 평가를 통해서 발견한 사항을 바탕으로 프로그램의 <변화이론>/<논리모형>을 개선하거나, 구체적 활동을 조정하면서 프로그램을 개선/향상시킬 수 있습니다. 

* 자세한 사항은 안내서의 제9장을 참조해주세요

켈로그 재단(W.K. Kellog Foundation), 

켈로그 재단은 미국의 비영리재단으로서, 어린이, 가족, 지역사회를 지원합니다. 특히 취약계층 어린이들이 개인적 성취는 물론 지역사회와 더 큰 사회를 위해 긍정적으로 기여할 수 있는 시민으로 성장할 수 있는 환경을 조성하고 역량을 향상시키기 위한 활동을 하고 있습니다. 모든 어린이들이 공평하고 촉망되는 미래를 누릴 수 있는 세상을 구현하고자 노력하고 있습니다.

재단 바로가기
 


작성자 : NPO지원센터, 작성일 : 2019.10.11, 조회수 : 815

코멘트를 달아주세요!



 목록으로