[성과측정] 평가적 사고를 반영한 평가 과정 02 – 무엇을 평가하고 싶은가?
실무도구 / by NPO지원센터 / 2019.10.28

우리의 활동이 정말 사회에 변화를 일으키고 있을까? 우리의 활동이 수혜자들의 변화를 불러왔을까? 프로그램이 계획대로 진행되고 있을까? 잘못되고 있다면, 어디서 문제가 발생했으며, 어떻게 개선해야하는가? 효과를 향상시키기 위해서는 어떻게 할 수 있을까? 이 질문은 사회성과를 효과적으로 달성하는 과정에 반드시 답을 해야합니다. 그리고 평가(Evaluation)은 바로 질문에 답을 하는 방법이자 과정입니다. 평가는 결과를 통한 비교가 목적이 아닙니다. 평가는 도출된 내용을 학습(Learning)하고, 반영(Reflect)하여 기존보다 더 나은 대안을 마련하기 위한 자기발전적 행위입니다. 그러면 더 나은 프로그램, 더 나은 의사결정을 위한 평가는 진행하는 것이며, 어떤 과정을 거칠까요? 미국의 대표적인 비영리 재단인 켈로그 재단에서 200여 페이지에 달하는 평가 안내서를 배포하고 있어 소개합니다

*이 글은 켈로그 재단 (W.K. Fellogg Foundation)에서 출간하여 무료로 배포하는 평가설계 안내지침서인 <The Step-by-Step Guide to Evaluation>를 일부 번역·편집하였습니다. 인용 및 배포 시 원문 출처를 반드시 밝혀주시기 바랍니다.

 

원문 바로가기

안내서 <The Step-by-Step Guide to Evaluation> 다운로드 바로가기

<평가적 사고를반영한 평가 과정 01> 바로가기 

 

 

무엇을 평가하고 싶은가?

역량?, 프로그램? 대상 집단?

 

 

 

역량 평가

Capacity Outcomes

프로그램 평가

Program Outcomes

(Strategy or initiative)

대상 집단 평가

Population Outcomes

평가 대상

- “무슨 역량”, “무엇을 위한 역량”, “누구의 역량인지를 명확하게 하는 과정이 필요

- 변화이론과 논리모형을 통해서 역량에서의 개선정도와 의도한 사회적 변화와의 관계를 파악 가능

- 프로그램/전략/계획의 결과로 참여자/수혜자가 경험한 혜택

- 다수의 서로 다른 전략, 계획, 프로그램 기관/조직의 결합된 노력에 따른 장기적 결과

- 위의 노력이 인구집단 수준에 끼친 변화의 확장가능성, 지속가능성, 파급력에 대한 평가

예시

- 다양한 사회구성원의 보건/건강에 대한 요구에 대응하는 조직/기관의 역량 평가

- 보건/건강 불평등 감소 목표 관련 역량에 대한 평가

- 이민자 대상 보건/건강 정보제공 및 교육 프로그램의 효과성을 입증을 통한 교육프로그램 내 교통안전 교육 포함 여부 결정에 대한 평가

- 지역사회, 가족, 어린이의 삶의 질에 발생한 변화 (e.g. 고용 및 졸업비율 증가, 어린이 사망률 감소, 10대 임신율 감소 등)

 

 

 

평가 중점 (분석 단위)

 


[그림 1. 평가 대상의 분석 수준에 따른 방법론적 복잡성 정도]

(출처: p.53)

 

 

분석 수준

분석 내용

특징

개인

Individual

개인이 경험한 변화

- 전략, 계획, 프로그램을 수행한 정도 측정

- 개인 참여자가 바라는 성과(긍정적 변화)를 경험했는지 여부 측정

-

- 특정 교육 프로그램을 참여한 참여자의 성적 향상 정도

기관/조직

Orgnaization

조직 역량/환경/문화 변화에 따른 기관/조직의 우선순위, 정책, 수행에 나타난 변화

- 조직 관련 주요 성과 지표에 대한 정보를 수집/분석

- 다른 집단과의 협업 및 관계 지속 정도

- 구성원의 다양성(피부색, 출신, 문화적 배경 등)이 존중받고, 가치있게 여겨지는 정도

계획/프로그램

Initiative/

Program

특정 계획, 프로그램이 기획한 효과를 발생시키는지 여부 및 정도

- 어느 정도의 노력을 수행했는지

- 어떤 요소가 효과적이었는지

- 무엇이 작동했고, 무엇이 작동하지 않았으며, 왜 그런지

- 어떤 지식, 기술, 기타 역량이 수행스텝의 활동에 요구되는지

- 계획/프로그램의 활동을 어떻게 개선했는지

- 효과성 입증을 위한 준실험적 설계(Quasi-experimental design)’ 사용*

*실험군과 비교군으로부터 정보를 수집 및 비교/분석하여 효과성 입증. 무작위대조군-비교군 실험(RCT)보다 과학적 엄밀성이 낮음

-

지역사회

Community

비영리활동/프로그램에 따른 지역사회 나타난 변화 (내용/정도)

- 계획 착수 단계에서 평가 대상이 되는 지역에 대한 정의 필수

- 의도하는 변화의 특징/성격/내용에 대한 명확화/구체화 필요

- 기대하는 변화 및 시도하려는 활동의 내용에 대한 변화이론, 논리모형 등이 있어야 함.

- 지역설문조사 활용의 경우, 전수 조사가 불가능하기 때문에 표본 추출이 중요

- 비역사회에 기여하는 공공, 민간, 비영리 기관 간의 관계 나타난 변화

- 지역사회의 물리적 구조 또는 사회적 규볌에 나타난 변화

- 서로 다른 다양한 사회구성원 간의 교류활동, 의사소통 등에 나타난 변화

정책

Policy

지역, 지자체, 국가 단위의 정책상 변화를 촉구하는 캠페인 또는 기타 사회운동의 노력 평가

- 변화이론, 논리모형, 기타 성과측정 기법 착수 시 평가 대상 명확화 필요

- 평가자가 정책 평가 전문지식, 사례연구, 정치주제와의 관여, 지역사회 운동 조성 과정, 정책 성과 등에서의 수행 경력 보유 권장

- 캠페인 및 외부적 상황 조성이 정책 결정에 어떻게 작용했는지를 평가

- 긍정적 변화를 가로막는 정책에 대한 평가

시스템

System

주제/분야 관련 중앙정부/지자체의 시스템(제도, 물리적 구조 등)에 나타난 변화

- 형성/과정 평가(Formative/process), 총괄/성과 평가(Summative/outcomes), 성과 맵핑 방법 등 사용*

*시스템 상의 각기 다른 기점의 관련자/기관이 참여 필수

- 변화를 일으키고자하는 시스템의 구성 요소에 대한 관계도 또는 구조도 작성 필요

- 기획하는 변화에 대한 명확화 필요

- 취약계층의 보건서비스 접근성 향상을 위한 보건 형평성 향상 계획 시행에 따라 보건 체계에서 발생한 변화 양상

) 건강보험 취득 및 취득에 관한 정보 접근성 정도, 예방 조치에 대한 이해 및 활용 정도, 의료/보건서비스 공급자의 취약계층 대응 능력 및 문화 등

 

 

내부 평가 Vs. 외부 평가

 

 

 

내부 평가(자체 평가)

외부 평가(3자 평가)

평가 수행 주체

기관/조직 내 구성원 또는 부서

기관/조직에 속하지 않은 외부 평가자

평가자의 특징

기관/조직의 전략, 계획, 프로그램이 운영되는 맥락과 환경에 대한 밀접한 지식 보유

포괄적이고 전체적인 관점 보유

객관성 정도

낮음

높음

 

 

· 외부 평가 결정시 고려 사항

- 가능한 재원의 규모

- 평가의 범위 / 목적

- 재정 지원자의 요구사항

 

외부 평가 방법 결정시 주의사항

평가 착수 시점부터 책무성에 대한 명확한 범위를 설정이 중요

 

평가의 이해관계자 간 내부정치적 특징

 

평가가 이해관계자 간 내부정치적 상황이 조성되는 이유

- 누가 평가의 대상인가?

- 정보가 어떻게, 누구로부터 수집될 것인가?

- 누가 수집된 정보를 소유할 것인가?

- 누가 평가로부터 도출된 발견사항/결과를 활용할 것인가?

- 누가 평가로부터 도출된 발견사항/결과로 이득을 보거나 이득을 보지 못할 것인가?

 

이해관계자 간 내부정치를 관리하기 위한 확인사항

- 가급적 초기 단계부터 주요 핵심 이해관계자를 파악하고, 참여시킨다.

- 생산 정보가 미치는 영향이 감소되지 않도록, 실험적 지식과 이론적 지식에 동등한 가치를 부여한다.

- 프로그램, 계획, 전략, 기관/단체로부터 혜택을 받는 집단/대상에 대해서 잘못된 또는 편향적인 가정을 갖지 않도록 하기 위해서, 평가 문항 설계 및 구성할 때 충분하게 주의를 기울여 고려할 시간을 갖는다.

- 어떻게 평가결과를 활용할 것인지 및 누가 평가결과를 이행할 것인지에 대한 협의/확산 전략을 평가 수행 계획에 포합시킨다.

 

 

켈로그 재단(W.K. Kellog Foundation),

켈로그 재단은 미국의 비영리재단으로서, 어린이, 가족, 지역사회를 지원합니다. 특히 취약계층 어린이들이 개인적 성취는 물론 지역사회와 더 큰 사회를 위해 긍정적으로 기여할 수 있는 시민으로 성장할 수 있는 환경을 조성하고 역량을 향상시키기 위한 활동을 하고 있습니다. 모든 어린이들이 공평하고 촉망되는 미래를 누릴 수 있는 세상을 구현하고자 노력하고 있습니다.

재단 바로가기

 ​





작성자 : NPO지원센터, 작성일 : 2019.10.28, 조회수 : 219

코멘트를 달아주세요!



 목록으로