[성과측정] 지표가 뭐에요? 성과측정 지표에 대한 안내서
실무도구 / by NPO지원센터 / 2019.10.02

사회성과 측정은 프로젝트의 기획 단계에서부터 <변화이론> 등의 논리모델을 활용하여 변화의 내용과 과정 등을 논리적으로 구체화하고 명확하게 하는 것으로부터 시작합니다. 기획한 사회성과에 이르는 과정을 명확하고 구체적인 단위로 만들고 이 과정을 추적/관찰하며, 이 과정에서 수집된 정보를 비교/분석하면서 사회성과를 측정할 수 있습니다. 프로그램이 기획한 사회성과로 가는 과정에 무엇을 추적/관찰해야할까요? 무엇을 가리키는 개념이 바로 지표입니다. 목표로 하는 사회성과로 가는 과정을 적절하게 보여주는 지표는 무엇이며, 어떻게 만들어야 할까요? 영국의 국제개발부에서 이러한 질문에 답하기 위한 지표 개발 안내서를 발행하여 소개드립니다

*이 글은 영국의 국제개발협력 활동을 수행하는 영국 국제개발부에서 사회성과 측정 가이드라인 안내 목적으로 발행한 <치안 및 정의 프로그램에서의 투입, 활동, 활동결과, 활동성과, 사회성과에 대한 지표(Indicators of Inputs, Activities, Outputs, Outcomes, and Impacts in Security and Justice Programming)>의 일부 내용을 번역, 편집하였습니다. 인용 및 배포 시 원문 출처를 반드시 밝혀주시기 바랍니다.

 

**이 글은 국제개발협력 분야에서 취약국/취약계층 대상 사업을 중심으로 설명하고 있습니다. 지표에 대한 개념, 성격, 용도, 주의사항 등에 대한 이해 외의 목적에는 부합하지 않을 수 있습니다.

 

원문 바로가기

 

 

서지 정보 

문서 제목

- 치안 및 정의 프로그램에서의 투입, 활동, 활동결과, 활동성과, 사회성과에 대한 지표

(Indicators of Inputs, Activities, Outputs, Outcomes, and Impacts in Security and Justice Programming)

 

목적 및 용도

- 본 안내서는 활동(Activities), 활동결과(Outputs), 활동성과(Outcomes), 사회성과(Impacts)를 이해하기 위한 개념적 차이를 설명하며, 각 개념을 측정하기 위한 예시 지표를 소개한다. 또한 적절한 데이터 출처 및 데이터 접근 방법에 대해서 생각해볼 사항을 제시한다.

 

문서가 답하는 주요 질문

- 활동(Activities), 활동결과(Outputs), 활동성과(Outcomes), 사회성과(Impacts)은 각각 어떻게 다른가?

- 위의 프로그램 주요 구성요소를 반영하는 지표를 어떻게 만들 수 있는가?

- 각각의 구성요소에 해당하는 지표를 측정하기 위한 데이터 출처는 무엇인가?

- 지표 선정시 프로그램 운영자가 주의해야할 사항은 무엇인가?

 

학습 목표

- 지표 사용 시점

- 지표 사용 방법

- 지표 측정 방법

- 지표 관련 정보 수집 방법 


초록 

프로그램을 구성하는 활동을 모니터링하고(성과관리), 프로젝트의 활동결과를 설명하며(보고), 기획한 목표에 프로그램이 도달했는지 여부를 평가하기 위해 (성과측정/평가) 지표가 필요합니다. 측정을 위한 각 단계 (활동, 활동결과, 활동성과, 사회성과)를 측정하기 위해서는 설계한 프로그램의 면면을 보여줄 수 있는 정교하게 맞춰진 지표가 필요합니다. 본 안내서는 활동, 활동결과, 활동성과, 사회성과의 차이점을 설명하며, 각각에 관련된 예시 지표를 소개합니다. 또한 지표를 추적/관찰하기 위한 적절한 데이터 출처 및 접근 방법에 대해서 논의합니다


목차 

개요 (7)

- 안내서 목적 및 구성 (9)

 

섹션 1: 왜 투입요소(Inputs), 활동(Activities), 활동결과(Outputs), 활동성과(Outcomes), 사회성과(Impacts)를 추적해야하는가? (10)

 

섹션 2: 변화이론 (11)

 

섹션 3: 항목별 지표 투입요소, 활동, 활동결과, 활동성과, 사회성과 (13)

- 투입요소(Input) 지표: 필요한 자원은 무엇인가? (13)

- 활동(Activity) 지표: 프로젝트가 하는 일 (14)

- 활동결과(Output) 지표: 프로젝트 활동이 산출한 결과 (15)

- 활동성과(Outcomes) 지표: 프로젝트가 성취한 내용 (16)

- 사회성과(Impact) 지표: 프로젝트가 상위의 전략 목표에 기여한 정도 (17)

 

섹션 4: 데이터 출처 선정하기 (19)

- 양적 데이터와 질적 데이터 융합하기 (22)

- 데이터 수집 체크리스트 (22)

- 데이터 수집 계획 수립하기 (27)

 

참고 문헌 (27)

 

부록 B (29) 



주요 용어 약술 (알파벳 순) 

Activities

활동

프로젝트의 목적을 달성하기 위해서 지정된 행동/활동

Data Source

데이터 출처

성과측정을 위해서 사용될 것으로 보이는 정보. 여론조사, 설문조사, 행정기록, 인터뷰, 포커스그룹, 관찰 등. 데이터 출처에는 예산계획, 보고서, 입법문서 등의 기존에 존재하는 자료 및 성과측정을 목적으로 구체적으로 수집된 정보도 포함

Fragile and conflict-affected settings

취약상황 및 분쟁 영향 상황

폭력적 분쟁을 경험하고 있거나, 분쟁의 위험에 있거나, 전쟁 및 기타 폭력적 폭동을 겪은 국가, 지역, 지역사회 등

 

Impacts

사회성과 

상위 수준의 전략적 목표. (. 공공 치안 분야 향상, 사법 체계에 대한 접근성 향상 등)

Indicator

지표 

성과정도를 측정하거나, 프로그램에 따른 개입활동과 관련된 변화를 반영하며, 또는 행위자의 활동성과를 측정할 수 있도록 하는 간단하면서 신뢰할 만한 수단으로서의 기능을 하는 정량적/정성적 요소 또는 변수

Inputs

투입요소 

프로그램을 위한 바탕을 제공하는 가공되지 않은 자원. (. , 기술적 전문지식, 관계망, 전문가 등)

LogFrame (Logical Framework)

로그프레임 (논리관계틀) 

주요 투입요소, 활동경과, 활동성과, 사회성과에 대한 이정표 및 지표를 담고 있는 프로젝트 계획 및 관리 수단

 

Objectivity

객관성 

연구 결과와 관련된 주체의 선호성향, 사항으로부터의 영향을 최소화하기 위한 조치 및 사실에 기반하는 것으로 연구 및 평가가 가져야할 중요한 사항

Outcomes

활동성과 

프로젝트 또는 개입활동이 대상집단(target population)에게 전달한 긍정적 효과

Outputs

활동결과 

프로젝트에 구성된 활동의 결과로서 발생한 정형, 비정형의 결과물

Results chain

결과사슬 

투입요소, 활동, 활동결과, 활동성과, 사회성과 간의 가설적 관계에 대한 시각화된 표현

Theory of change

변화이론 

프로젝트 활동과 목표 간의 관계에 대한 논리적 가정의 집합

Value for Money (VFM)

자원 최적 사용* 

기획한 활동결과를 달성하기 위한 자원의 최적 사용

*의미 전달을 위해 의역함 



결과 사슬





지표 개발시 확인사항 

 

투입요소

Inputs

어떤 자원이 필요한가?

- 사용가능한 자원과 어디에 해당 자원이 위치하는지를 나타내는 투입요소지표를 파악했는가?

- 직원 역량/자질, 프로젝트 지원 약속, 물류 지원 또는 정치적 지원에 대한 합의서 등과 같은 무형의 투입요소에 대한 지표가 있는가?

- 당신이 선정한 지표가 자원이 부족한 원인을 파악할 수 있게 합니까?

- 선정한 투입요소에 대한 지표가 변화상황이 즉각적으로 반영되는 지표입니까? , 프로젝트의 효과성에 부정적인 영향을 줄 수 있는 자원배분 상의 어려운 부분에 대해서 조기 경보를 줄 수 있는가?

 


 

활동

Activities

어떤 활동을 하는가?

- 지표가 당신의 프로젝트가 성공하기 위해서 필요한 활동의 범위를 설명합니까?

- 지표가 누가, 어디에서, 무엇을 제공해야하는지를 설명합니까?

- 프로젝트 경제성과 효율성을 다룰 수 있도록 지표가 비용 측정 부분을 포함하고 있는가?

- 다른 시점, 다른 장소에서 수행되는 활동의 단위 비용을 결정할 수 있도록 활동지표를 해체할 수 있는가?

- 활동이 진행 중인 가운데 활동 내용(활동결과, 활동성과도 해당)을 추적/관찰할 수 있는 지표 정보 수집 체계를 갖추고 있는가?*

*지표 정보 수집을 위해 별도의 활동을 기획할 필요가 없는가?

- 주요 이해관계자(원청기관, 정부기관, 주요 파트너 등)와의 협의를 통해서 올바른 활동지표를 선정했는지 확인했는가?

 


 

활동결과

Outputs

프로젝트의 활동을 통해서 무엇이 직접적으로 도출되는가?

- 프로젝트 성공에 기여할 것으로 기대되는 모든 활동결과를 아울러 보여줄 목적으로 개발된/선정된 지표가 있는가?

- ‘활동결과양적 측면뿐만 아니라 질적 측면을 설명할 수 있는 측정 지표를 가지고 있는가?

- ‘활동결과지표가 다른 프로젝트 현장에서 도출된 활동결과및 해당 활동결과도출에 참여한 사람을 설명하는가?

- ‘활동결과지표가 프로젝트 확산에 필요한 정보를 제공하는가?

(. 프로젝트 활동활동결과의 명확한 관련성을 보여주는 정보 등)

 


 

활동성과

Outcome

프로젝트의 활동을 통해서 도출된 활동결과가 대상집단에 일으킨 변화는 무엇인가?

- ‘활동성과지표가 어디서나 사용가능한 기존의 정보 출처를 이용하는가?

- ‘활동성과지표가 프로그램 참여자 및 기타 수혜자가 어떤 인식을 가지고 있는가를 설명할 수 있는가?

- ‘활동성과지표가 목표치 또는 참고치에 대한 정보 없이, 측정된 내용에 대해서만 설명하는가?

- ‘활동성과지표가 타당하며’, ‘측정가능하고,’ ‘현실적입니까?

- ‘활동성과지표가 핵심 이해관계자, 자금지원자, 의도한 사업수혜자에게 중요한 정보를 포함하고 있습니까?

- 비전문가가 지표 측정 결과를 해석할 수 있는가?

- ‘활동성과지표가 취약계층/집단에게 중요한 사안을 설명하고 있습니까? 여성, 아동/청소년, 기타 취약집단의 경험 및 처한 상황을 설명하기 위해서 활동성과지표의 결과를 해체할 수 있는가?

- 지표가 빈곤층 친화적입니까?

- ‘활동성과지표가 법률상의의 양상 측정과 더불어, 프로젝트의 활동성과에 대한 사실상 실제적인양상의 측정을 포함하는가?

 


 

사회성과

Impact

프로젝트가 상위 수준의 전략적 목표(사회적 수준, 장기적 관점)에 어떻게, 어느 정도 기여하는가?

- ‘사회성과지표에 나타난 사회적 성과가 해당 프로젝트의 활동성과에서 비롯된 것이라고 설명할 수 있는가?

- ‘활동성과사회성과의 인과적 관계를 확인하기 위한 소규모 또는 자연과학적 실험을 수해할 수 있는가?

- 다른 기관이 수행한 비슷한 성격의 프로젝트를 파악하기 위한 상황 분석을 수행했습니까? 공유가 가능한 사회성과지표를 차용할 것을 고려해보았습니까?

- 다수의 프로젝트를 위한 사회성과정보 수집을 위해서 사회개발 파트너와 통합적 정보 출처에 대해서 고려한 적이 있는가?

(. 행정정보 공유 데이터베이스 구축, 합동 여론/설문 조사 시행 등)

- ‘사회성과지표가 협력 정부기관의 계획 및 우선순위를 반영하고 있습니까?

- ‘사회성과지표가 빈곤층 친화적이며, ‘성 감수성을 고려하고 있습니까?

 



지표 관련 정보 수집 방법 

 

종류

상세 설명

정량

정성

행정 정보

Administrative Data

정부 기관, 국제기구, 시민사회그룹에 의해서 일상적으로 수집된 정량적 정보

 

여론 조사

Public Survey

일반 대중을 대상으로 한 설문조사를 통해서 수집된 정보.

대중 인식, 경험에 기반한 지표에 대한 점수측정을 할 때 사용가능.

상황에 따라서, 수집된 원본 정보를 보충하는 목적으로 다른 기관이 수행한 여론/설문조사 결과를 사용 가능.

전문가 조사

Expert Survey

전문가의 경험 또는 전문적 지위에 기반한 전문적인 지식을 활용하여 각 개인으로부터 수집된 정보 (개인정보 관련으로 기밀성 유지 필수)

전문가 선정이 매우 중요하며, 전문가 선정은 밝히고자 하는 질문과 반드시 분야가 일치해야 한다.

 

포커스 그룹

Focus Group

포커스 그룹은 사회집단에서 구조적으로 기획된 일부 표본집단과 상호작용이 가능한 집단 대화 조건 하에서 정보를 수집한다.

포커스 그룹은 대규모 대표집단 조사보다 빠르고 비용이 적게 들 수 있다.

 

관찰

Observation

현장담당자 또는 연구자가 수집한 정보.

심층 사례연구 또는 특정 제도 또는 상황에 대한 체계적 관찰 연구를 통해서 관찰정보를 수집 가능

문서/법률문서

Documents & Legislation

작성된 문서에서 선별적으로 추출된 정보.

특정 법/법령과 관련 절차의 존재를 검증하거나, 특정 제도의 효력/권한을 이해하는 사용 가능

 

 



지표 관련 정보 수집시 확인사항 

- 지표와 관련해서 기존 정보원 중에서 사용할 수 있는 정보출처가 있는가? 있다면 이용할 수 있는가?

- 지표의 측정을 위해서 사용가능한 대용물이 있는가?

- 지표 측정을 위해 확보한 정보/정보출처가 신뢰할 만하고, 온전한가?

- 해당 측정방법은 실제상황 또는 이해관계자 또는 행동주체에게서 나타나는 변화를 나타날 수 있는가?

- 해당 측정방법은 빈곤층 친화적이며, ‘성 감수성을 고려하고 있는가? 






영국 국제개발부(Department for International Development), 

국제개발부(DFID)는 극심한 빈곤을 종식시키기 위한 영국정부의 활동을 이끼는 정부 기관입니다. 국제개발부는 빈곤, 질병, 대규모 강제이주, 불안정, 분쟁 등 지구촌 인류가 직면한 세계적 도전과제를 해결하기 위해 노력하고 있습니다. 국제개발부는 영국은 물론, 개발도상국의 사람들을 위한 더 안전하고, 건강하며, 풍요로운 세계를 만들기 위해 노력하고 있습니다. 특히 국제개발부 연구소는 국제개발부의 핵심입니다. 국제개발부는 논리적으로 타당하고 적용가능한 증거를 도출하는 고품질의 연구를 통해서 더욱 바람직한 사회개발 프로그램을 설계할 수 있도록 합니다. 연구결과는 Research for Development Outputs을 통해서 공개하고 있습니다

국제개발부 평가 담당파트 바로가기
 


작성자 : NPO지원센터, 작성일 : 2019.10.02, 조회수 : 369

코멘트를 달아주세요!



 목록으로