2017 KIEP 정책연구 브리핑

ODA 성과평가 개선방안과 정책과제: 영향력평가를 중심으로

KIEP 정책연구 브리핑

ODA 성과평가
개선방안과 정책과제:
영향력평가를 중심으로

허윤선	대외경제정책연구원 아시아태평양본부 개발협력팀 부연구위원
yshur@kiep.go.kr

정지선	대외경제정책연구원 아시아태평양본부 개발협력팀 전문연구원
jsjeong@kiep.go.kr

이주영	대외경제정책연구원 아시아태평양본부 개발협력팀 전문연구원
jylee@kiep.go.kr

유애라	대외경제정책연구원 아시아태평양본부 개발협력팀 연구원
ailayoo@kiep.go.kr

윤상철	연세대학교 의과대학 교수
littleluke@gmail.com

이종욱	미네소타 주립대학교 연구원	econarchy@gmail.com

2017 KIEP 정책연구 브리핑

ODA 성과평가 개선방안과 정책과제: 영향력평가를 중심으로

1. 연구의 배경 및 목적

국제개발협력사업에 대한 평가는 시대와 목적에 따라 변화해왔음.

- 초기 국제개발협력사업에 대한 평가는 투입물(input)과 활동(activity)의 효율성 및 효과성을 평가하거나 개발원조가 개발도상국에 미치는 거시경제적인 효과를 측정하는 데 목적이 있었음.

- 그러나 이러한 평가방식으로는 개발협력사업의 성과를 엄밀히 평가할 수 없다는 반성의 목소리가 높아지면서, 공여국 및 국제기구들은 성과기반관리(RBM: Results- based Management)를 도입하여 개발협력사업의 성과를 체계적으로 관리하고 평가하기 시작함.

최근에는 개발협력사업의 효과를 보다 엄밀히 평가하고 개발효과성을 제고하기 위해 실험적 방법에 기반을 둔 영향력평가(Impact Evaluation)가 부상하고 있음,

- 영향력평가는 실험군과 대조군을 설정하고 개발협력사업이 실시된 상황과 실시되지 않은 상황(Counterfactuals)을 비교하여 사업과 효과 사이의 인과관계를 분석

- 기존의 개발사업 평가는 사업의 전후 비교(before-after analysis) 또는 사업의 수혜자와 비수혜자 비교(with-without analysis)가 많았는데, 이는 사업이 실질적으로 미친 영향력을 파악하는 데 한계

- 영향력평가는 정밀한 실험적 방법론과 계량경제학 기법을 사용하여 사업이 실질적으로 미친 효과를 비교적 정확하게 측정함.

국제사회에 개발효과성 제고 노력이 강조되고, 개발경제학자들이 실험적 방법 등 엄밀한 평가방법론을 구축하면서 주요 공여국과 국제기구들은 영향력평가조직을 신설하고, 영향력평가를 위한 자금도 크게 늘리고 있는 추세임.

한국에서도 최근 영향력평가에 대한 관심과 수요가 급증하고 있지만, 아직까지 국내에서 영향력평가가 시행되는 사업은 극소수이고 관련 정책도 부재함.

- 국내외에서 한국이 제공한 개발협력사업의 효과성을 객관적으로 증명하고 국제사회의 증거기반 정책수립 동향에 동참하자는 요구 증가

- 현재 우리나라 개발협력사업의 평가는 사후평가와 종료평가를 중심으로 운영되고 있고, 통합평가체계의 특성상 사업시행 전에 평가설계가 이루어져야 하는 영향력평가를 도입하는 데 한계

- 또한 현재 한국의 사업평가 시스템에 영향력평가를 도입하기 위한 정책 방안과 영향력평가 방법론 및 제도에 관련된 연구가 부족하여 현실적으로 영향력평가를 도입하기가 어려움.

본 연구는 우리나라의 ODA 성과평가체제에서 영향력평가 도입에 대한 정책적 시사점을 도출하는 것을 목적으로 함.

- 이를 위해 먼저 국제기구 및 주요 공여국의 성과평가체제와 영향력평가 도입 동향, 영향력평가 사례를 비교ㆍ분석하고 우리나라 ODA 성과평가에 대한 시사점을 제시

- 영향력평가 도입 시 주요 쟁점인 평가성(Evaluability) 사정 및 평가방법론 설계, 결과 환류 등에 대하여 분석

- 이를 바탕으로 우리나라 보건 분야 개발협력사업에 대해 실험적 방법을 중심으로 하는 영향력평가를 적용한 과정과 결과를 소개

- 마지막으로 우리나라 ODA 사업 성과관리 및 평가체계에서 영향력평가 도입을 위한 과제를 ODA 통합평가체계와 시행기관 차원에서 분석하여 우리나라 ODA 성과평가 개선방안을 마련

기존 연구들은 영향력평가의 방법론과 사례를 주로 살펴보고 있는 데 반해, 본 연구는 국제사회의 성과평가체제 비교ㆍ분석과 영향력평가의 주요 쟁점 분석, 실제 영향력평가를 적용한 사례 분석을 통해 우리나라 ODA 성과평가 개선방안에 관한 시사점을 도출하여 차별화

2. 조사 및 분석 결과

1) ODA 성과평가와 영향력평가

① ODA 평가의 시대별 변화

국제개발협력사업의 평가방법은 시대와 개발협력사업의 방식, 평가 목적 등에 따라 변화해 왔음.

- 개발협력사업 평가는 전후평가, 질적평가, 거시경제적 효과 평가에 집중되었으나, 이러한 평가방식은 실제 사업과 효과 사이의 인과관계는 밝힐 수 없어 개발사업의 실제 성과를 측정할 수 없다는 한계가 있음.

- 기존 평가방식에 대한 반성의 목소리가 확대되고 파리선언 및 부산 파트너십 등을 계기로 개발효과성에 대한 논의가 확대되자 사업이 수혜자들에게 미치는 미시적인 영향에 대한 관심이 커지고 있음.

표 1. ODA 평가의 시대별 변화
시기	주요 원조동향	주요 평가방법론
1960년대	인프라 및 농업 프로젝트	비용효과성 분석(Cost benefit Analysis), 사후평가
1970년대	교육, 보건 등 사회분야 지원 증가	정성적 평가
1980년대	거시경제학 분석 모델에 기초하여 구조조정계획 (Structural Adjustment Programme) 추진	거시경제학 분석모델
1990년대	‘원조피로’현상 이후 원조효과성 및 굿 거버넌스 강조	계량경제학(회귀분석)에 기초한 정량적 평가
2000년대	사업의 미시적 효과에 대한 중시	실험적 방법론 부상
2015년 이후	개발효과성 및 증거기반의 정책 수립 중시	Mixed Method(정성적 방법론과 정량적 방법론 혼용)
자료: Morra Imas and Rist(2009), Pamies-Sumner(2015)에서 재인용.

② ODA 평가체제에서 영향력평가

영향력평가는 모니터링, 과정평가, 사후평가와 같은 개발사업의 다른 평가들을 상호 보완하고 사업과 영향력 사이의 인과관계에 주목

- 기존의 사업평가(모니터링, 과정평가, 종료평가, 사후평가 등)는 OECD DAC 평가 가이드라인에 따라 사업의 적절성, 효과성, 효율성, 영향력, 지속가능성 등 5개 평가항목을 설정하고 ‘투입(input)-활동(activity)-산출(output)-성과(outcom)-파급효과(impact)’에 이르는 성과 프레임워크에 따라 사업을 평가함.

- 이러한 사업 평가방식은 사업이 효율적으로 운영되었는지와 사업이 타당한지를 파악할 수 있고, 사업 수혜자에게 나타난 변화를 어느 정도 관찰할 수는 있지만, 이 같은 변화가 사업으로 인해 생긴 것인지에 대해 판단하기 어렵다는 단점이 있음.

- 영향력평가는 기존 평가방식의 한계를 보완하여 사업의 효과로 측정된 요소 중 사업에 기인(Attributed)한 것을 식별하고, 인과관계(Causal relationship)를 밝혀내는 것을 주목적으로 함.

주요 공여국과 국제기구들은 영향력평가를 본격적으로 도입하면서, 영향력평가와 모니터링, 과정평가, 종료평가 등 다양한 사업평가 방식들이 함께 개발효과성 제고에 기여하도록 노력

③ 한국의 ODA 성과평가와 영향력평가

개발협력의 후발주자인 우리나라에서는 OECD 개발원조위원회 가입을 계기로 효과성 제고를 위한 평가에 대한 관심이 시작되었음.

현재 우리나라 ODA 관련 법률인 ‘국제개발협력기본법’ 13조에서 국제개발협력위원회가 국제개발협력 평가지침을 마련하고, 관련 정책 및 사업의 추진실적을 평가하도록 규정하고 있음.

- KOICA, EDCF를 포함한 모든 ODA 사업 시행기관은 매년 연간 자체평가계획을 수립하여 평가소위원회에 제출하고, 해당 계획에 따라 평가를 실시한 후 그 결과를 위원회에 제출

- 외교부는 무상원조 통합조정기관으로서 KOICA를 포함하여 무상원조를 실시하는 모든 부처, 산하기관, 청/처/위원회, 지자체의 평가계획과 평가결과를 취합하고 조정한 후, 다시 평가소위원회에 이를 전달

- 기획재정부는 유상원조 총괄기관으로서 EDCF의 평가계획 및 결과를 취합, 다시 평가소위원회에 전달

그림1. 한국의 ODA평가체제

자료: OECD(2016), “Evaluation Systems in Development cooperation: 2016 Review,” p. 156 참고하여 저자 작성.

최근 KOICA 등 일부 시행기관을 중심으로 영향력평가와 성과관리에 대한 관심이 높아 시범적 영향력평가를 추진하고는 있지만, 아직 영향력평가에 대한 별도의 정책이나 가이드라인은 부재한 상황임.

- 아직은 사업계획 단계부터 영향력평가에 대한 설계가 포함되어 있지 않은 경우가 대부분이기 때문에, 기존 실시한 영향력평가의 경우 사업추진 과정에서 추가로 설계를 하여 영향력평가를 실시한 경우가 대부분임.

- 현재까지 KOICA는 보건(모자보건, 식수위생) 및 농촌개발 분야의 7개 사업을 대상으로 8건의 영향력평가를 추진하였고, EDCF도 모잠비크 태양광발전소 건립 시범사업에 대해 사업 수행지역과 비수행지역에 대한 중장기 영향력을 비교하는 준실험적 방법론을 적용, 시범적인 영향력평가를 시작하였음.

3) 국제사회의 영향력평가 정책과 평가체계

제3장에서는 기존 문헌의 영향력평가군 구분에 따라 대규모 영향력평가 수행기관과 중간수준의 영향력평가 수행기관을 사례연구 대상기관으로 설정하고, 각 기관의 영향력평가 관련 정책, 수행체제, 사례를 분석함.

영향력평가 대상기관은 세계은행그룹, 아시아개발은행, 미국 MCC, 미국 USAID, 일본 JICA 총 5개 기관임.

- 선정된 공여국 및 국제기구는 세계은행그룹, 아시아개발은행, 미국, 일본 등 총 4개 공여국 및 국제기구이고, 미국의 경우 새천년개발공사(MCC)와 미국국제개발부(USAID), 일본의 경우 국제협력기구(JICA)를 중점적으로 분석함.

- 기관별 정책 및 평가수행체제 비교표는 [표 2]에 제시함.

표 2. 기관별 영향력평가 수행체제
기관명		정책	평가 수행체제	영향력평가 사례	구분
세계 은행 그룹		- 개발협력에 대한 지식 레버리지 효과 확대를 위한 영향력평가 실시 - 학습조직으로서의 전략적 목표 수립	- IEG: 그룹 전체의 전반적인 평가담당, 독립평가그룹 - 개발효과성위원회: 감독 - DECIE: 개발경제부서 연구그룹, 개발영향평가 담당 - IFC 성과측정부(Result Management Unit)	- 탄자니아 비누로 손씻기 캠페인 및 위생접근성 개선프로그램	대규모 영향력평가 수행기관
아시아 개발은행 (ADB)		- 영향력평가 수행을 위한 기술지원사업 실시	- 영향력평가 위원회: 감독·관리 - ERD(경제지역연구부): 영향력평가 수행 기술지원 - IED(독립평가부): 영향력평가 수행	- 몽골 푸드스탬프 및 메디카드 프로그램	중간수준의 영향력평가 수행기관
미국	MCC	- MCC M&E 정책 발표(2017) - 기대되는 학습효과가 있고, 비용이 확보되었을 때, 시범사업에 대해 영향력평가 수행	- 정책평가부: 평가 전반 관장 - 사업팀이 외부 컨설턴트를 활용하여 영향력평가 발주	- 인도네시아 지역사회를 바탕으로 한 보건 및 영양지원 프로젝트	중간수준의 영향력평가 수행기관
	USAID	- USAID Evaluation Policy 발표(2011) - 평가지침 ADS 201.3. 5.13. - 신규 시범사업이나 혁신적인 프로젝트에 대해 영향력평가수행	- OLER(학습평가연구부): 평가 담당, 평가방법론 제공 및 기술지원 역할 수행 - 글로벌개발연구실: 평가영향력검토팀: 개발혁신벤처(DIV) 자금 지원	- 적정수준의 교육 프로그램	중간수준의 영향력평가 수행기관
일본(JICA)		- 10억 엔 이상 사업은 외부 사후평가 실시 - 영향력평가는 평가팀, 사업팀, JICA 연구원 등에서 실시	- 외무성 평가부: 분야별/국별 정책 및 전략평가 - JICA 평가부: 프로젝트 평가 및 영향력평가 수행	- 필리핀 보홀 관개사업	중간수준의 영향력평가 수행기관

① 세계은행그룹

[정책 및 수행체제] 세계은행은 2005년 개발영향평가(DIME) 이니셔티브를 설립하고, 영향력평가 결과를 조직 내 환류 목적으로 활용하면서 본격적으로 영향력평가를 수행하기 시작함.

- 개발연구그룹에 속한 DIME팀은 전략적영향력평가기금(SIEF)을 운용하고, 개발영향력평가(i2i) 프로그램을 수행하며 분야별 사업팀의 영향력평가 기술 지원 및 조직 내 학습·환류를 도움.

- 영향력평가 타당성검토를 통해 분야별 사업팀이 제안한 영향력평가 과제 중 평가방법론이 명확히 수립되고, 영향력평가의 필요성이 높은 사업을 선정함.

[사례] RCT 방법론을 채택한 탄자니아 위생 접근성 개선 및 손 씻기 사업의 경우, 캠페인과 마케팅 프로그램의 선택적 지원성과를 비교·평가하여 파일럿 사업 확장 시 기대되는 영향력을 측정함.

- 이와 같은 영향력평가 결과는 향후 사업의 확장 지원 시 중요한 결정근거로 고려됨.

② 아시아개발은행

[정책 및 수행체제] 아시아개발은행은 2007년부터 체계적인 영향력평가 방법론을 강조하기 시작하였으며, 2010년 기술지원 사업의 형태로 영향력평가를 크게 확대

- 영향력평가에 대한 기술지원 사업은 아시아개발은행 내 경제연구부(ERD)가 담당함.

- 평가대상 사업은 사업을 시행하지 않은 대조군을 명확히 규명할 수 있을 때 선정됨.

- 아시아개발은행의 영향력평가위원회는 기술지원 사업하에서 수행된 영향력평가의 품질을 관리·감독하고 있음.

[사례] 불연속회귀분석(RDD)을 채택한 몽골 식품구매권 지급 및 메디카드 프로그램은 빈곤층의 식량불안정 취약성을 낮추는 데 효과적인 것으로 나타남.

- 다만 의료접근성 향상을 위한 메디카드 프로그램은 보건, 교육 및 고용 관련 지원효과가 미미하였음.

③ 미국

[정책 및 수행체제] 미국의 USAID와 MCC는 신규 시범사업이나 혁신적인 프로젝트에 대해 영향력평가를 실시한다는 평가지침 보유

- 평가담당부서는 사업부에서 제안한 영향력평가 사업에 대해 기술지원이나 자문활동을 하며, 실제 평가는 외부 컨설턴트가 수행

- 영향력평가 결과 및 방법론에 대한 조직 내 역량강화와 지식공유가 영향력평가 실시의 주목적임.

[사례] 미국의 개발원조 사업은 현지 개도국에서 민간기업이나 NGO에 의해 수행되는 경우가 많은데, 인도의 NGO인 Pratham이 수행한 적정수준의 교육 프로그램 역시 USAID의 지원과 영향력평가 대상사업이었음.

- 이 사업은 장기간의 사업수행 경험을 바탕으로 지원 교재와 강사의 학습보조 형식을 다변화하면서 학생들의 학업성취 향상에 보다 효과적인 사업방식을 찾아왔음.

- 영향력평가 결과가 후속사업에 환류되면서 사업의 형식뿐만 아니라 타 지역에도 크게 확산되고 있는 교육 분야 개발원조사업으로 꼽힘.

④ 일본

[정책 및 수행체제] 일본 JICA는 영향력평가연구회를 조직하여 평가결과의 환류와 활용도를 높여오고 있음.

- JICA의 자체 평가지침에 따르면 사업영향력에 대한 충분한 증거확보, 정량적 효과성 평가의 필요성, 수원국 이해관계자와의 연락가능성, 대조군의 구축 등 제반환경이 확보된 경우 영향력평가를 수행할 수 있음.

- 아직까지 제도적으로 정착되지 않아 사업 담당자의 역량 및 의지에 의해 산발적으로 영향력평가가 수행되고는 있지만, 조직 내 관심이 커지고 있고 인식도 확산되고 있어 추후 더욱 확대될 수 있을 것으로 기대됨.

[사례] JICA 필리핀 보홀 관개사업 영향력평가는 수혜지역과 유사지역을 실험군으로 설정하여 이중차감법(DinD)을 활용한 평가임.

- 평가결과 관개사업은 수혜자의 경제활동에 대체로 긍정적 영향을 미치는 것으로 나타남.

- 사용자연합의 유무와 지역사회 집단관리활동 등 주민 참여율이 높을수록 비경제활동에도 영향을 미치는 것으로 나타남.

4) 영향력평가 도입을 위한 주요 쟁점

① 평가성(Evaluablity) 사정

영향력평가는 대개 상당한 예산과 인력, 그리고 전문성을 필요로 하기 때문에 모든 사업에 영향력평가를 적용할 수는 없는바, 평가대상 사업이 얼마나 평가성(evaluability)이 있는지를 사전적으로 살펴볼 필요

영향력평가에서는 특히 원조기관의 지원으로 변화가 있었는지 여부를 파악하는 것뿐만 아니라 해당 지원이 측정한 변화의 원인인지에 대한 인과관계(causal attribution) 파악이 핵심인바 현실성, 타당성, 유용성에 대한 판단 필요

- 영향력에 대한 기대가 현실적인지 여부는 사업논리가 적절하고 합당한지를 검토하며 파악해야 함.

- 타당성은 측정이 필요하며 중요하고 가치 있는 정보가 얼마나 측정 가능한지, 제대로 된 영향력평가를 실시하는 데 필요한 양질의 데이터가 접근 가능한지, 충분한 예산이 있는지 여부에 따라 판단함.

- 또한 의도하는 용도와 활용 주체가 명확하고, 평가를 통해 유용한 결론을 도출할 수 있을 때 영향력 평가를 실시해야 함.

영향력평가 이행을 위해 평가시점 및 예산, 조정 메커니즘, 평가윤리, 위험관리 등을 고려해야 함.

② 평가방법 설계

평가성 사정을 통해 평가여부를 결정한 후에는 평가방법을 설계해야 하는데, 예산 및 시간 제약, 평가 대상사업, 평가 환경 등을 고려하여 적절한 평가방법을 설계함,

전 세계적으로 널리 수행되고 있는 영향력평가 방법은 무작위통제실험법을 중심으로 하는 실험적 방법과 계량기법을 기초로 하는 준실험적 방법으로 크게 나눌 수 있음.

개발경제학자들은 이 중에서 무작위통제실험법이 가장 이상적인(gold standard) Counterfactuals를 구축할 수 있다고 평가

- 무작위통제실험법은 개인이 아닌 무작위로 선택된 실험군과 대조군의 평균결과값을 비교하여 선택편의를 제거하고 평균처치효과(Average Treatment Effect)를 계산

- 편의가 최소화된 이상적인 방법이지만, 무작위통제실험은 시간 및 예산적 제약이 크고, 원조사업에 대해 실시할 경우 정치적 및 윤리적 문제가 발생할 수 있으며, 외적타당성(external validity)에 취약하다는 단점이 있음.

준실험적 방법론은 Counterfactuals를 무작위 실험이 아닌 계량기법을 사용하여 정교하게 구성하는 방법으로, 보통 윤리 및 정치적인 이유로 무작위실험이 불가능한 경우나, 사업 초기에 평가 설계를 하지 못하여 기초선 조사 데이터가 부재한 경우, 인프라 건설과 인도주의적 지원과 같은 분야의 영향력평가에서 널리 쓰임.

- 준실험적 방법론은 무작위로 사업을 배정하여 대조군을 설정한 것이 아니라 계량기법을 사용하여 최대한 대조군에 유사한 비교군(Comparison group)을 구축하는 것이기 때문에 인과관계 측정 시 편의 문제가 여전히 발생할 수 있다는 단점이 있음.

- 영향력평가에서 가장 많이 쓰이는 준실험적 방법론으로는 이중차이법( DID: Difference in Difference), 성향점수매칭(PSM: Propensity Score Matching), 불연속회귀분석(RDD: Regression Discontinuity Design) 등이 있는데 각 방법별로 특징이 다르므로 평가 상황 및 사업의 특성을 잘 파악하여 적절한 방법론을 선택하는 것이 가장 중요

표 3. 영향력평가 방법론의 대조군 및 주요 쟁점
구분	방법론	대조군	주요 쟁점
실험적방법론	무작위통제실험	무작위로 사업의 비수혜자로 구분된 참가자	실험중 임의적인 실험군 및 대조군 변동, 프로그램 이탈자 양상의 차이, Hawthrone effect 등의 실험효과 등을 통제하기 위한 시간 및 비용이 큼. 윤리적 문제
준실험적 방법론	이중차이 (Diff-in-Diff)	비수혜자 중 사업 전후 데이터가 있는 개인	사업이 없을 경우, 실험군과 대조군은 실험기간 동안 상태가 동일한 양상으로 변해야 함. 대조군과 실험군 사이의 특징 차이가 결과에 영향을 미칠 경우 편의 발생
	성향점수매칭	각 수혜자와 나이, 성별, 직업 등 관찰 가능한 특성이 비슷하여 사업에 참가할 가능성이 비슷한 비수혜자	관찰되지 않은 변수가 결과에 영향을 미칠 경우 선택편의 발생
	불연속 회귀(RDD)	사업 수혜 자격기준에 미달하는 비수혜자	수혜 자격의 전후로 수혜군과 비수혜군이 정해지는데, 이둘의 특징이 통계적으로 같아야 함. 수혜자격의 조작이 발생할 경우 편의 발생.
자료: J-Pal(2013), Impact Evaluation Methods: What are they and what assumptions must hold for each to be valid?

③ 평가결과 환류

영향력평가가 시행된 이후의 단계에서는 평가로 얻은 결과를 어떻게 향후 사업 및 정책 수립에 반영하여 ‘증거기반 정책수립’에 기여하는 것이 중요

- 실제로 영향력평가를 통해 후속사업의 설계와 사업 확대 등에 도움을 준 사례가 다수 있음(예: 케냐 초등학교 구충제 배급 사업)

영향력평가의 결과 환류를 위해 가장 중요한 점은 평가체계하에서 영향력평가를 체계적으로 도입하고 성과기반관리(RBM) 시스템과 결과환류 시스템을 구축하는 것임.

- 영향력평가 예산 확보, 평가계획 수립, 개발도상국 현장에서 평가이행이 평가체제하에서 유기적으로 운영되어, 영향력평가 결과가 향후 사업 및 평가 예산에 영향을 미치는 구조

또한 시스템이 잘 운영될 수 있도록 평가 수행자 및 사업 계획 수립자들에게 인센티브와 보상을 적절히 주는 제도를 운영하고, 영향력평가 결과를 환류하기 위해서는 정책결정자, 사업수행자, 평가수행자, 수혜자, 공여국 국민 등 이해관계자들의 영향력평가에 대한 이해와 관심이 확산되도록 노력해야 함,

- 특히 정책실패가 밝혀져도 평가수행자와 사업수행자에게 불이익을 주지 않는 제도를 확립할 필요

- 영향력평가를 수행하기 위해서는 사업수행 단계에서 실험, 데이터 수집, 수혜자 인터뷰 같은 과정이 필수적인데. 이는 사업수행자와 평가수행자들의 영향력평가에 대한 인식과 합의가 있어야 가능함.

- 이를 위해 영향력평가의 필요성, 기대효과, 방법론에 대한 교육 및 훈련을 통해 평가방법론에 대한 이해관계자들의 이해를 확립하고 이해관계자들이 영향력평가를 수행할 수 있는 유인을 마련하는 것이 필요함.

5) 영향력평가 도입을 위한 주요 쟁점

본 장에서는 한국이 베트남에서 수행하고 있는 보건 ODA 사업을 대상으로 무작위통제실험 기법을 활용하여 영향력평가를 수행한 과정과 결과를 소개하고, 우리나라에 영향력평가를 도입하기 위한 실질적인 정책적 시사점을 도출함.

① 연구배경 및 사업 개요

[연구배경] 베트남은 2011년 중저소득국에 진입하고, 개발도상국 중에서 가장 경제발전이 빠른 국가로 평가되지만, 여전히 안보건 인프라가 취약하며 2012년 기준 약 1,400만~3,600만 명이 굴절 이상으로 치료가 필요한 것으로 알려져 있음.

- 이들에게 적절한 안보건 서비스를 제공하기 위해서 약 2,000명의 안과의사나 검안사 등 안보건인력이 필요하지만 현재 베트남에는 안보건인력이 현저하게 부족함.

- 특히 굴절 이상을 진단 및 치료할 수 있는 검안사를 양성하는 공식적인 교육기관이 한 곳에 불과하여 안보건 관련 인프라 부족이 심각한 상황임.

[사업 개요] 연세대학과 의과대학 안과학교실의 실명예방사업단인 프로젝트 봄(Project BOM: Project Blindness Zero Movement)은 2013년부터 베트남에서 초등학교 대상 안경 보급 및 안보건 교육을 제공하는 안보건 증진 사업을 수행 중임.

- 본 사업은 베트남 타인호아(Than Hoa)성 22개 현의 총 141개 초등학교에서 4~5학년 학생들을 대상으로 진행됨.

- 본 사업의 효과를 측정하고, 추후 사업 설계에 활용하기 위해 사업팀과 평가팀은 사업 계획수립단계에서 평가계획을 수립하고, 수혜자와 비수혜자를 무작위로 선정함.

∘ 각 현의 초등학교 4~5학년 학생 수에 비례하여 대상학교 수를 결정한 후, 각 현에서 무작위로 대상학교 1곳을 선택하고 선택된 학교와 인접한 학교를 제외한 나머지 학교에서 다시 무작위로 대상학교를 선택하는 방식으로 인접한 학교를 제외한 상태에서 무작위로 총 141개 대상학교 선택

∘ 선택된 141개 학교 중 각 현 내에서 비슷한 학생 수의 학교들을 쌍으로 묶은 후 실험군과 대조군으로 무작위 분류함. 이러한 방식으로 총 140개 학교 중 실험군 69개 학교와 대조군 72개 학교를 무작위로 결정

∘ 각 학교에서 무작위로 20-25명의 4학년 및 5학년 학생들을 추출하여 총 4,000명의 실험군 및 대조군 학생을 선정

- 실험군 학교의 굴절 이상 학생들에게는 학년 초에 안경을 무료로 제공하고 대조군 학교의 굴절 이상 학생들에게는 학년 말에 안경을 무료로 제공함.

② 주요 쟁점 분석 및 절차

[평가성 사정] 본 사업은 아직까지 사업의 효과가 검증되지 않아 사업의 성과에 대한 공여기관 및 수원국의 관심이 큰 사업이고, 영향력평가 전문성과 예산 등이 확보되었으며, 평가계획이 사업계획 실행 단계에서 수립되어 사업 시행 전의 기초선 조사와 무작위 실험이 가능한 여건이여서 영향력평가에 적합함.

- 또한 기초선 조사와 무작위실험을 위해서는 수원국의 협조와 이해가 필수적인데, 타인호아성 교육부와 학교관계자, 부모들이 모두 이 사업의 효과에 대한 관심이 높아 무작위실험이 가능한 상황임.

- 비교적 단기간에 평가를 완료해야 한다는 제약조건이 있었지만, 사업의 수혜자에 대해 설문조사를 수행할 수 있는 예산과 전문성이 확보되어 있는바, 무작위통제실험을 선택하고, 학교단위의 무작위통제 실험이 가능하여 학교 단위 집단 무작위통제연구방법(Cluster RCT: Cluster Randomized Control Trial)을 활용

[평가방법 설계 및 시행] 평가팀은 시간 및 예산, 평가환경, 평가대상 사업의 성격 등을 고려하여 학교 단위 집단 무작위통제연구방법(Cluster RCT: Cluster Randomized Control Trial)을 활용함.

- 사업의 특성상, 개인단위의 무작위통제실험을 시행할 경우 유출효과(Spillover effect) 등이 우려되어 기존 연구에서도 이와 같은 사업의 영향력을 평가할 때 학교단위 집단 무작위통제연구방법을 시행함.

- 평가 디자인이 설계된 후에는, 사업 시행 전에 우선 기초선 조사를 실시하고, 사업이 끝난 후에 종료선 조사를 실시함.
다만 종료선 조사 과정에서 홍수와 학생 이동으로 일부 샘플이 유실되었고, 이에 따라 평가팀은 평가 대상을 일부 조정함.

③ 분석 결과

측정 결과 동 사업은 학생들의 언어 시험 점수를 높이는 데 기여하는 것으로 나타났음.

- 행 (1)과 (2)에서 보여지듯이 수혜군 이상 시력군 학생들의 언어점수가 0.4 표준편차만큼 높게 나타나, 안보건 사업은 정상시력의 학생들과 비교해서도, 수혜군 이상 시력학생들의 언어시험점수에 긍정적인 효과를 미치는 것을 보여줌.

- 다만 수학점수에는 큰 영향을 미치지 않는 것으로 나타났는데, 이는 수학이 언어에 비해 단기적으로 점수를 올리기 힘들기 때문이거나, 안보건 사업이 실질적인 실력상승으로 이어지지 않았기 때문으로 추정됨.

표 4. 안보건 사업의 ITT 추정결과: 이상시력 및 정상시력군 학생 대상
	(1)	(2)	(3)	(4)
VARIABLES	Verbal	Verbal	Math	Math
Poor Vision (PV)	0.0865	0.0755	0.0919	0.0875
	(0.0658)	(0.0645)	(0.0721)	(0.0723)
Treatment	0.0354	0.0213	0.0176	0.0123
	(0.103)	(0.102)	(0.0968)	(0.0965)
PV*Treatment	0.368***	0.375***	0.104	0.107
	(0.104)	(0.103)	(0.107)	(0.107)
Age		-0.0415		-0.0229
		(0.0747)		(0.0678)
Gender		0.361***		0.133***
		(0.0458)		(0.0441)
Test score in R0		0.0474***		0.0515***
		(0.00537)		(0.00600)
Observations	1,946	,946	1,946	1,946
R-squared	0.031	0.456	0.006	0.379
주: Standard errors clustered withing school in parentheses. *** p<0.01, ** p<0.05, * p<0.1. The independent variable is standardized test score by subject using the mean and standard deviation of control group’s test score. ‘Test score in R0’ means test score from Round 0. 자료: 저자 작성.

본 장을 통해 한국의 ODA 사업에 영향력평가를 적용할 때 필요한 실질적인 정책적 시사점을 도출

- 본 사업의 영향력평가가 시작될 수 있던 직접적인 계기는 사업기획 단계부터 사업팀과 평가팀이 함께 사업의 평가방법을 기획할 수 있었던 점과 사업의 진행과정에서 사업팀이 평가에 적극적으로 협조하고 모니터링 및 과정평가를 수행할 수 있었던 점임.

- 이는 추후 우리나라 ODA 영향력평가를 수행할 때에도 사업팀과 평가팀이 초기부터 협력할 수 있는 제도적인 기반이 필요하다는 것을 시사함.

- 또한 사업 및 평가 수행단계에서 발생한 위험요인들을 관리할 수 있는 제도가 필요하다는 시사점이 도출됨.

- 영향력평가가 수행되기 위해서는 공여기관과 수원기관, 사업 수행기관, 수혜자 등 이해관계자들 모두의 영향력평가에 대한 이해와 인식 확산도 필수적임.

3. 정책 제언

1) 영향력평가 도입을 위한 과제

① ODA 통합평가체계 차원

영향력평가가 도입되고 ODA 성과관리가 개선되기 위해서는 먼저 ODA 평가에 대한 명확한 정책이 수립되어야 함.

- 평가기능 및 담당부서, 역할 및 업무범위, 평가 품질기준과 종류, 환류시스템, 승인과정, 평가역량 강화 등의 내용을 포함하는 평가정책 문서에는 영향력평가를 평가종류에 포함하고 대상선정과정과 사업주기와 연계에 대한 내용을 반영해야 함.

- 사업 전 주기에 걸쳐 성과관리와 평가가 연계(integration)되기 위해서는 평가정책 문서에 해당 내용이 반영되어야 함.

현재 우리나라의 평가는 주로 단년으로 수행되고 예산도 1년 단위로 편성되는바, 영향력평가 도입을 위해서는 평가수행 주기와 예산제도의 개선이 필요함.

- 체계적인 영향력평가를 준비하고 시행, 분석, 연구를 위해서는 최소한 24개월, 혹은 많게는 5~6년이 소요되지만 현재 우리나라 체제에서는 불가능한 상황임.

- 영향력평가와 같이 중장기적 접근이 필요한 전략평가에 대해서는 평가성 검토, 평가방법 설계, 데이터 수집/클리닝 및 분석 등에 충분한 시간을 투입할 수 있도록 다년제 예산이 적용 가능하여야 함.

- 추가기간 및 예산투입을 통해 영향력평가가 활성화되기 위해서는 이를 뒷받침할 수 있는 제도적 환경(enabling environment)을 조성하는 노력도 수반되어야 함.

종합적으로 우리나라 ODA 평가의 효과성 제고와 성과관리 개선을 위해 영향력평가를 적극적으로 추진하기 위해서는 관련 재원확보, 인력 양성, 제도개선을 위한 노력이 필요함.

- 이러한 개선노력은 원조시행기관 차원의 노력에서만 가능한 것이 아니라, 유무상 평가계획을 조정, 종합하는 외교부 및 기획재정부, 국무조정실 등 관계부처와 평가소위의 역할이 중요한바, 이들의 역할이 강화될 필요가 있음.

- 영향력평가를 위한 후보사업을 초기단계부터 발굴하기 위해서는 사업계획과 평가의 연계성이 강화되어야 하는데, 이를 위해서 원조시행기관 차원에서 평가부서와 사업실시부서의 상위기관인 외교부와 기획재정부 차원에서도 평가를 담당하는 부서(외교부 개발정책과), 사업계획 수립과 조정을 담당하는 부서(외교부 개발협력과) 간의 협력이 필요함.

- 특히 다년제 적용, 사업기획단계부터 기초선 조사 등 영향력 평가를 위한 예산 및 인력 투입, 역량강화를 위한 훈련프로그램 도입 등을 위해서는 평가소위뿐 아니라 궁극적으로 국제개발협력 정책과 제도관련 의사결정 권한이 있는 국제개발협력위원회, 그리고 예산권이 있는 기획재정부 예산실의 적극적인 협조가 필요함.

- 영향력평가를 포함한 모든 ODA 평가에 대해 국회와 상위기관에 보고하기 위한 책무성 목적뿐 아니라, 평가를 통해 도출된 교훈을 향후 사업과 정책개선을 위해 환류하고 활용하는 평가친화적 문화가 조성되는 것도 급선무임.

② 시행기관 차원

우리나라는 통합평가체계를 구축하고 평가관련 가이드라인 운영과 평가대상 사업심사 등은 통합적으로 운영하고 있지만, 실제 대부분의 평가는 개별 시행기관이 담당하여 수행하는바, 영향력평가가 도입되기 위해서는 시행기관의 정책적 및 제도적 장치가 뒷받침되어야 함.

- 새로운 평가방법을 도입하기 위해 시행기관 내에서 실험적 방법론과 같은 엄밀한 평가방법에 대한 인식을 확산하고 정책적으로 실험적 방법론 도입의 의의를 공고히 하는 것이 중요함.

- 정책결정자 이외에 평가담당자, 사업담당자, 수혜자들에 대한 영향력평가 관련 교육과 인식제고 노력도 필수적

- 제도적으로 평가부서와 사업부서가 영향력평가의 기획, 실행, 환류에 함께 참여할 수 있는 제도적 환경을 구축하는 것이 필요함(그림 2 참고).

그림 2 영향력평가 수행을 위한 타임라인

자료: https://usaidlearninglab.org/sites/default/files/resource/files/impact_evaluation_timeline.pdf 참고하여 저자 작성.

평가계획 및 수행 단계에서는 사업의 특성과 평가목적에 맞는 평가 디자인을 설계하여 효율적이고 유기적으로 운영할 필요

- 특히 실험적 방법론이 효율적으로 수행될 수 있도록 현지 사업담당자와 평가담당자가 긴밀히 협력하여 모니터링 하고 필요시 평가계획 및 기간을 유기적으로 운영할 수 있는 제도적 장치가 마련되어야 함.

평가 종료단계에서는, 평가결과가 실제 정책 설계와 연계되어 증거기반 정책설계에 이바지 할 수 있도록 평가결과 환류를 위한 정책을 마련하는 것이 필수적임.

2) 결론

종합적으로 우리나라는 단기적으로 영향력평가의 시범적 도입을 추진하고 영향력평가를 위한 역량강화에 집중해야 함.

- 단기적으로는 원조시행기관 차원에서 영향력평가 수행이 용이하고 평가인력의 역량을 강화하는 데 적합한 교육 및 보건, 농업 분야의 지역기반사업(Community based project) 등을 중심으로 영향력평가를 수행하는 것이 용이

- 초기에는 이들 분야를 중심으로 영향력평가를 적용할 수 있는 사업을 계획단계부터 발굴하고 평가성을 검토, 사업 특징에 따라 적절한 방법론을 적용

– 아울러 우리나라 개발협력사업 중 비중이 높은 인프라 사업들에 대해서는 무작위통제실험이 불가능한바, 준실험적 방법론을 적극 활용하여 시범적으로 영향력평가를 수행하고 역량강화를 위해 노력해야 함.

중장기적으로는 영향력평가 관련 제도와 정책을 수립하고 체계적인 성과평가 시스템을 갖출 수 있도록 전략적 추진방향을 마련해야 함.

- 영향력평가가 용이한 교육/보건/농업 분야의 경험과 역량을 바탕으로 점진적으로는 우리나라의 개발효과성 제고에 이바지할 수 있는 대형 플래그십 사업(Flagship project)이나, 새로운 유형으로 검증이 필요한 사업을 대상으로 영향력평가를 수행

- 또한 제도적으로 사업부 및 지역사무소의 역량강화를 통해 상향식(bottom-up) 방식으로 영향력평가 대상사업을 제안하고, 주도적으로 영향력평가를 수행할 수 있도록 기반을 마련

- 영향력평가의 결과를 환류할 수 있는 제도적 장치와 인센티브를 통해 실용적인 성과관리 시스템을 구축해야 함.

영향력평가 도입을 통해 우리나라의 ODA 성과관리체계가 개선되고 궁극적으로 증거기반 정책 수립과 개발효과성 제고에 기여할 수 있을 것으로 기대됨.