서언

국문요약

제1장. 서론
1. 연구배경
2. 선행연구와의 차별성
3. 연구 범위 및 구성

제2장. ODA 성과평가와 영향력평가
1. ODA 평가의 시대별 변화
2. ODA 평가체제에서 영향력평가
3. 우리나라의 ODA 성과평가와 영향력평가
가. 우리나라의 ODA 평가체계
나. 영향력평가 정책 및 가이드라인
다. 영향력평가 현황

제3장. 국제사회의 영향력평가 정책과 체계
1. 세계은행그룹
가. 영향력평가 현황 및 정책
나. 평가수행체계
다. 영향력평가 사례분석
2. 아시아개발은행
가. 영향력평가 현황 및 정책
나. 평가수행체계
다. 영향력평가 사례분석
3. 미국
가. 영향력평가 현황 및 정책
나. 평가수행체계
다. 영향력평가 사례 분석
4. 일본
가. 영향력평가 현황 및 정책
나. 평가수행체계
다. 영향력평가 사례분석

제4장. 영향력평가 도입을 위한 주요 쟁점
1. 평가성(Evaluability) 사정
2. 평가방법 설계
가. 평가방법 설계 시 고려사항
나. 실험적 방법
다. 준실험적 방법
3. 평가결과 환류

제5장. 우리나라 ODA 사업의 영향력평가 사례: 베트남 보건사업
1. 연구배경
2. 사업 개요
3. 주요 쟁점 분석 및 절차
가. 평가성 사정
나. 평가방법 설계 및 시행
다. 평가결과 환류계획
4. 분석방법
5. 영향력평가결과 및 시사점

제6장. 우리나라 ODA 성과평가에 대한 시사점 및 결론
1. 영향력평가 도입을 위한 과제
가. ODA 통합평가체계 차원
나. 시행기관 차원
2. 요약 및 결론

참고문헌

Executive Summary
 

 그동안 개발협력사업에 대한 평가는 비용․효과성 분석(Cost-Benefit Analysis), 질적 평가, 개발원조가 개도국의 거시경제지표에 미치는 영향분석 등에 한정되어왔다. 또한 개발협력사업의 성과에 대한 평가보다는 투입물(input) 및 활동(activity)의 효율성 및 타당성을 평가하는 모니터링 및 과정평가에 집중하기도 하였다. 이러한 평가방식은 실제로 사업이 성과로 이어지는 인과관계를 밝히는 데는 한계가 있다. 또한 개발협력사업의 평가는 개발협력사업의 성과를 측정하는 것과 동시에 추후의 사업 설계 및 개발효과성 증진에도 시사점을 주어야 하는데, 그동안의 평가방법은 추후 사업 설계에 도움을 줄 수 있는 증거를 제공하지 못했다.
  기존 평가방법에 대한 반성의 목소리가 높아지고 파리선언 및 부산고위급 회담 이후 개발효과성 제고를 위한 평가의 역할에 대한 인식이 확대되면서, 개발협력사업의 효과를 엄밀하고 과학적으로 측정하는 성과평가기법인 영향력평가가 주목받기 시작하였다. 영향력평가는 실험군과 대조군을 설정하고 개발협력사업이 실시된 상황과 실시되지 않은 상황(Counterfactuals)을 비교하여 사업이 실험군에 미친 영향을 측정하는 평가방법이다. 기존의 평가방법에 비해 사업과 효과 사이의 인과관계를 정밀한 실험적 방법론과 계량경제학 기법을 사용하여 측정하기 때문에 사업이 실질적으로 미친 효과를 비교적 정확히 측정할 수 있다. 또한 사업이 성공/실패하는 주요 요인을 밝힐 수 있기 때문에, 추후 사업 설계에 활용되어 증거기반(Evidence-based) 정책수립에 이바지할 수 있다는 장점이 있다.
  우리나라에서도 최근 우리나라 ODA 사업의 효과성을 엄밀하게 측정하자는 국내외의 수요가 커지면서 영향력평가에 대한 관심이 증대되고 있다. 그동안 우리나라 개발사업의 평가는 사업의 전후를 비교하거나, OECD DAC 5대 원칙에 따르는 사후평가 중심으로 운영되어왔다. 최근에는 국내외의 수요에 대응하기 위해 영향력평가가 일부 수행되고 있지만, 아직까지는 제도적 및 정책적 한계 때문에 일부 사업에 대해서만 제한적으로 운영되고 있다.
  이에 따라 본 연구는 국제사회의 영향력평가 논의동향 및 정책, 쟁점을 살펴보고 우리나라 ODA 성과평가체제에 영향력평가 도입을 위한 정책적 시사점을 도출하는 것을 목적으로 한다. 이를 위해 첫째, 국제사회의 영향력평가 관련 정책 및 수행체제, 사례 등을 비교분석한다. 둘째, 영향력평가 방법 관련 주요 쟁점들을 자세히 분석한다. 셋째, 우리나라 ODA 사업에 실제로 실험적 방법에 기반을 둔 영향력평가를 수행하여 사업의 성과를 측정하고 우리나라 ODA 성과평가에 실질적인 정책적 시사점을 도출한다. 마지막으로 우리나라 ODA 성과관리에 영향력평가 도입을 위한 과제를 ODA 통합평가체계 차원과 시행기관 차원에서 분석하고 중장기적 로드맵을 제시한다.
  국제사회에 개발효과성 및 증거기반 정책수립의 중요성이 대두되고 영향력평가가 중요한 평가방법으로 주목받기 시작하면서 국제기구와 주요 공여국들은 영향력평가를 적극적으로 도입하고 있다. 세계은행은 개발효과성 관련 논의를 주도하는 선진 공여기관으로서 2005년 개발영향평가(DIME) 이니셔티브를 설립하고, 본격적으로 영향력평가를 수행하기 시작했다. 영향력평가를 보다 효과적으로 수행하기 위해 전략적 영향력평가 기금(SIEF)을 운용하고, 개발영향력평가(i2i) 프로그램을 수행하며 영향력평가 수행체계를 공고히 해나가고 있다. 또한 영향력평가 결과는 향후 사업의 확장 지원 시 중요한 결정근거로 고려하는 등 효율적인 성과관리시스템을 구축하고 있다. 아시아개발은행은 2007년부터 체계적인 영향력평가 방법을 강조하기 시작하였다. 주로 인프라 사업에 준실험적 방법에 기반을 둔 영향력평가를 수행하고 있으며, 대부분 기술지원사업으로 평가를 수행한다는 것이 특징이다. 미국의 USAID와 MCC는 신규 시범사업이나 혁신적인 프로젝트에 대해 영향력평가를 실시한다는 평가지침을 보유하고 있다. 일본도 최근 영향력평가를 적극적으로 수행하고 있다. 아직까지 제도적으로 정착되지 않아 사업담당자의 역량 및 의지에 의해 산발적으로 영향력평가가 수행되고는 있지만, 조직 내 관심이 커지고 있고 관련 제도도 정비중인바, 추후 영향력평가를 더욱 적극적으로 도입할 것으로 전망된다.
  국제사회의 성과평가 동향과 주요 공여국의 영향력평가 관련 평가체제를 비교분석한 결과, 우리나라 평가체제에 영향력평가를 도입할 때 고려해야 할 쟁점들을 도출할 수 있었다. 가장 먼저 평가성을 판단하고 적절한 평가방법을 도출해야 하는데, 본 연구에서는 이때 고려해야 할 주요 쟁점들을 제시한다. 평가성 사정의 주요 고려요인은 사업논리의 적절성, 평가가 가능한 제도적 환경, 평가에 활용할 수 있는 정보 접근성 및 품질 등이 있다. 평가방법 디자인 단계에서는 무작위통제실험을 기반으로 하는 영향력평가 방법이 가장 과학적이고 정확하지만, 사업 특성 및 평가환경에서 무작위통제실험이 불가능한 경우 계량기법을 사용하여 대조군을 설정하는 준실험적 방법도 고려할 수 있다. 마지막으로 평가 종료단계에서는 영향력평가의 결과를 환류하여 추후 정책 수립 및 사업 설계에 기여할 수 있는 제도적 기반이 수립되어야 한다.
  이러한 쟁점을 바탕으로 우리나라가 베트남에서 수행하고 있는 안보건사업을 대상으로 무작위통제실험을 적용한 영향력평가를 수행한 과정과 결과를 소개한다. 한국은 베트남 타인호아성의 초등학교를 대상으로 초등학생에 대한 안보건교육과 안경배급사업을 실시하여 안보건 인프라 접근성 제고에 기여하고 있다. 이 사업의 효과를 측정하기 위해 무작위로 수혜학교와 비수혜학교를 추출하고, 안보건사업이 학생의 시험점수에 미치는 영향을 측정하였다. 베트남 사례분석의 첫 번째 목적은 우리나라가 수행한 사업의 성과를 측정하는 데 있고, 두 번째는 우리나라에 영향력평가를 도입할 때 필요한 실질적인 정책적 시사점을 도출하는 것이다. 평가결과 우리나라의 안보건 ODA 사업이 소기의 성과를 거두었지만, 실질적으로 수혜자들의 삶의 질을 향상시키기 위해서는 사업요소에 변화가 필요하다는 것을 알 수 있었다. 또한 추후 우리나라 ODA 사업에 영향력평가를 적용할 때 사업․평가 협조를 위한 제도적 기반 및 리스크 관리 장치, 이해관계자의 인식 제고가 필수적이라는 정책적 시사점을 도출하였다.
  본 연구는 우리나라 ODA 성과관리를 강화하고 영향력평가를 도입하기 위해 ODA 통합평가체계와 시행기관 차원의 과제를 제시하였다. 먼저 우리나라 ODA 평가는 아직까지 명확한 정책이 없기 때문에, 영향력평가와 ODA 성과관리 개선을 위해 정책수립이 시급하다. 평가정책은 영향력평가를 기존의 사후평가 및 종료평가와 함께 평가종류에 포함시키고, 대상사업 선정과 사업주기와의 연계 등의 내용을 포함해야 한다. 평가수행주기와 단년 예산제 개선을 통해 영향력평가가 가능할 수 있도록 제도적인 기반을 갖추어야 한다. 아울러 영향력평가의 재원을 확대하고 인적 역량을 강화하기 위해 산학협력단과 연계하거나 외부재원을 활용하는 방법도 고려해야 한다. 시행기관 차원에서는 정책 및 제도적 개선이 우선시되어야 한다. 우리나라는 통합평가체계를 운영하고 있지만, 실제 평가는 개별 시행기관이 전담하고 있기 때문에, 먼저 시행기관 내에서 실험적 방법에 대한 필요성을 인지하고 인식을 확산하여 관련 정책을 수립하는 것이 급선무이다. 베트남 안보건사업 영향력평가에서 알 수 있듯이 시행기관 내 정책결정자, 평가담당자, 사업담당자, 수혜자들에 대한 평가방법 교육과 인식 제고도 영향력평가의 도입 및 효율적인 수행에 필수적이다. 아울러 제도적으로 평가 계획, 수행, 종료 등 평가단계에 따라 사업팀과 평가팀이 긴밀히 협력할 수 있도록 기반을 마련해야 한다.
  종합적으로 본 연구는 우리나라 ODA의 성과관리 개선과 효과성 제고를 위해 영향력평가의 도입과 이를 위한 제반환경 조성이 필요함을 강조한다. 수치적인 목표에 따라 영향력평가 실시횟수를 늘리는 양적인 접근보다는 적절한 사업에 체계적으로 적용, 도출된 결론을 환류하는 질적 측면에 대한 고려가 시급한 과제로 나타났다. 또한 영향력평가는 사업 초기 단계부터 평가팀이 함께 사업 및 평가를 기획하고, 기초선 수집, 중간 모니터링, 종료선 수집 등을 해야 하기 때문에 현장 중심(decentralized)의 상향식(bottom-up) 평가기획이 가능하도록 평가제도를 개선할 필요가 있다. 영향력평가 대상사업을 선정할 때는 각 시행기관의 대표 분야 및 주제 사업, 현금 지급(cash transfer) 등 새롭고 혁신적인 지원방식, 특정 지역/국가의 시범사업을 확대 적용하고자 할 때 등의 큰 방향성을 바탕으로 하되, 앞서 평가성 검토에서 제시한 핵심 항목인 사업논리의 적절성, 적절한 평가가 가능한 제도적 환경, 데이터 접근성 및 품질 등을 고려하여 대상사업을 선정해야 한다.
  우리나라의 평가역량을 강화화고 전략적 영향력평가를 수행할 수 있는 기반을 마련하기 위해 우선 단기적으로는 영향력평가 수행이 용이하고 평가역량 강화에 적합한 교육 및 보건, 농업 분야 사업을 중심으로 영향력평가를 도입하는 것이 현실적이다. 그러나 중장기적으로는 영향력평가 관련 제도와 정책을 수립하여 체계적인 성과평가시스템을 갖출 수 있도록 전략적 추진방향을 마련해야 한다. 특히 우리나라의 개발효과성 제고에 이바지할 수 있는 대형 플래그십 사업(Flagship project)과 성과검증이 필요한 신규사업을 대상으로 영향력평가를 수행해야 한다. 실험적 방법 적용이 어려운 인프라 사업과 같은 경우에는 준실험적 방법을 적극 활용할 필요가 있다. 이를 통해 궁극적으로 증거기반 정책 수립과 개발효과성 제고에 기여할 수 있을 것으로 기대된다.