본문으로 바로가기

전체보고서

발간물

목록으로
연구보고서 ODA 성과평가 개선방안과 정책과제 : 영향력평가를 중심으로 경제개발, 경제협력

저자 허윤선, 정지선, 이주영, 유애라, 윤상철, 이종욱 발간번호 연구보고서 17-16 자료언어 Korean 발간일 2017.12.27

원문보기 저자별 보고서 주제별 보고서

 

 그동안 개발협력사업에 대한 평가는 비용․효과성 분석(Cost-Benefit Analysis), 질적 평가, 개발원조가 개도국의 거시경제지표에 미치는 영향분석 등에 한정되어왔다. 또한 개발협력사업의 성과에 대한 평가보다는 투입물(input) 및 활동(activity)의 효율성 및 타당성을 평가하는 모니터링 및 과정평가에 집중하기도 하였다. 이러한 평가방식은 실제로 사업이 성과로 이어지는 인과관계를 밝히는 데는 한계가 있다. 또한 개발협력사업의 평가는 개발협력사업의 성과를 측정하는 것과 동시에 추후의 사업 설계 및 개발효과성 증진에도 시사점을 주어야 하는데, 그동안의 평가방법은 추후 사업 설계에 도움을 줄 수 있는 증거를 제공하지 못했다.
  기존 평가방법에 대한 반성의 목소리가 높아지고 파리선언 및 부산고위급 회담 이후 개발효과성 제고를 위한 평가의 역할에 대한 인식이 확대되면서, 개발협력사업의 효과를 엄밀하고 과학적으로 측정하는 성과평가기법인 영향력평가가 주목받기 시작하였다. 영향력평가는 실험군과 대조군을 설정하고 개발협력사업이 실시된 상황과 실시되지 않은 상황(Counterfactuals)을 비교하여 사업이 실험군에 미친 영향을 측정하는 평가방법이다. 기존의 평가방법에 비해 사업과 효과 사이의 인과관계를 정밀한 실험적 방법론과 계량경제학 기법을 사용하여 측정하기 때문에 사업이 실질적으로 미친 효과를 비교적 정확히 측정할 수 있다. 또한 사업이 성공/실패하는 주요 요인을 밝힐 수 있기 때문에, 추후 사업 설계에 활용되어 증거기반(Evidence-based) 정책수립에 이바지할 수 있다는 장점이 있다.
  우리나라에서도 최근 우리나라 ODA 사업의 효과성을 엄밀하게 측정하자는 국내외의 수요가 커지면서 영향력평가에 대한 관심이 증대되고 있다. 그동안 우리나라 개발사업의 평가는 사업의 전후를 비교하거나, OECD DAC 5대 원칙에 따르는 사후평가 중심으로 운영되어왔다. 최근에는 국내외의 수요에 대응하기 위해 영향력평가가 일부 수행되고 있지만, 아직까지는 제도적 및 정책적 한계 때문에 일부 사업에 대해서만 제한적으로 운영되고 있다.
  이에 따라 본 연구는 국제사회의 영향력평가 논의동향 및 정책, 쟁점을 살펴보고 우리나라 ODA 성과평가체제에 영향력평가 도입을 위한 정책적 시사점을 도출하는 것을 목적으로 한다. 이를 위해 첫째, 국제사회의 영향력평가 관련 정책 및 수행체제, 사례 등을 비교분석한다. 둘째, 영향력평가 방법 관련 주요 쟁점들을 자세히 분석한다. 셋째, 우리나라 ODA 사업에 실제로 실험적 방법에 기반을 둔 영향력평가를 수행하여 사업의 성과를 측정하고 우리나라 ODA 성과평가에 실질적인 정책적 시사점을 도출한다. 마지막으로 우리나라 ODA 성과관리에 영향력평가 도입을 위한 과제를 ODA 통합평가체계 차원과 시행기관 차원에서 분석하고 중장기적 로드맵을 제시한다.
  국제사회에 개발효과성 및 증거기반 정책수립의 중요성이 대두되고 영향력평가가 중요한 평가방법으로 주목받기 시작하면서 국제기구와 주요 공여국들은 영향력평가를 적극적으로 도입하고 있다. 세계은행은 개발효과성 관련 논의를 주도하는 선진 공여기관으로서 2005년 개발영향평가(DIME) 이니셔티브를 설립하고, 본격적으로 영향력평가를 수행하기 시작했다. 영향력평가를 보다 효과적으로 수행하기 위해 전략적 영향력평가 기금(SIEF)을 운용하고, 개발영향력평가(i2i) 프로그램을 수행하며 영향력평가 수행체계를 공고히 해나가고 있다. 또한 영향력평가 결과는 향후 사업의 확장 지원 시 중요한 결정근거로 고려하는 등 효율적인 성과관리시스템을 구축하고 있다. 아시아개발은행은 2007년부터 체계적인 영향력평가 방법을 강조하기 시작하였다. 주로 인프라 사업에 준실험적 방법에 기반을 둔 영향력평가를 수행하고 있으며, 대부분 기술지원사업으로 평가를 수행한다는 것이 특징이다. 미국의 USAID와 MCC는 신규 시범사업이나 혁신적인 프로젝트에 대해 영향력평가를 실시한다는 평가지침을 보유하고 있다. 일본도 최근 영향력평가를 적극적으로 수행하고 있다. 아직까지 제도적으로 정착되지 않아 사업담당자의 역량 및 의지에 의해 산발적으로 영향력평가가 수행되고는 있지만, 조직 내 관심이 커지고 있고 관련 제도도 정비중인바, 추후 영향력평가를 더욱 적극적으로 도입할 것으로 전망된다.
  국제사회의 성과평가 동향과 주요 공여국의 영향력평가 관련 평가체제를 비교분석한 결과, 우리나라 평가체제에 영향력평가를 도입할 때 고려해야 할 쟁점들을 도출할 수 있었다. 가장 먼저 평가성을 판단하고 적절한 평가방법을 도출해야 하는데, 본 연구에서는 이때 고려해야 할 주요 쟁점들을 제시한다. 평가성 사정의 주요 고려요인은 사업논리의 적절성, 평가가 가능한 제도적 환경, 평가에 활용할 수 있는 정보 접근성 및 품질 등이 있다. 평가방법 디자인 단계에서는 무작위통제실험을 기반으로 하는 영향력평가 방법이 가장 과학적이고 정확하지만, 사업 특성 및 평가환경에서 무작위통제실험이 불가능한 경우 계량기법을 사용하여 대조군을 설정하는 준실험적 방법도 고려할 수 있다. 마지막으로 평가 종료단계에서는 영향력평가의 결과를 환류하여 추후 정책 수립 및 사업 설계에 기여할 수 있는 제도적 기반이 수립되어야 한다.
  이러한 쟁점을 바탕으로 우리나라가 베트남에서 수행하고 있는 안보건사업을 대상으로 무작위통제실험을 적용한 영향력평가를 수행한 과정과 결과를 소개한다. 한국은 베트남 타인호아성의 초등학교를 대상으로 초등학생에 대한 안보건교육과 안경배급사업을 실시하여 안보건 인프라 접근성 제고에 기여하고 있다. 이 사업의 효과를 측정하기 위해 무작위로 수혜학교와 비수혜학교를 추출하고, 안보건사업이 학생의 시험점수에 미치는 영향을 측정하였다. 베트남 사례분석의 첫 번째 목적은 우리나라가 수행한 사업의 성과를 측정하는 데 있고, 두 번째는 우리나라에 영향력평가를 도입할 때 필요한 실질적인 정책적 시사점을 도출하는 것이다. 평가결과 우리나라의 안보건 ODA 사업이 소기의 성과를 거두었지만, 실질적으로 수혜자들의 삶의 질을 향상시키기 위해서는 사업요소에 변화가 필요하다는 것을 알 수 있었다. 또한 추후 우리나라 ODA 사업에 영향력평가를 적용할 때 사업․평가 협조를 위한 제도적 기반 및 리스크 관리 장치, 이해관계자의 인식 제고가 필수적이라는 정책적 시사점을 도출하였다.
  본 연구는 우리나라 ODA 성과관리를 강화하고 영향력평가를 도입하기 위해 ODA 통합평가체계와 시행기관 차원의 과제를 제시하였다. 먼저 우리나라 ODA 평가는 아직까지 명확한 정책이 없기 때문에, 영향력평가와 ODA 성과관리 개선을 위해 정책수립이 시급하다. 평가정책은 영향력평가를 기존의 사후평가 및 종료평가와 함께 평가종류에 포함시키고, 대상사업 선정과 사업주기와의 연계 등의 내용을 포함해야 한다. 평가수행주기와 단년 예산제 개선을 통해 영향력평가가 가능할 수 있도록 제도적인 기반을 갖추어야 한다. 아울러 영향력평가의 재원을 확대하고 인적 역량을 강화하기 위해 산학협력단과 연계하거나 외부재원을 활용하는 방법도 고려해야 한다. 시행기관 차원에서는 정책 및 제도적 개선이 우선시되어야 한다. 우리나라는 통합평가체계를 운영하고 있지만, 실제 평가는 개별 시행기관이 전담하고 있기 때문에, 먼저 시행기관 내에서 실험적 방법에 대한 필요성을 인지하고 인식을 확산하여 관련 정책을 수립하는 것이 급선무이다. 베트남 안보건사업 영향력평가에서 알 수 있듯이 시행기관 내 정책결정자, 평가담당자, 사업담당자, 수혜자들에 대한 평가방법 교육과 인식 제고도 영향력평가의 도입 및 효율적인 수행에 필수적이다. 아울러 제도적으로 평가 계획, 수행, 종료 등 평가단계에 따라 사업팀과 평가팀이 긴밀히 협력할 수 있도록 기반을 마련해야 한다.
  종합적으로 본 연구는 우리나라 ODA의 성과관리 개선과 효과성 제고를 위해 영향력평가의 도입과 이를 위한 제반환경 조성이 필요함을 강조한다. 수치적인 목표에 따라 영향력평가 실시횟수를 늘리는 양적인 접근보다는 적절한 사업에 체계적으로 적용, 도출된 결론을 환류하는 질적 측면에 대한 고려가 시급한 과제로 나타났다. 또한 영향력평가는 사업 초기 단계부터 평가팀이 함께 사업 및 평가를 기획하고, 기초선 수집, 중간 모니터링, 종료선 수집 등을 해야 하기 때문에 현장 중심(decentralized)의 상향식(bottom-up) 평가기획이 가능하도록 평가제도를 개선할 필요가 있다. 영향력평가 대상사업을 선정할 때는 각 시행기관의 대표 분야 및 주제 사업, 현금 지급(cash transfer) 등 새롭고 혁신적인 지원방식, 특정 지역/국가의 시범사업을 확대 적용하고자 할 때 등의 큰 방향성을 바탕으로 하되, 앞서 평가성 검토에서 제시한 핵심 항목인 사업논리의 적절성, 적절한 평가가 가능한 제도적 환경, 데이터 접근성 및 품질 등을 고려하여 대상사업을 선정해야 한다.
  우리나라의 평가역량을 강화화고 전략적 영향력평가를 수행할 수 있는 기반을 마련하기 위해 우선 단기적으로는 영향력평가 수행이 용이하고 평가역량 강화에 적합한 교육 및 보건, 농업 분야 사업을 중심으로 영향력평가를 도입하는 것이 현실적이다. 그러나 중장기적으로는 영향력평가 관련 제도와 정책을 수립하여 체계적인 성과평가시스템을 갖출 수 있도록 전략적 추진방향을 마련해야 한다. 특히 우리나라의 개발효과성 제고에 이바지할 수 있는 대형 플래그십 사업(Flagship project)과 성과검증이 필요한 신규사업을 대상으로 영향력평가를 수행해야 한다. 실험적 방법 적용이 어려운 인프라 사업과 같은 경우에는 준실험적 방법을 적극 활용할 필요가 있다. 이를 통해 궁극적으로 증거기반 정책 수립과 개발효과성 제고에 기여할 수 있을 것으로 기대된다.


 

 

 There has been increasing demand for new evaluation methodology to rigorously measure the causality between the results and activities in the development cooperation sector, and through this to contribute to development effectiveness. The impact evaluation is a method that can complement the shortcomings of former evaluation methodologies by rigorously measuring the impact of a project through an experimental approach. Unlike existing evaluation methods, the causal relationship between results and activity is measured by using scientific experimental methodology and econometric techniques. In addition, impact evaluation can reveal the main factors of success/failure of the development activity. Thus the result of impact evaluation can be used for future policy design and contribute to the establishment of evidence-based policy making.
  Two factors supported the rise of impact evaluation. First, awareness of the role of evaluation to enhance development effectiveness has continued to rise following the Paris Declaration. The Busan Partnership for Effective Development Cooperation in 2011 also emphasized the role of evaluation as a tool for accountability and learning, managing for development results, and eventually the input for evidence-based policy making in the international community. Second, development economists contributed to the rise of impact evaluation by developing rigorous evaluation methodology such as experimental and quasi- experimental methodologies in the setting of developing countries.
  Development agencies have begun to adopt impact evaluation to demonstrate the effectiveness of development projects. The World Bank, as a leading agency for development effectiveness, has conducted a number of randomized controlled trial (RCT)-based impact evaluations to reveal the causality between development projects and results, and to provide evidence for future policy making. The ADB, USA and Japan also recently reformed their evaluation systems and adopted impact evaluation to scientifically demonstrate the results of development projects. In comparison to other donor agencies, Korea yet lacks related policies or a system for impact evaluation. But there is an increasing demand for impact evaluation to establish evidence-based policy making and enhance development effectiveness in Korea.
  The goal of this study is to examine the trends, policies and issues of impact evaluation, and to draw policy implications for the introduction of impact evaluation in Korea's ODA evaluation system. To achieve this goal, this study first compares and analyzes the policy, evaluation system and various cases of impact evaluation from other donor agencies such as the World Bank, ADB, USA, and Japan. Second, we analyze the major issues related to impact evaluation in details. Three issues are raised and analyzed: evaluability assessment, methodology design, and feedback of the result. Third, we conduct an impact evaluation using clustered-RCT to assess the performance of a health project supported by the Korean government in Vietnam. Finally, we analyze the tasks for introducing impact evaluation into Korea's ODA evaluation system at the level of an ODA-integrated evaluation system and implementing agency. This study also proposes a mid- to long-term roadmap to reform Korea's ODA evaluation system.
  In conclusion, this study emphasizes the introduction of impact evaluation to improve result management and enhance the effectiveness of Korea's ODA. The first step for that would be to build knowledge about the importance of rigid evaluation among stakeholders. In addition, a bottom-up evaluation planning system should be set to plan the evaluation from the beginning of the project. In the short term, it is necessary to introduce impact evaluation to the fields of education, health, and agricultural as these are the fields in which impact evaluation can be carried out relatively easily, thus strengthening the evaluation capacity of Korea. In the mid- to-long term, a strategic direction should be set up to establish policies supporting impact evaluation and systematic result-based management. It is necessary to carry out impact evaluation for large flagship projects and new projects that need to establish an evidence-based policy making process. This strategic impact evaluation system will ultimately contribute to the development effectiveness of Korea's ODA. 

서언

 

국문요약

 

제1장. 서론
1. 연구배경
2. 선행연구와의 차별성
3. 연구 범위 및 구성


제2장. ODA 성과평가와 영향력평가
1. ODA 평가의 시대별 변화
2. ODA 평가체제에서 영향력평가
3. 우리나라의 ODA 성과평가와 영향력평가
가. 우리나라의 ODA 평가체계
나. 영향력평가 정책 및 가이드라인
다. 영향력평가 현황


제3장. 국제사회의 영향력평가 정책과 체계
1. 세계은행그룹
가. 영향력평가 현황 및 정책
나. 평가수행체계
다. 영향력평가 사례분석
2. 아시아개발은행
가. 영향력평가 현황 및 정책
나. 평가수행체계
다. 영향력평가 사례분석
3. 미국
가. 영향력평가 현황 및 정책
나. 평가수행체계
다. 영향력평가 사례 분석
4. 일본
가. 영향력평가 현황 및 정책
나. 평가수행체계
다. 영향력평가 사례분석


제4장. 영향력평가 도입을 위한 주요 쟁점
1. 평가성(Evaluability) 사정
2. 평가방법 설계
가. 평가방법 설계 시 고려사항
나. 실험적 방법
다. 준실험적 방법
3. 평가결과 환류


제5장. 우리나라 ODA 사업의 영향력평가 사례: 베트남 보건사업
1. 연구배경
2. 사업 개요
3. 주요 쟁점 분석 및 절차
가. 평가성 사정
나. 평가방법 설계 및 시행
다. 평가결과 환류계획
4. 분석방법
5. 영향력평가결과 및 시사점


제6장. 우리나라 ODA 성과평가에 대한 시사점 및 결론
1. 영향력평가 도입을 위한 과제
가. ODA 통합평가체계 차원
나. 시행기관 차원
2. 요약 및 결론


참고문헌

 

Executive Summary
 

판매정보

분량/크기, 판매가격
분량/크기 176p
판매가격 7,000 원

구매하기 목록

같은 주제의 보고서

연구보고서 아프리카 보건의료 분야 특성 분석 및 한국의 개발협력 방안 2021-12-30 세계지역전략연구 코로나19의 인도 사회·경제에 대한 영향과 시사점 2022-05-27 연구보고서 한국의 지역별 개발협력 추진전략: 아시아 지역 ODA 지원 방안 2021-12-30 연구보고서 한국-베트남 경제·사회 협력 30년: 지속가능한 미래 협력 방안 연구 2021-12-30 연구보고서 중남미 국가의 소득 및 소비 불평등과 정책적 시사점 2021-12-30 연구보고서 에너지전환시대 중동 산유국의 석유산업 다각화 전략과 한국의 협력방안: 사우디아라비아와 UAE를 중심으로 2021-12-30 연구보고서 포스트 코로나 시대의 아세안 공동체 변화와 신남방정책의 과제 2021-12-30 중국종합연구 RCEP 출범에 따른 공급망 변화와 한중 국제물류에 미치는 영향 비교: 해운·항만 서비스 교역과 공급자 중심으로 2021-12-30 중국종합연구 중국 스마트시티 추진현황 및 진출전략 연구: 슝안신구 및 톈진에코시티 사례를 중심으로 2021-12-30 중장기통상전략연구 지역별 중장기 통상전략 및 대외경제 협력 방안 2021-12-31 중국종합연구 여성 기업인 성장에 대한 한·중 비교 연구 2021-12-30 세계지역전략연구 중미 국가의 기후변화 적응 주요과제와 협력방안 2021-12-30 세계지역전략연구 포스트코로나 시대의 중남미 디지털 전환과 한국에 대한 시사점 2021-12-30 세계지역전략연구 아랍-이스라엘 데탕트 시대 역내 안보환경 변화와 한-중동 경제협력 확대 방안 2021-12-30 전략지역심층연구 벨라루스 디지털 경제 발전과 한·벨라루스 협력 방안 2021-12-30 세계지역전략연구 한-인도 CEPA 10년, 우리 중소기업의 성과와 정책 과제 2021-12-30 연구보고서 한-중앙아 수교 30주년: 경제협력 평가와 4대 협력 과제 2021-12-27 세계지역전략연구 사하라이남 아프리카의 주요 경제공동체별 통상환경 및 산업 구조와 한국의 협력 방안 2021-12-30 세계지역전략연구 중남미 국가의 FTA 활용 인프라 분석 및 협력 방안 2021-12-30 전략지역심층연구 한ㆍ러 경협 활성화를 위한 중소기업의 역할과 과제 2021-12-24