본문으로 바로가기

연구보고서

발간물

목록으로
연구보고서 ODA 사업의 유형별 평가방법 연구: 기술협력 사업을 중심으로 ODA, 기술협력

저자 이은석, 오지영, 윤혜민, 박차미, 홍문숙 발간번호 22-10 자료언어 Korean 발간일 2022.12.30

원문보기(다운로드:3,231) 저자별 보고서 주제별 보고서


우리나라 공적개발원조(ODA) 규모가 커지고 ODA 사업을 추진하는 기관이 확대됨에 따라 ODA 성과의 체계적 관리 및 평가의 실효성 제고에 대한 요구가 높아지고 있다. 그러나 우리나라 ODA 사업 평가는 주로 프로젝트형 사업을 위한 평가방법론을 기반으로 하여 수립된 평가지침과 매뉴얼을 적용하고 있으며, 기타 유형의 사업을 위한 체계적인 평가방법론 연구는 미흡한 실정이다. 특히 정책 컨설팅, 연수와 같은 기술협력 유형의 사업에 프로젝트형 사업의 평가방법을 적용하기에 한계가 많은 것으로 파악된다.

따라서 본 연구는 우리나라 ODA에서 중요한 비중을 차지하는 기술협력 사업에 대한 현실적이고 유용한 평가방법을 제안한다는 연구 목적을 가지고 우리나라 기술협력 사업의 특성과 시행기관의 평가 여건을 반영한 평가방법을 연구하는 데 중점을 두었다. 

제2장에서 살펴본 바와 같이 우리나라 ODA는 기술협력 비중이 타 공여국보다 높고 소규모 단독 기술협력 사업이 많은 것이 특징이다. 2021년 기준 총 31개 기관이 기술협력 사업을 수행하고 있으며, 소규모 기술협력 사업만 시행하는 기관을 포함하여 많은 시행기관이 기술협력 사업을 대상으로 평가를 실시하고 있다. 기술협력 사업은 역량 강화를 목표로 한다는 특성 때문에 사업의 성과를 명확히 정의하기 어렵고, 평가를 설계하고 방법을 수립할 때 고려해야 할 사항이 많다. 특히 우리나라 기술협력의 상당 부분을 차지하는 단년도 소규모 사업의 경우에는 성과의 발현 여부나 시점이 불분명하고 측정이 어려워 평가성이 높지 않다. 평가의 유용성과 학습의 기능을 강조하는 최근의 개발협력 평가 동향을 반영하여 우리나라 ODA 평가에서도 대상사업의 평가 가능성(evaluability)과 평가의 효용(utility)을 고려할 필요가 있다. 

제3장에서는 기술협력을 실시하는 6개 주요 다자기구(UNDP, FAO, 세계은행, ADB, IDB, WTO)와 4개 양자 공여기관(독일 GIZ, 일본 JICA, 프랑스 AFD 그룹, 스웨덴 Sida)의 기술협력 평가체계와 사례를 심층 조사하였다. 주요 공여기관들은 기술협력 ODA 평가의 한계를 각 기관 평가제도의 틀 안에서 평가의 형식과 부담을 줄이는 방향으로 극복하고 있음을 발견하였다. 다자기구의 사업 단위 평가에서 주목할 점은 사업 종료 단계에서 사업종료보고서를 통해 자체적인 평가를 수행하고, 이를 외부평가자가 검증(validation)하는 약식 평가체계를 가지고 있다는 것이다. 양자 개발기관의 경우, 평가 대상을 사업 분야, 규모, 평가의 유용성 등의 기준에 따라 일부 선정하여 평가하고 있으며, 소규모 사업은 평가 대상에서 제외하기도 한다. 개별 사업보다는 정책, 프로그램, 분야ㆍ주제별로 종합평가를 실시한다는 점도 중요한 특징이다.

제4장에서는 우리나라 기술협력 사업의 대부분을 차지하는 개발 컨설팅과 연수 유형에 활용되는 평가방법을 심층 분석하였다. 시행기관의 사업규모별로 평가방법을 비교ㆍ분석하고, 종합평가 및 개별 사업평가로 구분하여 문제점과 개선방향을 도출하였다. 개발 컨설팅 사업 평가에서는 평가의 범위를 현실적으로 설정하고, 산출물 건수와 같이 단순한 정량 데이터 외에도 정성지표를 활용하여 평가에 필요한 정보를 풍부하게 수집하는 것이 필요한 것으로 나타났다. 연수사업 평가에서는 종료 시점 연수생 만족도 점수 외에 성과의 근거가 명확히 제시되지 않고, 평가 결과의 충실성이 낮은 경우가 많았다. 두 유형에서 도출된 시사점을 종합해보면 단순 점수 위주의 만족도 조사보다는 참여자를 대상으로 보다 구체적인 질적 정보를 수집하여 컨설팅ㆍ연수 내용, 지식 전달이나 협업 방식에 대한 품질을 평가하고 개선 의견을 수렴하는 것이 더 유용할 것으로 보인다. 또한 종합평가를 실시할 때는 평가 목적을 보다 명확히 수립하여 개별 사업평가와 차별화되는 제언을 도출할 필요가 있다. 

국내외 사례 분석 결과를 종합하여 우리나라 기술협력 ODA 평가를 위한 개선 방향으로 도출한 시사점은 다음과 같다. 첫째, 평가성의 측면에서는 기술협력 사업의 성과를 현실적인 범위로 설정하여 대표성 있는 성과지표를 수립하고, 사업 과정과 결과의 품질에 중점을 두어 질적인 측면을 균형 있게 평가할 필요가 있다. 둘째, 단기ㆍ소규모 사업은 개별 사업평가의 효용이 떨어지므로 평가의 필요성이 있을 때 종합평가로 추진하는 것이 바람직하다. 셋째, ‘정식’ 평가를 하지 않더라도 책무성을 확보하기 위해 비용이 적게 드는 ‘약식’ 평가방법을 활용할 수 있다. 넷째, 평가 목적을 명확하게 수립하여 평가의 시기와 범위, 외부 위탁 여부를 결정할 필요가 있다. 

이러한 시사점을 바탕으로 제5장에서는 기술협력 ODA 평가의 한계를 보완하고 평가 단계를 체계화하는 개선방안을 제시하였다. 기술협력 사업 평가에서 평가성의 제약은 책무성 범위(accountability ceiling)를 설정하여 평가의 범위를 현실화함으로써, 효용성 문제는 체계화된 사업관리와 연계하여 약식 종료평가를 도입함으로써 보완할 수 있다. 이를 종합적으로 반영하여 다음과 같은 4단계 사업관리ㆍ평가체계를 제안하였다. 첫 단계는 사업 과정 중 체계적인 모니터링을 통해 사업정보와 데이터를 수집ㆍ축적하는 것으로, 이는 그다음 평가 단계가 제대로 이루어지기 위한 전제조건이 된다. 두 번째 사업종료 보고 단계에서는 사업 과정과 최종 산출물, 사업 수행 중 얻은 교훈에 대해서 사업 수행자 또는 관리자가 자체적인 평가를 실시하도록 한다. 이어 세 번째 단계에서는 2단계의 사업종료보고서 품질과 자체평가 결과를 외부평가자가 객관적으로 검증하는 약식 종료평가를 실시한다. 마지막 단계인 종합평가는 평가 목적에 따라 선정된 사업(군)을 대상으로 사후적으로 실시할 수 있다.

위와 같은 평가관리 개선방안이 실효성 있게 적용되기 위해서는 각 시행기관이 기술협력 사업에 대한 평가의 목적을 명확히 수립하여 평가를 기획하는 제도를 정착시키는 한편, 각 기관의 대표적 기술협력 사업에 대하여 통합적인 성과모형을 수립하고 종합적인 성과관리 체계를 구축하는 것이 중요하다. 또한 기술협력 사업의 평가방법에 융통성을 용인하고, 정량 성과 외에도 다양한 정성적 평가를 병행하여 사업의 장ㆍ단점과 개선사항 도출에 중점을 두어야 한다.

국제개발협력위원회 및 국무조정실 차원에서도 현재 의무화된 자체평가를 유연하게 적용하는 것을 적극 장려하고, 기술협력 ODA 사업의 품질기준을 제시하여 각 시행기관이 자체적으로 사업의 품질을 관리할 수 있도록 유도하는 것이 바람직하다. 궁극적으로 우리나라 기술협력 사업의 효과성을 제고하기 위해서는 소규모 단발적 사업에서 벗어나 보다 넓은 개발 맥락에서 성과를 창출할 수 있도록 프로그램형 사업으로 추진해야 할 것이다. 현재와 같이 다양한 기관에서 기술협력 사업이 산발적으로 시행되고 있는 여건에서는 시행기관 자체적으로 기술협력 사업에 대한 M&E 체계를 강화하는 것이 우선이며, 장기적으로는 보다 통합적인 관점에서 기술협력 사업 평가의 목적을 설정할 필요가 있다. 
With the expansion of Korea’s official development assistance (ODA), there is a growing demand for systematic management and effective evaluation. However, the evaluation of Korea’s ODA mainly depends on guidelines and manuals designed for project-type interventions, while there is a lack of research on evaluation methodology for other types of ODA. Specifically, there are significant limitations when applying project-type ODA evaluation methods to technical cooperation (TC), including policy consulting and training.

Therefore, this study investigates evaluation methods in consideration of the characteristics of Korea’s TC projects and the evaluation environments of its ODA implementing agencies, aiming to design a practical and useful evaluation framework for Korean TC interventions. To this end, it reviews the current trends in TC, discussions of ODA evaluation, and challenges in developing an evaluation methodology for TC projects.

As shown in Chapter 2, the proportion of TC projects in Korea’s ODA is higher compared to other OECD DAC donors. However, these projects tend to be short-term and small in scale, with 14 out of 31 agencies implementing TC projects with funding of less than KRW 1 billion, or well under USD 1 million. In the case of small-sized TC interventions, the outcomes are often intangible and long-term, posing challenges in determining when and how to measure project results. As such, it is important to consider the evaluability and utility when selecting TC projects for evaluation, aligning with the recent trend that emphasizes the learning opportunities and usefulness derived from evaluations.

Chapter 3 examines the evaluation systems and cases of six multilateral organizations and four bilateral development agencies that carry out TC projects. It has been demonstrated that major donors are addressing the constraints of TC evaluation by reducing the formality and burden associated with evaluations. While formal evaluations are carried out for projects with high evaluability and utility, simplified evaluations that review and validate project completion reports are also on the rise, especially at multilateral institutions. Another important aspect is that comprehensive evaluations are conducted for projects within a similar policy, program, or sector. Most evaluation design is based on theory of change (ToC), in which qualitative analysis and indicators are frequently used due to difficulty of quantifying the effects and outcomes of TC projects.

Chapter 4 presents an in-depth analysis of the characteristics of Korea’s TC evaluation, with a specific focus on development consulting and training programs. In most cases, performance indicators were defined as the number of outputs or satisfaction scores, but these scores often fall short in accurately representing project outcomes. Alternatively, it would be more effective to collect detailed qualitative information from participants in evaluating the quality of the project content, knowledge transfer or collaboration methods, and gather opinions to contribute to project improvement. In comprehensive evaluations that cover multiple projects, establishing clear evaluation objectives would enhance the usefulness of evaluation results.

Based on the findings mentioned above, this study presents the following implications for Korea’s TC evaluation. Firstly, it is necessary to set the scope of project results in consideration of the evaluability of TC projects, and employ representative indicators that can provide useful evaluative information on the project processes and quality. For short-term and small-scale projects that have relatively low utility in evaluation, it is advisable to consider conducting clustered evaluations when necessary. In cases where a formal evaluation is not possible, a cost-effective and simplified evaluation can be utilized to ensure accountability and provide learning opportunities. Lastly, it is crucial to clearly define the purpose of evaluation in order to determine the timing and scope of evaluation, as well as whether to involve an external consultant.

Building on this analysis, Chapter 5 proposes a TC project management and evaluation system consisting of four steps that can be used for Korea’s typical TC activities. The first step which is a prerequisite is to collect project information and data through systematic monitoring throughout the project implementation. Secondly, upon project completion, the project team conducts a self-evaluation as part of the final report to assess the experience and lessons learned during the project implementation that can be accumulated as organization knowledge. Thirdly, a simplified end-of-project evaluation is carried out in which an external evaluator verifies the quality of the project completion report and the self-evaluation. As the final step, an ex-post comprehensive evaluation may be conducted by grouping selected TC projects based on specific needs.

This step-by-step evaluation mechanism enables small-scale ODA-implementing agencies to conduct evaluations with limited funding while maximizing the utility of the evaluations. To ensure the effective implementation of these measures, each implementing agency should clearly define the purpose of evaluation and establish a comprehensive management system for TC projects. Additionally, TC evaluation should emphasize the identification of project strengths, weaknesses, and areas for improvement by incorporating a range of qualitative measures alongside quantitative outcomes. The Committee for International Development Cooperation is recommended to encourage flexibility in the methods of TC evaluations, and provide quality standards for TC projects, enabling each implementing agency to independently manage the quality of its projects. 
국문요약

제1장 서론
1. 연구 배경과 목적
2. 연구 대상과 범위
3. 연구 방법과 구성

제2장 기술협력 ODA 평가 동향과 주요 쟁점
1. 기술협력 ODA의 개념과 국제사회의 지원 동향
2. 한국의 기술협력 ODA 및 평가 현황
3. 기술협력 ODA 평가의 주요 쟁점

제3장 국제사회의 기술협력 ODA 평가 정책 및 사례
1. 다자기구의 기술협력 ODA 평가체계 및 사례
2. 양자 개발기관의 기술협력 ODA 평가체계 및 사례
3. 기술협력 평가체계 및 사례분석의 주요 시사점

제4장 우리나라 기술협력 사업의 유형별 평가 사례 분석
1. 시행기관 규모별 자체평가 특징 비교ㆍ분석
2. 개발 컨설팅 유형 평가 사례 분석
3. 연수 유형 평가 사례 분석
4. 소결 및 시사점

제5장 기술협력 ODA 평가방법 개선방안
1. 기술협력 ODA 평가의 쟁점별 시사점
2. 기술협력 ODA 평가체계화 방안
3. 기술협력 ODA 평가품질 개선을 위한 과제

제6장 결론
참고문헌

부록

Executive Summary

판매정보

분량/크기, 판매가격
분량/크기 313
판매가격 12,000 원

구매하기 목록

같은 주제의 보고서

ODA 정책연구 MDB를 활용한 ODA 활성화 방안: PPP를 중심으로 2023-12-29 연구보고서 팬데믹 이후 국제사회의 불평등 현황과 한국의 개발 협력 과제 2023-12-29 연구보고서 대외정책과 연계성 제고를 위한 전략적 ODA 추진방식 개선방안 연구 2023-12-29 연구자료 동티모르의 아세안 가입 지원 및 개발협력 확대 방안 2023-12-29 중국종합연구 중국의 ESG 추진 현황과 한·중 정책 비교 및 대응방향 2023-12-29 세계지역전략연구 아세안 주요국의 난민지원정책과 한국에 대한 시사점 2023-12-30 연구보고서 공여국의 ODA정책 결정 과정 비교연구: 국민 인식과 정책 동기 중심으로 2022-12-30 ODA 정책연구 국제사회의 ODA 사업평가 품질관리 현황과 시사점 2022-12-30 중장기통상전략연구 중앙아시아의 중장기 통상전략과 한·중앙아시아 협력 방안 2022-12-30 ODA 정책연구 국외감축을 활용한 NDC 이행방안과 주요 정책과제 2022-12-30 연구보고서 기후변화에 따른 아프리카·중동의 식량 안보 위기와 한국의 협력방안 2022-12-30 ODA 정책연구 OECD DAC 평가기준 개정안 적용방안에 대한 연구 2022-12-30 연구자료 특허자료를 이용한 중국으로의 지식 확산 경로 분석 연구 2018-12-28 연구자료 한국ㆍ베트남 환경교육협력방안 연구(Ⅰ): 공무원 환경교육 프로그램 작성 및 시범운영 2010-12-30 연구자료 한·중미 IT 산업협력 확대방안 2010-12-30 연구자료 한·중미 중소기업협력 확대방안 2010-12-30 연구자료 인도 권역별 진출환경 평가: 서부 2010-12-30 연구자료 인도 권역별 진출환경 평가: 북부 2010-12-30 연구자료 인도 권역별 진출환경 평가: 동부 2010-12-30 연구보고서 Challenges for APEC in 1997 : A Canadian Viewpoint 1997-12-12
공공누리 OPEN / 공공저작물 자유이용허락 - 출처표시, 상업용금지, 변경금지 공공저작물 자유이용허락 표시기준 (공공누리, KOGL) 제4유형

대외경제정책연구원의 본 공공저작물은 "공공누리 제4유형 : 출처표시 + 상업적 금지 + 변경금지” 조건에 따라 이용할 수 있습니다. 저작권정책 참조

콘텐츠 만족도 조사

이 페이지에서 제공하는 정보에 대하여 만족하십니까?

콘텐츠 만족도 조사

0/100