본문으로 바로가기

발간물

목록으로
ODA 정책연구 국제개발협력의 비의도적 효과(unintended effect) 평가에 대한 연구 ODA, ODA_평가

저자 정지선, 유애라, 박차미 발간번호 24-03 자료언어 Korean 발간일 2024.12.31

원문보기(다운로드:200) 저자별 보고서 주제별 보고서

복합위기 상황에서 국제개발협력 환경의 불확실성이 심화되면서, 국제개발협력 정책 및 사업으로 발생할 수 있는 의도한 효과 외에 ‘의도하지 않은 효과, 즉 비의도적 효과(UIE: unintended effects)’를 보다 면밀히 평가해야 한다는 논의가 확산되고 있다. 본 연구는 ‘국제개발협력의 비의도적 효과 평가에 대한 국제사회 차원의 논의 동향을 살펴보고 우리나라의 ODA평가보고서에 대한 종합분석을 통해 원조사업에서 발생할 수 있는 비의도적 효과의 평가 현황을 살펴보았다. 이를 통해 정책입안자, 시행기관, 국민 등 ODA 주요 이해관계자의 이해도 제고에 기여하는 한편, 향후 ODA 사업기획, 성과관리와 평가 개선을 위한 정책적 시사점을 도출하고자 하였다.

제2장에서는 국제개발협력의 비의도적 효과에 대한 학술적·정책적 논의 동향을 살펴보았다. 국제개발협력에서 비의도적 효과가 발생하는 원인을 설명하는 이론으로, △미흡한 사업계획과 잘못된 가정 때문이라고 보는 ‘기능주의(functionalist) 이론’과 △시스템 내 다양한 상호작용과 복잡성, 그리고 이에 대한 대응 부족 때문이라고 보는 ‘복잡성 이론(complexity theory)’을 구분하여 살펴보았다. 비의도적 효과 유형으로 Jabeen(2018)이 제시한 ‘사전예측이 가능한 효과·불가능한 효과, 긍정적·부정적·가치중립적 효과, 수혜자·비수혜자·시스템 등 확산범위별 효과’ 등 개념적 유형을 소개하고, 내용기반 유형으로 Koch et al.(2021)이 제시한 ‘가격효과, 행동효과, 분쟁효과, 이주효과, 거버넌스 효과, 반발효과, 소외 및 불평등 효과, 부정적 과정효과, 누수효과, 확산효과’ 등을 개인 및 가구 차원, 그룹과 지역사회 간 관계 차원, 그리고 국가 차원 거시적 효과로 구분하여 설명하였다. 타 공여국 사례로 노르웨이, 미국, 네덜란드, 독일의 비의도적 효과 평가연구를 비교분석하였다. 공여국별 평가연구에서는 문헌연구, 텍스트 마이닝, 텍스트 분석이라는 혼합방법론을 활용하였다. 비의도적 효과 평가비중은 기관별로 다양하지만 전반적으로 부족했고, 체계성과 깊이 역시 미흡하다고 언급되었다. 분석결과로는 긍정적 효과의 높은 비중, 거시적 효과 평가 미비 등이 공통적으로 나타났으며, 제언으로는 제안요청서(ToR)상 비의도적 효과 평가 요청의 명확화 및 구체화, 평가방법론 개발 필요성 등이 파악되었다.

제3장에서는 한국 주요 유무상 원조기관인 한국국제협력단(KOICA), 한국수출입은행 경제개발협력기금(EDCF), 한국국제보건의료재단(KOFIH)이 기관별 자체평가보고서에서 ‘의도하지 않은 효과’를 얼마나, 어떻게 평가하는지를 파악하기 위해 키워드 기반 텍스트 분석을 통한 메타평가를 실시하였다. 2011년부터 2024년까지 발간된 기관별 ODA 평가보고서(626건)를 수집하고, ‘의도하지 않은 효과’ 관련 키워드를 중심으로 Atlas.ti 프로그램을 활용한 보고서별 텍스트 분석을 실시하였다. ‘의도하지’에 대한 유의어로 ‘계획하지’, ‘예상하지’, ‘예측하지’를, ‘효과’에 대한 유의어로 ‘성과’, ‘결과’, ‘변화’를 키워드로 설정한 후, 키워드 조합을 검색하여 기관별 분석대상 보고서의 평가 매트릭스, 분석, 결론 부분 내 언급 빈도를 살펴보았다. 평가계획 단계에 수립하는 평가 매트릭스에만 언급, 즉 고려만 하고 분석결과와 결론에서 반영하지 않는 경우는 제외하고 분석결과와 결론에서 해당 키워드가 언급된 보고서를 간추려내어, 이를 다시 본 연구진이 정성적으로 재검토해 실제로 비의도적 효과가 유의미하게 분석되었는지를 확인하였다. KOICA, EDCF, KOFIH의 비의도적 효과 평가 비중은 평균 8%(각 7.6%, 7.3%, 13.0%)로, 제2장에서 살펴본 타 공여국 사례에 비해 제한적이었다. KOICA 평가에서는 긍정적·부정적 효과가 고루 평가되었으나, EDCF와 KOFIH의 경우 긍정적 효과에 대한 평가가 주를 이루었다. 3개 기관 모두에서 가장 많이 파악된 긍정적인 비의도적 효과는 수혜자에서 비수혜자로의 성과 확산, 수혜자 집단 내 다른 주제로 효과 이전 등의 확산효과가 대표적이었고, 그 밖에 지역주민 간 공동체 의식 강화와 같은 사회결속 효과, 사업계획 범위가 아닌 소득증대 등 경제적 효과, 여성 영향력 확대 등 젠더 효과 등도 분석되었다. 부정적 효과로는 물 분야 사업 등에서 기득권 주민 혜택의 확대로 인해 빈곤층의 불평등이 심화되는 엘리트 포획효과, 취약계층이 원조 혜택에서 소외되는 역진적 타기팅 효과 등 소외효과가 눈에 띄었다. 주제별로는 젠더, 환경, 사회경제적 효과가 가장 많이 파악되었고, 그에 비해 기후효과나 디지털화 효과는 발견되지 않았다. 기관별로 KOICA는 물, 농림수산 분야 등 지역사회 기반 사업에서, KOFIH는 모자보건 사업과 유무상연계로 추진되는 병원운영관리 컨설팅 사업에서 비의도적 효과가 주로 파악되었다. EDCF는 특정 분야 집중성은 보이지 않았다. 3개 기관 모두 타 공여국 사례와 마찬가지로 평가계획상의 언급 외에 체계적이고 심도 깊은 분석은 매우 미흡하였고, 방법론상 한계도 노정되었다.

제4장에서는 우리나라 시행기관 ODA 평가에서의 분석결과를 비교 정리하고 특징을 살펴보았다. 국내 공공·민간·학계 평가전문가 및 해외 평가전문가와의 인터뷰를 통해 제3장 분석결과와 방법론에 대해 의견을 수렴 및 교차검증하는 과정을 거쳤다. 결론에서는 ODA 사업기획과 관리, 성과관리 및 평가, 정책 및 제도 차원의 제언을 제시하였다. 비의도적 효과를 예측 및 대응하고 평가하기 위해서는 사전조사 예산과 기간을 확대하고, 시스템 전반적인 맥락에서 이해관계자별 상호작용을 고려하는 변화이론을 사업논리에 반영해야 한다. 사업계획 단계부터 발생할 수 있는 부정적 비의도적 효과를 예측하고 위험관리 메커니즘을 구축하여 대응을 강화하는 한편, 긍정적 비의도적 효과를 확산하는 방안을 모색할 수 있다. 소외 및 불평등 효과에 사전적으로 대응하기 위해 사전조사를 실시하고, 기획 단계에 인권, 젠더 고려를 강화하는 접근도 필요하다. 성과관리 단계에서는 변화이론을 바탕으로 산출물, 성과뿐 아니라 가정과 위험을 모니터링할 것을 권고하였다. 평가지침 및 제안요청서에 비의도적 효과 모니터링과 평가의 필요성을 구체화하고, 평가대상과 맥락에 따라 의무화 혹은 권고할 수 있다. 비의도적 효과에 대한 체계적 평가가 이루어진 경우 평가품질 검토 시 가산점을 주는 방식으로 독려하는 방법도 가능하다. 평가방법론 차원에서는 개방형 질문을 통한 탐색적 인터뷰, 성과수확(outcome harvesting), 참여적 내러티브 탐구(PNI: Participatory Narrative Inquiry) 등이 제안되었다. 제도적으로는 개별 프로젝트 평가뿐 아니라 중장기적 관점의 종합평가를 확대하고, 협력국 차원의 지식과 역량을 적극 활용하기 위해 협력국 대학 및 연구기관과의 협력을 통한 공동평가 활성화 방안도 제시하였다. 분쟁취약국 사업, 인도적 지원 사업 등 비의도적 효과 발생가능성이 높은 영역에 대해 비의도적 효과를 종합 검토하는 시범평가를 실시하고, 기타 영역에 점진적으로 확대하는 접근도 고려할 수 있을 것이다. 마지막으로는 평가와 감사를 구분하는 문화가 자리잡히도록 상위 부처와 기관 차원의 노력과 변화가 수반되어야 할 것이다.

본 연구에서는 우리나라 국제개발협력 평가연구 최초로 한국 ODA의 맥락에서 주요 원조기관의 비의도적 효과 평가 현황을 살펴보고, 주요 유형과 특징을 살펴보았다. 국내 개발협력 평가에서는 아직 논의되지 않은 주제인 비의도적 효과에 대한 선행연구 분석을 통해 ‘비의도적 효과’의 개념과 이론, 다양한 유형을 소개하는 한편, 공여국과 우리나라의 현황을 비교분석함으로써 정책입안자와 평가관리자, 평가연구자에게 개발 효과성 제고를 위해 중요하지만 알려지지 않은 새로운 주제를 제시하였다. 특히 우리나라 국제개발협력 정책과 제도, 사업과 성과관리·평가환경, 그리고 생태계를 고려한 시사점과 정책제언을 도출했다는 점에서 기존 연구와 차별성을 확보하였다.
This study investigates the consideration of unintended effects within South Korea’s burgeoning Official Development Assistance (ODA) programs. Despite Korea’s growing role as an emerging donor, research on the unintended consequences of its aid interventions remains limited. This analysis addresses this gap by examining how key Korean ODA implementing agencies, the Korea International Cooperation Agency (KOICA), the Export-Import Bank of Korea (KEXIM) and the Korea Foundation for International Healthcare (KOFIH), address unintended consequences in their evaluation reports.

Employing a mixed-methods approach – literature review, text analysis, and qualitative content analysis – the study explores the extent to which these agencies analyze and report on unintended effects in evaluations conducted over the past decade. Text analysis of agency reports (extracted from KOICA, KEXIM and KOFIH websites) identifies the frequency and nature of unintended effects discussed, utilizing software (CAQDAS) and keyword searches (“unintended,” “unplanned,” etc.). Thematic analysis then categorizes identified effects based on established typologies(Koch 2024; Jabeen 2018).

Findings reveal that Korea’s major aid agencies analyzed unintended effects in approximately 8% of evaluations, with KOICA featuring a balanced view of both positive and negative effects, while KEXIM and KOFIH focused predominantly on positive effects. The most frequently observed positive unintended effect was the spill-over effects, spread of benefits to non-beneficiary groups and area, fostering community solidarity, economic gains, and empowerment for women. A microcredit program targeting women for increased household income inadvertently led to partners’ awareness of women’s economic and social capacity, leading to enhanced understanding of human rights. Additionally, a cross-sectoral effect was observed in a school feeding program, where children’s educational outcomes improved as a result of better nutrition.

In contrast, negative unintended effects, such as elite capture and regressive targeting—wherein benefits unintentionally excluded vulnerable populations—highlighted gaps in project design and stakeholder engagement. Notably, rural development programs like the Samaeul initiative were found to unintentionally benefit wealthier farmers, excluding poorer ones (regressive targeting, Koch, 2024). Similarly, vocational training for internally displaced persons (IDPs) in post-conflict settings risked unintended discrimination within IDP communities, potentially undermining social cohesion. In microcredit program targeting former refugee villagers provided loans for agricultural activity, unintentionally marginalizing female-led/elderly-led household as they tend to have insufficient labor to increase agricultural productivity.

Conversely, macro-level effects like anti-aid sentiments, governance issues, and environmental impacts were rarely mentioned. These findings may be attributed to factors like East Asian cultural tendencies that discourage open discussions about failure, the relatively recent and smaller scale of Korean interventions, and the absence of a colonial past unlike traditional donors.

Additional semi-structured interviews with domestic and international evaluation experts, reaffirmed the study’s conclusions and contributed to refining its recommendations. The analysis underscores the importance of developing more complexity theory and systems thinking based Theory of Changes that could help predict and indentify not only intended but also potential unintended consequences of the evaluated intervention. Strategies include assessing risks and designing safeguards for negative unintended effects during project planning, fostering mechanisms to enhance positive spillover, and strengthening human rights and gender considerations. In performance management, recommendations emphasize monitoring not only outputs and outcomes but also underlying assumptions and risks, and refining ToRs to mandate or recommend UIE evaluation where relevant. Additionally, evaluators could adopt open-ended, exploratory interview technique and evaluation methods like outcome harvesting, and participatory narrative inquiry (PNI) which are arguably better suited to identify the unintended effects in development interventions.

The study suggests institutional measures to conduct more strategic evaluations with long-term perspectives. Establishing a culture that distinguishes evaluation from auditing is also recommended as a precondition for further discussion and evaluation of unintended effects of international development cooperation as donor agencies are reluctant to openly discuss the unintended effects of their intervention, which are often perceived as negative results of mismanagement of taxpayer’s money.

This study marks the first in-depth examination of unintended effects in Korean ODA evaluations. By comparing practices across donor countries and defining unintended effects in the Korean context, the study provides critical insights for enhancing developmental effectiveness, helping policymakers, evaluation managers, and researchers consider new, often-overlooked aspects of development cooperation. Importantly, this research underlines the need to address both planned and unintended effects in Korea’s ODA, setting a foundation for resilient, inclusive, and sustainable aid interventions.
국문요약

제1장 서론
1. 연구 배경 및 목적
2. 연구 구성 및 방법

제2장 국제사회의 비의도적 효과 평가 논의 동향
1. 비의도적 효과: 개념과 이론
2. 국제개발협력의 비의도적 효과 유형
3. 공여국별 비의도적 효과 평가 동향
4. 소결

제3장 국내 ODA 시행기관의 비의도적 효과 평가 현황
1. 분석대상, 범위 및 방법
2. 결과분석
3. 소결

제4장 결론
1. 결과종합 및 분석
2. 향후 과제
3. 연구의 의의와 한계

참고문헌

Executive Summary

판매정보

분량/크기, 판매가격
분량/크기 130
판매가격 7,000 원

구매하기 목록

같은 주제의 보고서

ODA 정책연구 국제개발협력 전문 연구기관의 기능 및 역할에 관한 연구 2024-12-31 ODA 정책연구 국제개발협력 지식생태계 활성화 방안 2024-12-31 기본연구보고서 ODA 평가의 활용 현황과 유용성 제고 방안 연구 2024-12-31 세계지역전략연구 인도의 인프라 정책 및 수요 분석과 한·인도 협력방안: 개발협력을 중심으로 2024-12-31 ODA 정책연구 소셜벤처의 국제개발협력 참여 현황과 시사점 2024-12-31 세계지역전략연구 Strengthening Korea’s Economic and Development Cooperation with Africa: Focusing on Key Agendas of the 2024 Korea-Africa Summit 2024-12-31 세계지역전략연구 중남미 국가의 그린 에너지 산업 기반과 협력 방향 연구 2024-12-31 ODA 정책연구 MDB를 활용한 ODA 활성화 방안: PPP를 중심으로 2023-12-29 기본연구보고서 팬데믹 이후 국제사회의 불평등 현황과 한국의 개발 협력 과제 2023-12-29 기본연구보고서 대외정책과 연계성 제고를 위한 전략적 ODA 추진방식 개선방안 연구 2023-12-29 연구자료 동티모르의 아세안 가입 지원 및 개발협력 확대 방안 2023-12-29 세계지역전략연구 아세안 주요국의 난민지원정책과 한국에 대한 시사점 2023-12-30 기본연구보고서 ODA 사업의 유형별 평가방법 연구: 기술협력 사업을 중심으로 2022-12-30 기본연구보고서 공여국의 ODA정책 결정 과정 비교연구: 국민 인식과 정책 동기 중심으로 2022-12-30 ODA 정책연구 국제사회의 ODA 사업평가 품질관리 현황과 시사점 2022-12-30 중장기통상전략연구 중앙아시아의 중장기 통상전략과 한·중앙아시아 협력 방안 2022-12-30 ODA 정책연구 국외감축을 활용한 NDC 이행방안과 주요 정책과제 2022-12-30 기본연구보고서 기후변화에 따른 아프리카·중동의 식량 안보 위기와 한국의 협력방안 2022-12-30 ODA 정책연구 OECD DAC 평가기준 개정안 적용방안에 대한 연구 2022-12-30
공공누리 OPEN / 공공저작물 자유이용허락 - 출처표시, 상업용금지, 변경금지 공공저작물 자유이용허락 표시기준 (공공누리, KOGL) 제4유형

대외경제정책연구원의 본 공공저작물은 "공공누리 제4유형 : 출처표시 + 상업적 금지 + 변경금지” 조건에 따라 이용할 수 있습니다. 저작권정책 참조

콘텐츠 만족도 조사

이 페이지에서 제공하는 정보에 대하여 만족하십니까?

콘텐츠 만족도 조사

0/100