評価コンパスEvalCompass
因果推論・実験因果推論セオリーベース貢献ストーリー複雑な文脈理論評価

貢献度分析

Contribution Analysis
別名: コントリビューション分析、貢献分析

厳密な統計的因果推論が困難な場面で、変化の理論（ToC）に沿った証拠の積み上げによってプログラムの「貢献」を論証する6ステップの評価アプローチ。理論と証拠を組み合わせた「貢献ストーリー」を構築する。

難易度 中級 ●●●費用 中 ●●●期間 初期設計に1〜2週間、証拠収集・分析に1〜3か月
貢献ストーリー構築シートを開く →

概要

①セオリー貢献の理屈を明示②証拠収集各リンクの証拠を集める③対抗仮説他の要因を検討・排除④貢献の主張確からしさを評価「事業が変化に貢献した」と言える根拠を理論ベースで積み上げる反復: 弱い部分は証拠を追加して貢献ストーリーを強化
厳密な反事実が作れない時、セオリーと証拠を突き合わせ、対抗仮説を検討して「貢献ストーリー」を確からしくする。

貢献度分析は、カナダ政府の評価アドバイザーであったJohn Mayne が2001年に提案した評価アプローチ。大規模な社会プログラムや複雑な政策介入では、RCTや計量経済学的手法による厳密な因果効果の推定が困難・不可能な場面が多い。そうした文脈で「このプログラムは成果に貢献したか」という問いに論理的・証拠的に答えることを目的とする。

中核となるのは「貢献ストーリー（Contribution Story）」の構築——プログラムが成果を生み出す変化の理論（Theory of Change）を明示し、その理論の各ステップを支持または反証する証拠を系統的に収集・分析する。代替的な説明（プログラム以外の要因）も検討し、残された不確実性を率直に示したうえで、「プログラムが成果に貢献した」という主張の妥当性を判断する。

Better Evaluation や国際評価機関がプログラム評価の実践的な枠組みとして広く推奨している。

✓ こんな時に使う

  • RCTや計量経済学的手法を適用できないが、プログラムが成果に貢献したかという因果的問いに答える必要がある
  • 複雑な社会プログラム・開発支援・複数年にわたる政策で、変化のメカニズムを文脈とともに説明したい
  • 変化の理論（ToC）が存在または構築可能であり、各ステップを支持する証拠を収集できる
  • ドナー・資金提供者・政策立案者への「何がどう機能したか」の説明責任が求められている

✕ 向かない場面

  • 変化の理論が不明確・構築不可能であり、貢献ストーリーの土台となるロジックを特定できない場合
  • 「正確な効果量（何%の変化をプログラムが生んだか）」という精確な数値推定が求められる場面——貢献度分析は貢献の論証はできるが、統計的な効果量の推定は行わない
  • 収集可能な証拠が極めて乏しく、主要な変化ステップを確認する手段がない

実施手順

  1. ステップ1: 因果帰属の問いを定式化
    「このプログラムは○○という成果に（どの程度）貢献したか」という評価クエスチョンを明確に定式化する。完全な帰属証明ではなく「貢献の論証」が目標であることを関係者と共有する。
  2. ステップ2: 変化の理論を明示・合意
    プログラムが成果を生み出す経路（活動→成果→インパクトの連鎖）を変化の理論として明示する。前提条件・外部要因も含め、関係者・実施者・専門家との合意を経て文書化する。
  3. ステップ3: 証拠を収集して各ステップを検証
    変化の理論の各ステップが実際に起きたかを支持・反証する証拠を既存データ・調査・インタビュー・行政記録等から系統的に収集する。量的・質的の双方の証拠を組み合わせる。
  4. ステップ4: 貢献ストーリーを構築
    収集した証拠を統合し、「このプログラムがこのように機能してこの成果に貢献した」という貢献ストーリーを作成する。理論の各ステップがどの程度証拠で支持されているかを明示する。
  5. ステップ5: 代替的説明を検討・反証
    観察された成果がプログラム以外の要因（他の政策・社会変化・経済的要因等）によって生じた可能性を系統的に検討し、それらを支持または反証する証拠を提示する。代替説明が強い場合は貢献の主張を修正する。
  6. ステップ6: 不確実性を明示して貢献を結論づける
    残された不確実性（収集できなかった証拠・検証できなかった仮定）を率直に示したうえで、プログラムの貢献に関する結論を証拠レベルとともに報告する。貢献ストーリーの強化に必要な追加証拠も提言する。

長所と限界

長所

  • RCTや計量的手法が適用できない複雑な文脈でも、論理的・体系的な因果評価を可能にする
  • 変化の理論を明示することで、何が機能し何が機能しなかったかという「学習」の側面も評価に組み込める
  • 混合手法（量的・質的証拠の統合）と相性がよく、多様な証拠源を体系的に活用できる
  • 評価プロセスが透明で関係者が参加しやすく、評価結果の活用・組織学習につながりやすい

限界

  • 変化の理論の質と証拠収集の徹底度に評価の信頼性が大きく依存する——理論が弱い・証拠が薄い貢献ストーリーは説得力に欠ける
  • 「貢献した」という判断の客観的な基準が明確でなく、評価者の判断に依存する部分が大きい
  • 厳密な統計的効果量の推定はできないため、「どれくらい貢献したか」の数値的な答えは得られない
  • 代替的説明の網羅的な検討は難しく、見落とした代替説明が存在する可能性を排除できない

⚠ よくある落とし穴

  • 変化の理論を「事後的に都合よく」作成する——貢献ストーリーを最初から結論に沿って構築すると確証バイアスが入り込む。理論は実施前または評価初期に、プログラム担当者と独立して作成することが重要
  • 証拠の選択的な使用——貢献を支持する証拠のみ取り上げ、反証する証拠を無視すると、ストーリーが偏る。代替的説明の証拠も公平に収集・提示する
  • 不確実性を隠す——残された不確実性を率直に示さない貢献ストーリーは誠実さを欠き、評価への信頼を損なう。「強い証拠で支持される」「弱い証拠しかない」などの明確な記述が重要
  • ステップ5（代替説明の検討）の省略——代替的な要因を検討しないと「貢献した」という主張が弱くなる。最低でも3〜5つの代替説明を挙げて検討する