WORKSHEET GUIDE
記入前に、使いどころと完成条件を確認
貢献ストーリー構築シートは、貢献度分析を会議や個人作業で実行に移すための入力シートです。所要の目安は初期設計に1〜2週間、証拠収集・分析に1〜3か月。分かる欄から仮置きし、未確定事項を次の確認課題として残してください。
このシートが役立つ場面
- RCTや計量経済学的手法を適用できないが、プログラムが成果に貢献したかという因果的問いに答える必要がある
- 複雑な社会プログラム・開発支援・複数年にわたる政策で、変化のメカニズムを文脈とともに説明したい
- 変化の理論(ToC)が存在または構築可能であり、各ステップを支持する証拠を収集できる
参加者と準備
評価者1〜2名が主導。プログラム担当者・受益者・外部専門家からの証拠収集と理論検証のためのインタビューが必要。外部評価者が独立して実施することで信頼性が向上
判断に使う資料、既存データ、関係者の認識差を持ち寄ると記入が進みます。
記入の順番
- 1. 基本情報評価の基本情報を記入してください
- 2. 変化の理論(Theory of Change)の各ステッププログラムが成果を生み出す経路を「活動→成果→インパクト」の連鎖で記入する
- 3. 代替的説明の検討観察された成果がプログラム以外の要因で説明できる可能性を少なくとも3つ検討する
- 4. 残された不確実性確認できなかった事項・弱い証拠に基づく判断を率直に記入する
- 5. 貢献の結論と証拠レベル全体として「プログラムが成果に貢献した」といえるか、証拠レベルとともに結論を記入する
- 6. 完成チェックリスト
完成の目安
- 変化の理論(Theory of Change)の図と文書
- 貢献ストーリー報告書(各ステップの証拠評価・代替説明の検討を含む)
- 証拠マトリクス(各変化ステップ×証拠の種類・強度)
レビュー時の注意
- 変化の理論を「事後的に都合よく」作成する——貢献ストーリーを最初から結論に沿って構築すると確証バイアスが入り込む。理論は実施前または評価初期に、プログラム担当者と独立して作成することが重要
- 証拠の選択的な使用——貢献を支持する証拠のみ取り上げ、反証する証拠を無視すると、ストーリーが偏る。代替的説明の証拠も公平に収集・提示する
- 不確実性を隠す——残された不確実性を率直に示さない貢献ストーリーは誠実さを欠き、評価への信頼を損なう。「強い証拠で支持される」「弱い証拠しかない」などの明確な記述が重要
先に読むと進めやすいガイド
EvalCompass Worksheet
貢献ストーリー構築シート
手法: 貢献度分析(Contribution Analysis)
このシートは貢献度分析の6ステップを実施するためのテンプレートです。各ステップを順番に記入し、証拠の強さを率直に評価してください。
基本情報
評価の基本情報を記入してください
変化の理論(Theory of Change)の各ステップ
プログラムが成果を生み出す経路を「活動→成果→インパクト」の連鎖で記入する
| 変化ステップ(何が起きるはずか) | 支持する証拠 | 反証する証拠 | 証拠の強さ(強/中/弱/未収集) |
|---|---|---|---|
代替的説明の検討
観察された成果がプログラム以外の要因で説明できる可能性を少なくとも3つ検討する
| 代替的説明(プログラム以外の要因) | 支持する証拠 | 反証する証拠 | 採用/棄却 |
|---|---|---|---|
残された不確実性
確認できなかった事項・弱い証拠に基づく判断を率直に記入する
貢献の結論と証拠レベル
全体として「プログラムが成果に貢献した」といえるか、証拠レベルとともに結論を記入する