参加型・質的アプローチアドボカシー評価複雑系証拠収集行動変化貢献分析
アウトカムハーベスティング
Outcome Harvesting
別名: 成果収穫法、OH
事前に定めた目標ではなく、実際に起きたアウトカム(社会変化者の行動変化)を収集・記述し、プログラムの貢献を実証する手法。アドボカシーや政策変化など変化が予測困難な場面に強い。
難易度 上級 ●●●費用 中 ●●●期間 設計・収集・実証・分析の全工程で2〜6ヶ月(規模による)
概要
アウトカムハーベスティングは、Ricardo Wilson-Grau と Heather Britt(2012年にWK Kellogg Foundationレポートで公表)が開発した評価手法。従来の「目標→達成度測定」ではなく、「まず実際に何が変わったか(アウトカム)を収集し、次にプログラムとの関係を実証する」という逆転の発想が特徴。
アウトカムの定義が独特で、「社会変化者(individuals, groups, organizations)の行動・関係・活動・政策の変化」を指す。受益者の満足度や事業の産出物(研修参加人数など)はアウトカムとみなされない。
アドボカシー、政策変化、ネットワーク開発、平和構築など、成果が非線形かつ予測困難な環境での評価に特に有効。UNDP、Oxfam、フォード財団等で実績がある。複雑な介入のリアルな成果を証拠立てたい場合の有力な選択肢。
✓ こんな時に使う
- アドボカシー・政策変化・ネットワーク形成など、アウトカムが事前に予測しにくい介入の評価
- 複数のパートナーが関与する複雑なプログラムで、誰の活動がどの変化に貢献したかを整理したい
- プログラム終了後に「実際に何が変わったか」を後ろ向きに(retrospectively)整理したい
- 因果の厳密な証明よりも「プログラムが変化に貢献した」という合理的な証拠を構築したい
✕ 向かない場面
- 個人レベルの知識・スキル・態度変化(本手法のアウトカム定義に合わない)を主な成果とするプログラム
- 短期間・単純な介入で、投入→産出の直接測定で十分な場合
実施手順
- 設計:収集スコープと情報源の決定何の変化を収集するか(対象社会変化者、地理的範囲、期間)を決める。情報源(実施者の記録、現地パートナー報告、外部観察者等)を特定する。アウトカム文の書き方の基準を合意する。
- アウトカムの収集・記述情報源から行動変化に関するエビデンス(記録、報告書、メール、インタビュー等)を収集する。各アウトカムを「誰が・どのように行動を変えたか・いつ・どこで」という構造化された文として記述する。
- アウトカムの実証(substantiation)記述したアウトカムが実際に起きたことを、変化の当事者(社会変化者本人)や第三者の証言・文書で裏付ける。内部者の主張だけに頼らず、外部からの確認が説得力の核心となる。
- 貢献の分析(contribution)各アウトカムに対してプログラムがどのように関与したか(貢献の程度・性質)を記述する。「原因」ではなく「貢献」であることに注意。他の要因との比較・競合仮説も検討する。
- パターン分析と意味づけ収集・実証されたアウトカムを横断的に分析し、変化のパターン・予期せぬ成果・達成できなかった変化を整理する。ステークホルダーとのレビューセッションで意味づけを行う。
- 評価設問への回答と報告分析結果から評価設問に回答し、プログラムの改善提言を行う。アウトカム記述の台帳(ハーベストデータ)は次サイクルの学習資産として保管する。
長所と限界
長所
- 事前に想定していなかったアウトカムや複雑な変化プロセスを体系的に記録できる
- 「証言ではなく証拠」を重視する実証プロセスが報告の信頼性を高める
- アドボカシー・政策変化など標準的な指標が設定しにくい介入に有効
- プログラム実施者が関与することで、評価と学習が同時に進む
限界
- アウトカム定義(行動変化)が独自で狭いため、他の評価フレームワークとの統合に注意が必要
- 実証ステップに時間とスキルを要し、アクセス困難な変化者の確認が難しいことがある
- アウトカムの重要度・価値の判断基準が明確でないと、収集対象が偏る
⚠ よくある落とし穴
- 実証(substantiation)を省略して「収集・記述だけで完成」とすると、単なる自己申告リストになってしまう
- アウトカムと産出物(Output)の混同 — 「研修を実施した」「報告書を提出した」はアウトカムではない
- 貢献を「帰属(attribution)」として過大に主張すると信頼性を損なう — 「プログラムが貢献した一要因」という適切な表現を徹底する