総合フレームワーク偏り回避非意図的効果Scriven独立評価
ゴールフリー評価
Goal-Free Evaluation
別名: 目標非依拠評価、GFE
評価者が事業目標を意図的に知らされない状態で、実際に生じている効果を幅広く観察・測定する評価手法。Michael Scrivenが1972年に提唱。目標バイアスを排除するために設計された。
難易度 上級 ●●●費用 中 ●●●期間 事業規模による。目標情報なしでの評価設計に追加で1〜2週間の準備を要する
概要
Michael Scrivenが1972年に提唱した評価アプローチ。従来の目標達成度評価(goal-based evaluation)は「目標に照らして評価する」ため、目標に記載されていない効果(非意図的効果・副作用)を見落とすというバイアスを指摘した。ゴールフリー評価では、評価者が事前に事業目標を知らされない状態で、プログラムが実際に誰にどんな影響を与えているかを独立して観察・測定する。
このアプローチの核心は「目標に照らして評価するのではなく、ニーズに照らして評価する」という発想の転換にある。評価者は受益者・非受益者・周辺環境のニーズを独自に調査し、プログラムが実際に生み出している効果をそのニーズへの貢献として評価する。完全な形での実施は稀だが、「意図せざる効果の調査」という部分的な採用は他の評価アプローチと組み合わせて広く行われている。
✓ こんな時に使う
- 事業の非意図的効果・副作用(ポジティブ・ネガティブ両方)を網羅的に把握したいとき
- 説明責任評価で、実施機関の自己申告目標に評価が縛られないようにしたいとき
- 目標設定が恣意的である可能性があり、独立した外部評価が求められるとき
- 既存の評価に「意図しない効果の調査」を補完的に加えたいとき
✕ 向かない場面
- 評価者が事業の性質・コンテキストを事前に全く理解していない場合 — 全くの無知では有効な評価設計ができない
- 目標達成度の確認が主目的の評価(達成状況報告・補助金報告等)
実施手順
- 評価者と依頼者の役割分担の確立依頼者側は評価者に事業目標を開示しない。評価者が目標情報にアクセスできない仕組みを作る(目標文書の封印、担当者への情報管理指示等)。
- ニーズアセスメントの独立実施評価者が、この事業の受益者・非受益者が抱えるニーズを独立に調査する。目標文書ではなく「この集団は実際に何を必要としているか」を調べる。
- プログラムの効果の幅広い観察事前に定めた評価指標に縛られず、受益者・非受益者・地域環境への影響を多様な情報源(観察・インタビュー・文書・統計)から収集する。
- ニーズへの貢献として効果を評価観察された全ての効果(意図的・非意図的)を、ステップ2で把握したニーズへの貢献として評価する。目標への達成度ではなく、価値ある変化かどうかを問う。
- (任意)目標との照合評価の最終段階で初めて公式目標を参照し、独立評価の結果と比較する。差分が「目標バイアスで見落とされていたもの」を示す。
長所と限界
長所
- 目標設定のバイアスに縛られず、実際の効果の全体像を把握できる
- ネガティブな非意図的効果(副作用)の発見に最も適したアプローチ
- 評価の独立性が高く、実施機関の都合の良い目標設定に左右されない
限界
- 評価者が目標を知らないことで、重要な文脈情報を欠いた非効率な評価になるリスクがある
- 完全な「ゴールフリー」の実施は困難で、評価者が事業のコンテキストを全く知らないわけにはいかない
- ニーズアセスメントを一から実施する追加コストがかかる
⚠ よくある落とし穴
- 「目標を知らない」という形式を守りながら、評価者が実質的に目標を推測して目標達成度評価をしてしまう
- ニーズアセスメントを省略し、評価者の主観的判断で「これが良い変化」と決めてしまう
- 完全なGFEを目指して情報管理が複雑になり、評価チームのコミュニケーションが機能不全になる