設計・セオリー評価設計事前診断評価準備フィージビリティ評価計画
評価可能性アセスメント
Evaluability Assessment
別名: EA、評価可能性調査
本格評価を実施する前に、評価が実際に可能か・意味があるかを診断する事前アセスメント。ジョセフ・ウォーリー(Joseph Wholey)が1979年に体系化した、評価投資の無駄を防ぐ実務的手法。
難易度 中級 ●●●費用 中 ●●●期間 1〜4週間(文書レビュー+インタビューを含む)
概要
評価可能性アセスメント(Evaluability Assessment: EA)は、ジョセフ・ウォーリー(Joseph Wholey)が1979年に著書『Evaluation: Promise and Performance』で体系化した手法で、「評価を始める前に、この事業は評価できる状態にあるか」を診断することを目的とする。米国連邦政府のプログラム評価の実務から生まれた発想で、「評価するだけの価値があるか(evaluability)」と「評価できる状態にあるか(feasibility)」の両面を点検する。
EA では、事業の目標が明確に定義されているか、測定可能な指標が存在するか、データへのアクセスが可能か、評価結果を活用する意思決定者の関心があるか、といった条件を体系的にチェックする。EA の結果、事業の目標設定や指標が不十分と判明した場合は、本格評価の前にプログラムの改善(program clarification)を勧めることもある。評価資源の効率的な配分と、活用されない評価レポートを生産するリスクの低減が主要な価値である。
✓ こんな時に使う
- 評価予算・人員が限られており、複数の候補事業の中から評価対象を優先順位づけしたいとき
- 新規に評価を受託した際に、事業の目標・指標・データの整備状況を素早く把握したいとき
- 過去に評価が実施されたが活用されなかった事業で、再評価の実現可能性と有用性を確認したいとき
- 評価コミッショナー(依頼者)が「何を評価すべきか」を明確にできていない段階
✕ 向かない場面
- 事業の目標・指標が既に整備され、評価の必要性も明確な場合 — すぐに評価設計に進める
- 緊急性の高い短期的なプロセス評価や形成的評価 — EA を経る時間的余裕がない
- 事業規模が小さく、評価可能性の確認より実施の方がコストが低い場合
実施手順
- 文書レビュー事業の計画書・ロジックモデル・既存の評価報告書・モニタリングデータ等を収集・分析し、目標の明確度と既存データの状況を把握する。
- キーインフォーマント・インタビュー事業担当者・管理者・主要ステークホルダーにインタビューし、事業目標の共通理解と評価への期待・関心・活用意図を確認する。
- 目標・指標の明確性評価事業目標が SMART 基準を満たしているか、測定可能な指標が設定されているかを評価する。目標が曖昧な場合は「目標の再定義」を推奨。
- データ・アクセスの実現可能性確認評価に必要なデータが存在するか、アクセス可能か、信頼性はあるかをチェックする。基礎データが欠如していれば、まずベースライン収集が必要。
- 評価活用意図の確認評価結果を誰がどのように使う予定かを確認する。活用の見通しがなければ、評価投資の正当化が困難。意思決定者の関与を事前に確保する。
- EA 報告書の作成と勧告評価可能性スコアと課題、推奨される評価アプローチ(または評価前の準備事項)を報告書にまとめる。「今すぐ評価可能」「条件付きで可能」「まず整備が先」の結論を出す。
長所と限界
長所
- 評価資源の無駄遣いを防ぎ、実施可能で活用される評価に集中できる
- 事業の目標・指標の曖昧さを早期に発見し、改善を促す副次的効果がある
- 評価コミッショナーと評価チームの期待値のすり合わせが早期にできる
限界
- EA 自体にも時間とコストがかかるため、評価予算の小さな事業では割に合わないことがある
- 「評価できない」という結論が、評価回避の口実に使われるリスクがある
- EA 実施者の主観的判断が結論に影響しやすく、基準の標準化が難しい
⚠ よくある落とし穴
- EA を「評価を断るための手続き」として使い、説明責任から逃れるための文書化になる
- 文書レビューだけで完結させ、現場スタッフや受益者への聴取を省略する
- EA 報告書を作成して終わり、勧告事項が実際の評価設計に反映されない