EBPMで使える評価手法一覧：政策評価・効果検証・ロジックモデルの選び方
EBPMで使う評価手法を、ロジックモデル、指標設計、業績測定、RCT、差の差分析、貢献度分析など目的別に整理します。
EBPMでは、政策目的とロジックを明確にし、指標を設計し、実施状況と成果をデータで確認します。効果検証にはRCT、差の差分析、回帰不連続などが使われますが、すべての政策で厳密な因果推論が必要なわけではありません。
EBPMでは、エビデンスを使って政策を設計・改善することが目的です。単にデータを集めることではなく、政策判断に必要な問いに対して適切な証拠を用意することが重要です。
評価手法は、目的によって選びます。事業設計を整理したいのか、進捗を管理したいのか、成果を測りたいのか、因果効果を検証したいのかで使う手法は変わります。
EBPMの評価設計はロジックから始める
政策評価では、まず政策目的、対象者、介入内容、期待する変化を整理します。ロジックモデルやセオリー・オブ・チェンジを使うと、政策がどの経路で成果につながる想定なのかを明確にできます。
ロジックが曖昧なままデータ分析を始めると、取れるデータに引っ張られ、判断に必要な問いから外れてしまいます。
- 政策目的と対象者を明確にする
- 活動、産出、アウトカムを分ける
- 外部要因と前提条件を確認する
- 評価クエスチョンを設定する
- 指標とデータ源を対応させる
目的別の評価手法
EBPMで使う手法は、因果推論だけではありません。実施状況の把握には業績測定やモニタリング、対象者理解には調査やインタビュー、因果効果の検証には実験・準実験が向いています。
限られた予算やデータ環境では、厳密さと実行可能性のバランスを取ることが必要です。
| 目的 | 手法例 | 使いどころ |
|---|---|---|
| 設計整理 | ロジックモデル、ToC | 政策の仮説を見える化する |
| 進捗管理 | 業績測定、KPI | 実施状況を継続的に確認する |
| 成果把握 | アンケート、行政データ分析 | 対象者の変化を見る |
| 因果検証 | RCT、DiD、RDD | 政策による効果を検証する |
| 説明・改善 | 貢献度分析、ケーススタディ | なぜ変化が起きたかを説明する |
厳密な因果推論が難しいとき
政策現場では、ランダム化や比較群の確保が難しいことがあります。その場合でも、ロジックモデル、時系列データ、質的情報、関係者インタビュー、類似事例との比較を組み合わせれば、改善に役立つ評価は可能です。
重要なのは、どこまで言えるかを誠実に書くことです。「効果があった」と断定できない場合でも、「変化と整合する証拠がある」「別要因の可能性が残る」といった形で判断の強さを示せます。
政策判断に使える証拠の組み合わせ
EBPMで重要なのは、最も高度な分析を選ぶことではなく、政策判断に必要な十分な証拠を組み合わせることです。実施状況、対象者への到達、アウトカムの変化、費用、現場の実装課題を分けて確認すると、改善や予算判断に使いやすくなります。
たとえば新規施策の初年度は、厳密な効果検証よりもロジックの妥当性、対象者に届いているか、実施上のボトルネックを確認する方が有用な場合があります。制度が安定し、データが蓄積してから準実験や行政データ分析を検討します。
- 政策ロジックと指標を先に整える
- 実施データと成果データを分けて見る
- 効果検証の前にデータ品質を確認する
- 言えることと言えないことを明確に報告する
関連手法を組み合わせて精度を高める
EBPM評価手法を実務に定着させるには、単独で完結させず、ロジックモデルと指標設計の役割を分けて組み合わせることが有効です。まず「EBPMの評価設計はロジックから始める」を確認し、事業の判断に必要な情報を整理します。そのうえで、データの取り方と解釈の手順をつなぐと、作業だけが増える評価を避けられます。
組み合わせる際は、二つの手法が同じことを測っていないか、担当者と実施時期が現実的かを確認します。「政策判断に使える証拠の組み合わせ」で見つかった課題は、次のモニタリングや評価計画に反映します。結果が想定と異なる場合も、すぐに失敗と決めつけず、対象者、実施条件、データの限界を順に点検することが大切です。
ロジックモデルをどう使うか
EBPM評価手法を進める際、ロジックモデルは中心となる設計・判断の手法として位置づけます。特に「新規事業の企画段階で、活動と成果のつながりを関係者と整理したい」「評価計画の立案時に、どの段階の何を測定すべきかを決めたい」という場面で使うと、何を確認し、どの情報を残すかを具体化できます。手法を先に決めるのではなく、政策・行政事業で根拠に基づく評価設計をしたい人という目的に照らして採否を判断してください。
EBPM評価手法の文脈でロジックモデルに着手するときは、「目的とスコープの確認」から始めます。誰のための・何のためのモデルかを決める。事業全体か特定コンポーネントか、粒度を関係者と合意する。 担当者、実施時期、利用できる資料を同じ場で確認し、未確定の前提は空欄にせず検証課題として残します。
EBPM評価手法に対してロジックモデルを使った作業の完了目安は、「ロジックモデル図（一枚）」「前提条件・外部要因リスト」がそろい、最後に「指標の割り当てと更新ルール」まで進んでいることです。レビューでは「産出（Output）とアウトカム（Outcome）の混同 — 「研修を10回実施」は産出であり、参加者の行動変化がアウトカム」を重点的に点検し、結論の強さをデータの質と事業の文脈に合わせます。
向いている場面
- 新規事業の企画段階で、活動と成果のつながりを関係者と整理したい
- 評価計画の立案時に、どの段階の何を測定すべきかを決めたい
- 助成金申請・事業報告で、事業の意図を一枚で説明したい
- 既存事業の見直しで、効果が出ない原因がどの連鎖の切れ目にあるかを探りたい
設計時の注意点
- 線形の因果を前提とするため、複雑・創発的な変化の表現には不向き
- 「作って終わり」になりやすく、更新されないと形骸化する
- モデル上の論理が現実に機能している保証はない（あくまで仮説）
- 産出（Output）とアウトカム（Outcome）の混同 — 「研修を10回実施」は産出であり、参加者の行動変化がアウトカム
- アウトカムの欲張りすぎ — 事業規模に対して壮大すぎる長期アウトカムを掲げ、評価不能になる
- 事務局だけで作成し、現場・受益者の視点が抜けたモデルになる
指標設計をどう使うか
EBPM評価手法を進める際、指標設計は不足する証拠や視点を補う手法として位置づけます。特に「ロジックモデルや ToC の各アウトカム要素に測定方法を割り当てるとき」「評価デザインマトリクスの指標欄を具体化するとき」という場面で使うと、何を確認し、どの情報を残すかを具体化できます。手法を先に決めるのではなく、政策・行政事業で根拠に基づく評価設計をしたい人という目的に照らして採否を判断してください。
EBPM評価手法の文脈で指標設計に着手するときは、「測定対象の確認」から始めます。ロジックモデル・ToC の各アウトカム要素と評価クエスチョンを対照し、指標を設定すべき要素をリストアップする。投入・活動・産出・各段階のアウトカム別に整理する。 担当者、実施時期、利用できる資料を同じ場で確認し、未確定の前提は空欄にせず検証課題として残します。
EBPM評価手法に対して指標設計を使った作業の完了目安は、「指標リスト（定義・測定方法・ベースライン・ターゲット値付き）」「モニタリング計画書」がそろい、最後に「指標シートへの整理」まで進んでいることです。レビューでは「指標が多すぎてモニタリングが機能不全に陥る — 重要な5〜10指標に絞るのが実務の原則」を重点的に点検し、結論の強さをデータの質と事業の文脈に合わせます。
向いている場面
- ロジックモデルや ToC の各アウトカム要素に測定方法を割り当てるとき
- 評価デザインマトリクスの指標欄を具体化するとき
- モニタリング計画を作成し、進捗管理に使える定期測定指標を設定するとき
- 助成金・事業計画書で「成果指標」の提示が求められるとき
設計時の注意点
- 測定可能なものに指標が偏り、重要だが捉えにくい変化（wellbeing・エンパワーメント等）が軽視されやすい
- ターゲット値の設定が過度に政治的となり、達成しやすい低い目標が設定される「数値操作」が起きることがある
- 指標の測定が自己目的化し、指標に現れない変化を無視するリスクがある
- 指標が多すぎてモニタリングが機能不全に陥る — 重要な5〜10指標に絞るのが実務の原則
- ベースラインを事業開始後に思い出したように収集しようとするが、事業開始後では測定できていないことが多い
- 全て量的指標に偏り、受益者の経験・文脈の変化を見逃す
- 指標の「定義」を書かずに名前だけ記載し、収集者によって測り方が変わる
実務に落とし込む
EBPMの評価設計では、まず政策ロジックを整理し、次に評価クエスチョンとデータの現実性を確認しましょう。
手法ライブラリで探すよくある質問
EBPMではRCTが必須ですか？
必須ではありません。RCTは強力な手法ですが、政策目的、倫理、実務制約、データ環境に応じて適切な手法を選びます。
行政データだけで評価できますか？
可能な場合もあります。ただし行政データが評価クエスチョンに対応しているか、欠測や定義の問題がないか確認が必要です。
EBPMと通常の評価は何が違いますか？
EBPMは政策判断に根拠を使うことを強調します。評価はそのための設計、測定、分析、学習の手段です。