インパクト評価とは？効果検証との違い・代表手法・実務での選び方

対象者に良い変化が起きても、それだけで事業の効果とは言えません。景気、他制度、本人の努力、時間の経過など、別の要因で変化した可能性があるからです。

狭い意味のインパクト評価では、事業がなかった場合にどうなっていたか、つまり反事実を推定します。そのために比較群や時系列データを使います。

RCTはランダム割付によって群間差を小さくする設計ですが、脱落、介入の混入、測定のずれがあれば推定に影響します。準実験を選ぶときも、手法ごとの仮定を満たせるか確認します。

比較群が作れない場合でも、貢献度分析やプロセストレーシングを使うことで、変化に対する事業の貢献を複数の証拠から説明できます。

手法は、評価目的、データ、倫理、予算、意思決定の重要度で選びます。すべての事業で高度な因果推論を行う必要はありません。重要な政策判断や大規模投資では厳密な設計を検討し、小規模改善では実用的な評価を選ぶ方がよい場合があります。

また、効果の有無だけでなく、なぜ効いたのか、誰に効いたのか、どの条件で効くのかを知るには、質的調査やプロセス評価も必要です。

比較群や前後データがあるだけでは因果効果を識別できません。差の差分析なら介入なしの平行トレンド、傾向スコアなら未観測交絡がないことなど、設計固有の前提が必要です。推定対象、仮定、不確実性を示します。

一方で、比較群がない、サンプルが少ない、介入前データがない場合は、効果を断定するのではなく、変化の発生、事業との整合性、他要因の可能性、今後の検証課題を分けて書きます。過大な表現を避ける方が、評価結果は政策判断に使われやすくなります。

• 比較群と介入前データの有無を確認する
• 因果効果、貢献、成果把握を区別する
• 代替説明と限界を報告する
• 質的調査でメカニズムを補足する