因果推論・実験因果推論準実験政策評価外生性反事実

自然実験

Natural Experiment

別名: 自然実験デザイン、準自然実験、政策変更の外生ショック

制度変更、地域差、段階的導入など研究者が操作していない外生的な出来事を利用し、介入を受けた群と受けていない群の比較から因果効果を推定する考え方。

難易度上級 ●●●費用中 ●●●期間 設計・データ確認に2〜6週間、分析に2〜8週間

概要

自然実験は、研究者や評価者がランダム割付を行わなくても、政策変更、制度改正、災害、境界線、導入時期の差などにより、あたかも外生的に介入群と比較群が生じる状況を活用する評価デザイン。公衆衛生、教育、雇用政策、地域政策の評価で広く使われる。

自然実験は単一の分析手法ではなく、差の差分析、回帰不連続デザイン、中断時系列、合成コントロール法などを成立させるデザイン上の考え方である。核心は、介入を受けたかどうかが評価対象の潜在的な成果と独立に近いと言える根拠を示すこと。政策導入の理由、対象選定のルール、境界や時期の決まり方を詳細に確認し、外生性の主張を文書・制度・データで支える必要がある。

✓ こんな時に使う

政策変更や制度改正が一部地域・一部対象にだけ適用された
導入時期や対象基準が明確で、比較群を設定できる
RCTは倫理・実務上できないが、因果に近い推定を行いたい
過去に起きた政策・事業の効果を既存データで検証したい

✕ 向かない場面

介入対象の選定が成果の見込みに強く基づいており、比較可能性が低い場合
介入以外の同時変化が多く、効果を分離できない場合

実施手順

外生的な変化を特定する
制度変更、閾値、地域境界、導入時期差など、介入割当を生んだルールを文書で確認する。
比較可能性の根拠を確認する
介入群と比較群が、介入前にどれほど似ていたか、どのような差があるかをデータと制度背景で確認する。
適切な分析手法を選ぶ
導入前後と比較群があるならDiD、閾値があるならRDD、時系列が長いならITSや合成コントロール法を検討する。
反事実の妥当性を検証する
平行トレンド、閾値周辺の連続性、事前トレンド、プラセボ期間など、選んだ手法の仮定を検証する。
スピルオーバーを点検する
比較群が介入の影響を間接的に受けていないか、地域移動や情報波及がないかを確認する。
デザインの限界を明記して報告する
なぜ自然実験とみなせるか、どの仮定が弱いか、どの範囲まで一般化できるかを明確に書く。

長所と限界

長所

RCTができない政策・制度の効果を、比較的強い因果推論で検証できる
既存の行政データや公開データを活用しやすい
現実の政策実施に近い環境で評価でき、外的妥当性が高い場合がある
複数手法の選択肢があり、デザインに応じて柔軟に分析できる

限界

外生性の主張は常に反論可能で、制度背景の理解が不可欠
同時期の別政策や外部環境の変化に影響されやすい
利用可能なデータの時点・粒度・品質に結論が制約される

⚠ よくある落とし穴

『自然に起きた』だけで自然実験と呼び、比較可能性の根拠を示さない
介入対象の選定理由を確認せず、選択バイアスを見落とす
分析手法名だけを示し、識別仮定と検証結果を報告しない