自然実験デザイン確認シート

自然実験では、介入群と比較群がなぜ比較可能と言えるのかを制度背景から説明する必要があります。手法名より識別仮定の確認が中心です。

この端末に自動保存します 入力はこのブラウザ内だけに保存されます。共有・提出時はPDF保存してください。印刷用紙:A4・縦向き。プレビューで向きを確認してください。
EvalCompass Worksheet

自然実験デザイン確認シート

手法: 自然実験(Natural Experiment)
自然実験では、介入群と比較群がなぜ比較可能と言えるのかを制度背景から説明する必要があります。手法名より識別仮定の確認が中心です。

基本情報

自然実験として扱う政策・出来事を記入

この項目の記入例(仮想例)

説明用の仮想例です。ご自身の事業に合わせて記入してください。入力内容は変わりません。

政策・制度変更名
得点による支援対象の変更(仮想)
介入が起きた時期
2026年4月(仮想)
対象地域・対象者
対象地域の申込者
分析担当者
分析担当A

記入理由: 何がいつ変わったかを記録します。

外生性の根拠

介入割当がどのルールで生じたかを整理する

この項目の記入例(仮想例)

説明用の仮想例です。ご自身の事業に合わせて記入してください。入力内容は変わりません。

割当ルール・出来事介入群比較群外生的と考える根拠懸念点
事前得点60以上という規定閾値直上の申込者閾値直下の申込者得点近傍で他の条件が連続する可能性得点操作・裁量・別支援の開始

記入理由: 外生性を結論ではなく検証課題として記入します。

割当ルール・出来事介入群比較群外生的と考える根拠懸念点

分析手法の選択

デザインに合う手法を選ぶ

この項目の記入例(仮想例)

説明用の仮想例です。ご自身の事業に合わせて記入してください。入力内容は変わりません。

候補手法必要データ検証すべき仮定採用可否
RDD得点・受給・成果・事前属性潜在成果の連続性、閾値での操作、別制度保留:運用と他制度を確認後

記入理由: 分析を先に決め打ちしません。

候補手法必要データ検証すべき仮定採用可否

脅威とロバスト性

同時政策、スピルオーバー、選択バイアスへの対応を記述

この項目の記入例(仮想例)

説明用の仮想例です。ご自身の事業に合わせて記入してください。入力内容は変わりません。

規定だけでなく運用記録で例外を調べる。得点分布、事前属性、帯域変更を点検する。同じ閾値で別制度が始まる場合は単独支援の効果として解釈しない。

記入理由: 複数の脅威と対応を残します。

完成チェック

この項目の記入例(仮想例)

説明用の仮想例です。ご自身の事業に合わせて記入してください。入力内容は変わりません。

  • ☐ 未確認: 介入割当のルールを文書で確認した
  • ☐ 未確認: 介入前データと制度背景から比較群の妥当性と脅威を検討した
  • ☐ 未確認: 同時期の別政策・外部要因を点検した
  • ☑ 確認済み: 選んだ分析手法の仮定、その根拠を検討する方法と限界を明記した

記入理由: 規定・事前データ・同時政策の実物は未取得という計画例です。

記入前に、使いどころと完成条件を確認

自然実験デザイン確認シートは、自然実験を会議や個人作業で実行に移すための入力シートです。手法全体の期間は「計画例:設計・データ確認に2〜6週間、分析に2〜8週間」を参考に、規模・体制に合わせて見積もります。分かる欄から仮置きし、未確定事項を次の確認課題として残してください。

このシートが役立つ場面

  • 政策変更や制度改正が一部地域・一部対象にだけ適用された
  • 導入時期や対象基準が明確で、比較群を設定できる
  • 研究者が割当を操作できない介入について、適切な比較と仮定の下で因果効果を検討したい

参加者と準備

評価者・政策担当者・データ分析者。制度背景を説明できる担当者と計量分析者の協働が重要

判断に使う資料、既存データ、関係者の認識差を持ち寄ると記入が進みます。

記入の順番

  1. 1. 基本情報自然実験として扱う政策・出来事を記入
  2. 2. 外生性の根拠介入割当がどのルールで生じたかを整理する
  3. 3. 分析手法の選択デザインに合う手法を選ぶ
  4. 4. 脅威とロバスト性同時政策、スピルオーバー、選択バイアスへの対応を記述
  5. 5. 完成チェック

完成の目安

  • 自然実験デザインメモ
  • 識別仮定と検証結果
  • 因果効果推定レポート

レビュー時の注意

  • 『自然に起きた』だけで自然実験と呼び、比較可能性の根拠を示さない
  • 介入対象の選定理由を確認せず、選択バイアスを見落とす
  • 分析手法名だけを示し、識別仮定と検証結果を報告しない
記入済みの仮想例を読む(入力内容は変わりません)
仮想例・実績ではありません

説明用の仮想例です。支援対象を得点60以上とする仮想制度です。実際の制度や評価結果ではありません。

基本情報

政策・制度変更名
得点による支援対象の変更(仮想)
介入が起きた時期
2026年4月(仮想)
対象地域・対象者
対象地域の申込者
分析担当者
分析担当A

記入理由: 何がいつ変わったかを記録します。

外生性の根拠

割当ルール・出来事介入群比較群外生的と考える根拠懸念点
事前得点60以上という規定閾値直上の申込者閾値直下の申込者得点近傍で他の条件が連続する可能性得点操作・裁量・別支援の開始

記入理由: 外生性を結論ではなく検証課題として記入します。

分析手法の選択

候補手法必要データ検証すべき仮定採用可否
RDD得点・受給・成果・事前属性潜在成果の連続性、閾値での操作、別制度保留:運用と他制度を確認後

記入理由: 分析を先に決め打ちしません。

脅威とロバスト性

規定だけでなく運用記録で例外を調べる。得点分布、事前属性、帯域変更を点検する。同じ閾値で別制度が始まる場合は単独支援の効果として解釈しない。

記入理由: 複数の脅威と対応を残します。

完成チェック

  • ☐ 未確認: 介入割当のルールを文書で確認した
  • ☐ 未確認: 介入前データと制度背景から比較群の妥当性と脅威を検討した
  • ☐ 未確認: 同時期の別政策・外部要因を点検した
  • ☑ 確認済み: 選んだ分析手法の仮定、その根拠を検討する方法と限界を明記した

記入理由: 規定・事前データ・同時政策の実物は未取得という計画例です。

判断で間違えやすいこと

制度変更なら交絡がないと考える

見直し方: 政策の決定理由と対象選定を調べる

理由: 必要性や政治判断が導入と成果の両方に関係し得るためです。

使えるデータに合わせて自然実験と名付ける

見直し方: 介入と割当過程から設計を説明する

理由: 名称よりも具体的な比較の根拠が重要なためです。

内容更新: 資料確認日: (AI照合を含む)人の監修記録なし説明用の仮想例あり編集方針・確認範囲このページを引用訂正したい箇所を伝える

参照資料と確認箇所

  1. Using natural experiments to evaluate population health and health system interventions: new framework for producers and users of evidence
    Peter Craigほか · 2025
    参照箇所
    Framework for natural experimental evaluations
    本文との対応
    研究者が割り当てないことだけでは因果推論の妥当性は保証されず、割当過程を検討します。
    資料確認日: (AI照合を含む)

このページの引用情報

評価コンパス編集.「自然実験デザイン確認シート」. 評価コンパス, 2026-09-13更新. https://evalcompass.jun-nakatani.com/worksheets/natural-experiment/
閲覧日は利用者が追記してください。本サイトが作成した本文の再利用はCC BY 4.0。引用・外部資料・同梱フォントには、それぞれの利用条件が適用されます。再利用時は出所とライセンスへのリンクを示し、変更した場合はその旨を表示してください。

このページの訂正・改善を伝える

更新履歴
  • — 定義と適用条件の出典を確認し、仮想事例、判断理由、全欄の記入例を追加。未確認の歴史・普及に関する断定を整理。 既存の手順・留意点も点検し、固定的な人数・閾値や制度の一般化を調整。 入力欄の位置・型・個数を保ち、フォームの固定条件や閾値の表記を修正。