ひと目でわかる仕組み
- 評価目的と測定概念の確認
- 設問設計と尺度選定
- サンプリング計画の策定
- プリテスト(予備調査)
- 調査の実施と回収率向上
- データクリーニングと分析
- 結果の解釈と限界の明記
使う場面
- 対象者に共通の質問を用い、量的に比較できる回答を集めたい
- 事業参加前後で態度・知識・行動の変化を数値で示したい
- 地域や属性別の集団間比較を行いたい
- 既存の標準化尺度(生活満足度・心理的健康など)を用いて他調査と比較したい
- 限られた予算で広域の実態把握を行いたい
向かない場面
- 個別の深い経緯や文脈の理解が主目的の場合は、インタビュー等を組み合わせる
- 質問紙に答えるリテラシーや言語能力に著しい格差がある集団(就学前児童・識字率が低い地域等)
- 回収率が見込めない場面での因果推論 — 選択バイアスが強く、結果の解釈が難しくなる
参加者・体制と成果物
調査設計、配布・回収、データ管理・分析を担当する人。対象人数は母集団、抽出方法、必要精度、比較する集団、回収見込みから決める。
主な成果物
- 回収済み調査票データセット
- 集計・分析レポート(記述統計・クロス集計)
- 調査方法論の記録(サンプリング方法・回収率・限界)
実施手順
- 評価目的と測定概念の確認「何を・誰から・どんな目的で測るか」を評価クエスチョンに照らして整理する。測定すべき概念(知識・態度・行動・満足度など)を明確にし、概念ごとに指標を決める。
- 設問設計と尺度選定既存尺度が対象・言語・目的に適合するかと利用条件を確認する。独自設問は回答のしやすさ、中立性、選択肢の重複と不足を点検する。既存尺度も無条件に流用しない。
- サンプリング計画の策定母集団の定義、標本サイズ(統計的検出力・効果量から算出)、抽出方法(無作為・系統・層化・利便性)を決める。回収率低下を見越したオーバーサンプリングを検討する。
- プリテスト(予備調査)想定する回答者の多様な立場で試行し、設問の理解、所要時間、回答しづらい項目、技術的な不具合を確認する。必要な人数は目的と発見される問題から判断する。
- 調査の実施と回収率向上対象者が回答できる経路を用意し、負担と連絡への同意に配慮して案内・リマインダーを行う。回収状況と未回答者の偏りを点検する。回収率だけで代表性を判断しない。
- データクリーニングと分析欠損値・外れ値・一貫性チェック(全項目で最短時間など不正回答の検出)を行う。記述統計・クロス集計・変化量の検定(対応ありt検定など)を適用し、評価クエスチョンに回答する。
- 結果の解釈と限界の明記回収率・サンプリング方法に起因するバイアスを率直に報告する。統計的有意性と実質的意義(効果量)を区別して解釈し、過大解釈を避ける。
長所と限界
長所
- 多数の対象者から標準化されたデータを効率よく収集できる
- 量的指標として集計・比較・統計分析が可能
- 匿名性を確保しやすく、センシティブな項目にも回答を得やすい
- 対象・実施条件・得点化が比較可能であれば、既存尺度を使った他調査との比較を検討できる
限界
- 設問で想定していない複雑な文脈や経緯を把握できない
- 回収率の低下と選択バイアスによって結果が歪む危険性が高い
- 設問設計の質が結果の信頼性を左右するため、専門的なスキルを要する
- 回答者が質問の意図を誤解していても調査者は気づきにくい
⚠ よくある落とし穴
- 全員に配布しても全員を代表するとは限らない。回収率、未回答の理由、把握できる属性の差を報告し、残る偏りを説明する。
- 設問数だけで負担を判断しない。試行で回答時間と難しさを確かめ、評価に不要な項目を削り、途中離脱も点検する。
- 「事後に思い出して答えてもらう」事前状況の把握 — 事前調査なしに「事業前はどうでしたか」と聞いても想起バイアスが強い。事前後設計を最初から組む
適用条件と根拠
- 設問を事前に試し、対象集団への到達と無回答を踏まえて結果を解釈します。 [1]
研修後の活用状況を尋ねる
説明用の仮想例です。評価研修を受けた40人全員に、3か月後の計画活用状況を尋ねたとします。
| 項目 | 仮想値 | 読み方 |
|---|---|---|
| 配布対象 | 40人 | 受講者全員 |
| 有効回答 | 30人 | 回答率75% |
| 計画を会議で使った人 | 18人 | 回答者中60%;受講者全体の割合は未確定 |
この例から判断できること
18÷30=60%は回答者の割合です。未回答10人の状況を確かめず、受講者全体の60%が活用したとは記載しません。
判断で間違えやすいこと
研修は役立ち、行動も変わりましたかと一問で聞く
見直し方: 役立ち度と実際の活用行動を別問にする
理由: 異なる概念に一つの回答を当てると意味が決まらないためです。
未回答を全員未活用として集計する
見直し方: 未回答は別区分とし分母を示す
理由: 未回答の理由と活用の有無は同じではないためです。
参照資料と確認箇所
- QuestionnairesBetterEvaluation
- 参照箇所
- Advice for using this method
- 本文との対応
- 設問を事前に試し、対象集団への到達と無回答を踏まえて結果を解釈します。
このページの引用情報
評価コンパス編集.「質問紙調査」. 評価コンパス, 2026-09-13更新. https://evalcompass.jun-nakatani.com/methods/survey/
閲覧日は利用者が追記してください。本サイトが作成した本文の再利用はCC BY 4.0。引用・外部資料・同梱フォントには、それぞれの利用条件が適用されます。再利用時は出所とライセンスへのリンクを示し、変更した場合はその旨を表示してください。
更新履歴
- — 定義と適用条件の出典を確認し、仮想事例、判断理由、全欄の記入例を追加。未確認の歴史・普及に関する断定を整理。 既存の手順・留意点も点検し、固定的な人数・閾値や制度の一般化を調整。 入力欄の位置・型・個数を保ち、フォームの固定条件や閾値の表記を修正。

