設計・セオリー評価設計評価目的KEQ評価枠組み問いの設計
評価クエスチョン設定
Key Evaluation Questions
別名: KEQ、主要評価設問、評価設問
評価が答えるべき核心的な問いを明確に設定するプロセス。マイケル・パットン(Michael Quinn Patton)や BetterEvaluation が標準化した、評価の焦点と有用性を左右する最重要ステップ。
難易度 中級 ●●●費用 低 ●●●期間 半日〜1日(関係者協議を含む)
概要
評価クエスチョン(Key Evaluation Questions: KEQ)は、評価が答えるべき中心的な問いを、評価目的・ステークホルダーの情報ニーズ・意思決定のコンテキストに照らして選び抜いたもの。マイケル・クイン・パットン(Michael Quinn Patton)の「活用重視の評価(Utilization-Focused Evaluation)」において、評価の有用性は「誰が何のために知りたいのか」という問いの質によって決まると強調されており、BetterEvaluation でも評価設計の最初のステップとして体系的な手順が示されている。
KEQ は評価の五つの基本的問いの型 ——「実施された活動の記述(描写)」「目標の達成状況(評価)」「なぜ成果が出た/出なかったか(説明)」「誰に何の変化が起きたか(因果帰属)」「今後どうすべきか(提言)」—— に分類できる。KEQ が多すぎると評価が拡散し、少なすぎると重要情報を逃す。通常3〜7問を設定し、それぞれに対応するサブ設問・指標・データ収集方法を紐づけることで、評価デザインマトリクスの骨格となる。
✓ こんな時に使う
- 評価計画の策定初期段階で、評価の焦点と範囲を関係者と合意するとき
- 評価の発注者(コミッショナー)と評価者(実施者)が評価の目的と成果物について共通理解を形成するとき
- ロジックモデルや ToC が完成した後、「どの仮説・経路を評価するか」を選択するとき
- 評価デザインマトリクスを作成する前の、問いの整理ステップとして
✕ 向かない場面
- 評価の目的・利用者・活用方法が全く明確でない段階 — まずステークホルダー分析と評価可能性アセスメントが先
- 問いが既に固定された定型フォーマット評価(標準化測定ツール等)の場合
実施手順
- 評価目的の確認「誰がなんのためにこの評価を行うのか」を明確にする。形成的(改善のため)か総括的(説明責任・判断のため)か、一次利用者は誰かを特定する。
- 情報ニーズの収集主要ステークホルダーにインタビューやアンケートで「評価から何を知りたいか」を収集する。多様な立場の問いを収集し、優先順位をつける前に広く集める。
- 問いの候補リストの整理収集した情報ニーズを問いの形に整理する。「何が」「どれだけ」「なぜ」「誰に」「どのように」の5Wを意識して具体化する。
- KEQ の選定と絞り込み評価目的・資源・期間に照らし、3〜7問の主要評価クエスチョンに絞り込む。「この問いに答えられなければ評価が失敗」という問いを優先する。
- KEQ の構造化各 KEQ に対してサブ設問(2〜4問)を設定する。KEQ は「大きな問い」、サブ設問は「それを答えるために何を測るか」の操作化。
- 判断基準の設定各 KEQ に対して「何をもって十分/不十分と判断するか」の基準を明示する。基準が不明確だと評価結論が恣意的になる。
- 関係者との合意最終的な KEQ リストをコミッショナー・主要ステークホルダーと共有し、評価設計の合意文書(ToR の一部)として確定する。
長所と限界
長所
- 評価の焦点が明確になり、データ収集・分析・報告の一貫性が生まれる
- ステークホルダーの情報ニーズを反映した評価になり、結果の活用可能性が高まる
- 評価デザインマトリクスの骨格として、評価の全工程を構造化できる
限界
- 問いの設定段階での関係者の関与が不十分だと、評価途中でスコープ変更が起きやすい
- KEQ が「測れるものだけ」になりやすく、重要でも測りにくい問いが排除されるリスクがある
- 評価実施中に状況が変化し、当初の問いが陳腐化することがある
⚠ よくある落とし穴
- 「何を改善するか」という問いが多すぎて、判断・説明責任のための問いが後回しになる
- KEQ が抽象的すぎて(「事業は効果的だったか」)、測定計画に落とし込めない
- 依頼者の希望する答え(advocacy)を暗黙の前提として、問い自体が誘導的になる
- KEQ リストが確定後に変更不可として固定化され、学習や状況変化に対応できない