設計・セオリー評価設計データ収集計画指標対応表評価枠組み混合研究法

評価デザインマトリクス

Evaluation Design Matrix
別名: 評価マトリクス、評価枠組み表、エビデンスマトリクス

評価クエスチョン・判断基準・指標・データ源・収集方法・分析方法を一枚の表に対応づける評価設計の中核文書。評価計画を具体的・体系的に示し、評価チームの作業地図となる。

難易度 中級 ●●費用 期間 1〜2日(評価クエスチョン設定完了後)

概要

評価設問判断基準指標データ源収集方法分析方法設問 1設問 2設問 31行=1設問。左から右へ「どう答えるか」を具体化していく手法は設問に従う(form follows question)
評価設問ごとに、判断基準・指標・データ源・収集法・分析法を一覧化する評価設計の中心文書。

評価デザインマトリクス(Evaluation Design Matrix)は、評価の各主要クエスチョン(KEQ)に対して、判断基準・評価指標・データ源・データ収集方法・分析方法・責任者・タイムラインを一覧で対応づけた表形式の計画文書。評価の「What(何を測るか)」から「How(どうやって測るか)」「Who(誰が担当するか)」「When(いつ収集するか)」までを一枚で把握できる。

評価デザインマトリクスは、評価クエスチョン設定(KEQ)→指標設計→データ収集設計→分析計画の一連の設計作業を統合する文書で、評価計画書(Evaluation Plan)や TOR の中核をなす。USAID、JICA、GIZ などの主要援助機関が評価計画の標準要素として採用している。量的指標と質的指標の両方を同一マトリクスに収めることで、混合研究法(Mixed Methods)を用いる評価の統合的な設計が可能になる。

✓ こんな時に使う

  • 評価クエスチョン(KEQ)が確定した後、データ収集・分析の具体的な計画を立てるとき
  • 複数のデータ収集手法(量的・質的)を組み合わせる評価で、各手法の役割を整理するとき
  • 評価チームが複数人いる場合に、各メンバーの担当・役割分担を明確にするとき
  • 評価コミッショナーや出資者に評価の全体設計を説明・合意するとき

✕ 向かない場面

  • 評価クエスチョンがまだ確定していない段階 — まず KEQ の設定を完了させる
  • 単一手法・単純構造の小規模評価 — 詳細なマトリクスより簡易な計画書で十分

実施手順

  1. KEQ の転記とサブ設問の整理
    確定した KEQ とサブ設問をマトリクスの第1列に記入する。サブ設問単位で行を設定すると詳細設計に向く。
  2. 判断基準の記入
    各 KEQ/サブ設問について「何をもってそれが達成されたと判断するか」の基準(ベンチマーク・目標値・規範的基準)を記入する。
  3. 指標の設定
    各サブ設問に対して、量的指標・質的指標を対応させる。SMART 基準に照らして具体化し、複数の指標を設定する場合は「主指標」と「補助指標」を区別する。
  4. データ源の特定
    各指標を測定するためのデータ源(行政統計・既存報告書・調査データ・インタビュー等)を記入する。1次データが必要か2次データで賄えるかを確認する。
  5. データ収集方法の選定
    各データ源に対応する収集方法(アンケート・インタビュー・観察・文書レビュー等)を記入し、サンプルサイズ・対象者・実施時期も付記する。
  6. 分析方法の指定
    各データをどのように分析するか(記述統計・回帰・テーマ分析・内容分析等)を記入する。量的・質的データの統合方法も明記する。
  7. 担当者・スケジュールの割り当て
    各行(クエスチョン/指標)に対してデータ収集担当者と期限を割り当て、実行可能な計画として完成させる。

長所と限界

長所

  • 評価の全設計要素が一枚の表に統合され、全体の整合性を一目で確認できる
  • 複数の手法・担当者がいる評価でも、誰が何をすべきかが明確になる
  • 評価クエスチョンからデータ収集・分析まで、各要素のトレーサビリティが確保される

限界

  • マトリクスが詳細になるほど作成に時間がかかり、実際の収集・分析との乖離が生じることがある
  • 実施中の変化(ステークホルダー交代・データ入手不能等)で修正が必要になるが、更新されないことが多い
  • 形式の充実が目的化し、内容の質(判断基準の妥当性等)が軽視されることがある

⚠ よくある落とし穴

  • 指標欄に「達成率」や「満足度」だけを記入し、具体的な測定方法が不明確なまま作成を終える
  • データ収集方法の欄に手法名だけ書き、サンプル・対象・時期・責任者を省略する
  • 量的データのみで埋め、質的データの収集・分析の設計が漏れる
  • マトリクスを作成した時点で評価設計が完了したと思い込み、パイロットテストや事前確認を省略する