設計・セオリー評価設計データ収集計画指標対応表評価枠組み混合研究法
評価デザインマトリクス
Evaluation Design Matrix
別名: 評価マトリクス、評価枠組み表、エビデンスマトリクス
評価クエスチョン・判断基準・指標・データ源・収集方法・分析方法を一枚の表に対応づける評価設計の中核文書。評価計画を具体的・体系的に示し、評価チームの作業地図となる。
難易度 中級 ●●●費用 低 ●●●期間 1〜2日(評価クエスチョン設定完了後)
概要
評価デザインマトリクス(Evaluation Design Matrix)は、評価の各主要クエスチョン(KEQ)に対して、判断基準・評価指標・データ源・データ収集方法・分析方法・責任者・タイムラインを一覧で対応づけた表形式の計画文書。評価の「What(何を測るか)」から「How(どうやって測るか)」「Who(誰が担当するか)」「When(いつ収集するか)」までを一枚で把握できる。
評価デザインマトリクスは、評価クエスチョン設定(KEQ)→指標設計→データ収集設計→分析計画の一連の設計作業を統合する文書で、評価計画書(Evaluation Plan)や TOR の中核をなす。USAID、JICA、GIZ などの主要援助機関が評価計画の標準要素として採用している。量的指標と質的指標の両方を同一マトリクスに収めることで、混合研究法(Mixed Methods)を用いる評価の統合的な設計が可能になる。
✓ こんな時に使う
- 評価クエスチョン(KEQ)が確定した後、データ収集・分析の具体的な計画を立てるとき
- 複数のデータ収集手法(量的・質的)を組み合わせる評価で、各手法の役割を整理するとき
- 評価チームが複数人いる場合に、各メンバーの担当・役割分担を明確にするとき
- 評価コミッショナーや出資者に評価の全体設計を説明・合意するとき
✕ 向かない場面
- 評価クエスチョンがまだ確定していない段階 — まず KEQ の設定を完了させる
- 単一手法・単純構造の小規模評価 — 詳細なマトリクスより簡易な計画書で十分
実施手順
- KEQ の転記とサブ設問の整理確定した KEQ とサブ設問をマトリクスの第1列に記入する。サブ設問単位で行を設定すると詳細設計に向く。
- 判断基準の記入各 KEQ/サブ設問について「何をもってそれが達成されたと判断するか」の基準(ベンチマーク・目標値・規範的基準)を記入する。
- 指標の設定各サブ設問に対して、量的指標・質的指標を対応させる。SMART 基準に照らして具体化し、複数の指標を設定する場合は「主指標」と「補助指標」を区別する。
- データ源の特定各指標を測定するためのデータ源(行政統計・既存報告書・調査データ・インタビュー等)を記入する。1次データが必要か2次データで賄えるかを確認する。
- データ収集方法の選定各データ源に対応する収集方法(アンケート・インタビュー・観察・文書レビュー等)を記入し、サンプルサイズ・対象者・実施時期も付記する。
- 分析方法の指定各データをどのように分析するか(記述統計・回帰・テーマ分析・内容分析等)を記入する。量的・質的データの統合方法も明記する。
- 担当者・スケジュールの割り当て各行(クエスチョン/指標)に対してデータ収集担当者と期限を割り当て、実行可能な計画として完成させる。
長所と限界
長所
- 評価の全設計要素が一枚の表に統合され、全体の整合性を一目で確認できる
- 複数の手法・担当者がいる評価でも、誰が何をすべきかが明確になる
- 評価クエスチョンからデータ収集・分析まで、各要素のトレーサビリティが確保される
限界
- マトリクスが詳細になるほど作成に時間がかかり、実際の収集・分析との乖離が生じることがある
- 実施中の変化(ステークホルダー交代・データ入手不能等)で修正が必要になるが、更新されないことが多い
- 形式の充実が目的化し、内容の質(判断基準の妥当性等)が軽視されることがある
⚠ よくある落とし穴
- 指標欄に「達成率」や「満足度」だけを記入し、具体的な測定方法が不明確なまま作成を終える
- データ収集方法の欄に手法名だけ書き、サンプル・対象・時期・責任者を省略する
- 量的データのみで埋め、質的データの収集・分析の設計が漏れる
- マトリクスを作成した時点で評価設計が完了したと思い込み、パイロットテストや事前確認を省略する