評価の進め方ガイド

どんな評価も、たどる道筋はおおむね共通しています。ここでは評価実務を10のステップに分け、各ステップのゴール・作業・成果物・使える手法を整理しました。初めての評価でも、このガイドに沿えば道に迷いません。

1

評価の目的と利用者を明確にする

ゴール: 「誰が・何のために・いつ結果を使うのか」に答えられる状態

主な作業

  • 評価の発注者・利用者(資金提供者、経営層、現場、受益者)を特定する
  • 説明責任のためか、学習・改善のためか、意思決定のためかを区別する
  • 結果が使われるタイミング(予算編成、次期計画など)から逆算してスケジュールを引く

このステップの成果物

  • 評価目的の一文
  • 想定利用者と利用場面のリスト
  • 大日程

つまずきポイント

目的が曖昧なまま手法から入ると、誰にも使われない報告書ができあがる。最初の1週間をここに投資する価値は十分にある。

使える手法

2

評価対象を理解し、セオリーを整理する

ゴール: 事業が成果を生む道筋(プログラムセオリー)を一枚で説明できる状態

主な作業

  • 事業計画書・実績記録・既存データをレビューする
  • 担当者・現場スタッフへのヒアリングで事業の実態をつかむ
  • ロジックモデルまたはセオリー・オブ・チェンジを関係者と作成・更新する

このステップの成果物

  • ロジックモデル/セオリー・オブ・チェンジ
  • 事業概要メモ
  • 既存データの棚卸し表

つまずきポイント

書類上の事業と現場で起きていることは往々にして違う。文書レビューだけで分かった気にならず、必ず現場の声を聞く。

使える手法

3

評価可能性を確認する

ゴール: この評価が現実的に実施でき、意味のある結果を出せるという見通し

主な作業

  • セオリーの明確さ、データの入手可能性、関係者の協力体制を点検する
  • 評価に使える予算・人員・期間を確定する
  • 評価不能な問いを除外し、評価のスコープを絞り込む

このステップの成果物

  • 評価可能性アセスメント結果
  • スコープ定義
  • リスクと対応策のリスト

つまずきポイント

「すべてを評価したい」という期待への最初の防波堤がこのステップ。ここで断る勇気が後の品質を守る。

使える手法

4

評価クエスチョンを設定する

ゴール: 評価全体を導く3〜7個の鋭い問い

主な作業

  • 利用者が本当に知りたいことを問いの形に変換する
  • DAC基準などの枠組みを使って問いの抜け漏れを点検する
  • 優先順位をつけ、答えられる数(3〜7個)に絞り込む

このステップの成果物

  • 評価クエスチョン一覧(優先順位付き)

つまずきポイント

問いが10個を超えたら多すぎる。1つの調査で全部に答えようとせず、「今回は答えない問い」を明文化しておくと後で揉めない。

使える手法

5

評価デザインを選択する

ゴール: 各クエスチョンに「どう答えるか」が決まった状態

主な作業

  • クエスチョンごとに判断基準・指標・データ源・収集方法・分析方法を対応づける
  • 因果検証が必要なら比較の方法(実験・準実験・理論ベース)を選ぶ
  • 評価デザインマトリクスに統合し、関係者の合意を得る

このステップの成果物

  • 評価デザインマトリクス
  • (必要に応じて)因果推論デザインの設計書

つまずきポイント

手法は問いに従う(form follows question)。流行りの手法から逆算してデザインを組むと、答えるべき問いに答えられなくなる。

使える手法

6

データ収集を計画し、倫理に配慮する

ゴール: 誰から・何を・どうやって集めるかの実行計画と倫理的準備

主な作業

  • 調査票・インタビューガイド・観察チェックリスト等のツールを設計しプレテストする
  • サンプリング方針と回収目標を決める
  • 同意取得、個人情報保護、データ管理のルールを定める

このステップの成果物

  • データ収集計画書
  • 調査ツール一式
  • 同意書・倫理チェックリスト

つまずきポイント

プレテストを省略すると、本番で「答えられない設問」が発覚する。小規模でも必ず試す。倫理配慮は後付けできない。

使える手法

7

データを収集する

ゴール: 計画した質と量のデータが手元に揃った状態

主な作業

  • 収集の進捗(回収率・実施件数)を週次でモニタリングする
  • 収集と並行してデータの品質(欠損・矛盾)を点検する
  • 現場の負担に配慮し、必要なら計画を柔軟に調整する

このステップの成果物

  • データセット(量的・質的)
  • 収集記録・フィールドノート

つまずきポイント

回収率の低迷は最後に挽回できない。最初の1週間の回収状況で手を打つ。データクリーニングの時間を必ず確保しておく。

使える手法

8

分析し、結果を統合する

ゴール: 個々のデータが評価クエスチョンへの「答え」に変換された状態

主な作業

  • 量的データの集計・統計分析、質的データのコーディング・テーマ分析を行う
  • 複数のデータ源を突き合わせ(トライアンギュレーション)、矛盾を検討する
  • クエスチョンごとに発見事項(findings)を整理する

このステップの成果物

  • 分析結果
  • クエスチョン別の発見事項一覧

つまずきポイント

分析結果と「解釈」を混ぜない。データが語っていることと、そこから評価者が推論したことを分けて書くと、後の判断が透明になる。

使える手法

9

価値判断を行い、提言をつくる

ゴール: 発見事項に基づく明確な評価判断と、実行可能な提言

主な作業

  • 事前に定めた判断基準(ルーブリック等)に照らして発見事項を評価する
  • 関係者と結果を検討するワークショップを開き、解釈を深める
  • 「誰が・何を・いつまでに」が明確な提言を3〜7個に絞って作成する

このステップの成果物

  • 評価判断(基準への照合結果)
  • 提言リスト

つまずきポイント

提言の数が多いほど実行されない。優先度をつけ、宛先(実行責任者)のない提言は書かない。

使える手法

10

報告し、活用につなげる

ゴール: 結果が意思決定と学習に実際に使われている状態

主な作業

  • 読者別に報告プロダクト(本編・要約・ブリーフ・スライド)を作り分ける
  • 報告会・学習イベントで結果を対話的に共有する
  • マネジメントレスポンスを取り付け、提言の実行を追跡する仕組みをつくる

このステップの成果物

  • 評価報告書一式
  • マネジメントレスポンス・フォローアップ表

つまずきポイント

報告書の提出は終わりではなく始まり。3ヶ月後・6ヶ月後のフォローアップ日程を報告会の場で決めてしまうのが定石。

使える手法