報告・活用・メタ評価評価品質評価基準第三者評価説明責任評価制度
メタ評価
Meta-Evaluation
別名: 評価の評価、メタ・エバリュエーション
評価そのものの質・妥当性・有用性を体系的に評価する実践。Joint Committee基準やUNEGノームを規準として用い、評価の改善・評価制度の強化に活用する。
難易度 上級 ●●●費用 中 ●●●期間 1〜4週間（単一評価のレビューの場合）/ 数か月（制度的メタ評価）
概要
メタ評価は、評価実践家マイケル・スクリベン（Michael Scriven）が提唱した概念で、「評価の評価」を意味する。評価結果の妥当性を検証するとともに、評価プロセス・方法論・報告書の質を外部または内部の視点から体系的に審査する。
主要な規準としては、ジョイント・コミッティー（Joint Committee on Standards for Educational Evaluation）の「プログラム評価基準」（有用性・実行可能性・適切性・正確性・説明責任の5属性）や、UNEG（国連評価グループ）のノームが広く使われる。実施形態は大きく2つあり、単一評価を対象とした「事後的メタ評価（summative meta-evaluation）」と、評価の設計段階で品質を高める「形成的メタ評価（formative meta-evaluation）」がある。
国際機関（UNDP・世銀・OECD DAC）では独立評価部門が実施する制度的メタ評価が定着しており、日本では政策評価法に基づく「政策評価に関するメタ評価」が総務省行政評価局により実施されている。評価ファンドや助成機関も助成先の評価品質を確認するためにメタ評価を活用する。
✓ こんな時に使う
- 受領した評価報告書の信頼性・品質を確認したいとき
- 組織・省庁の評価制度全体の質を第三者が点検するとき
- 評価能力開発の一環として評価の良実践を学ぶ教材が必要なとき
- 複数の評価報告書を横断的に統合・比較する前に個々の質を確認するとき
✕ 向かない場面
- 評価を実施する資源・時間がない段階 — まず基本的な評価の実施を優先する
- 評価そのものへの政治的不信が高まっている場面 — メタ評価が免責ツールに使われるリスクがある
実施手順
- メタ評価の目的とスコープの確定何のためのメタ評価か（品質確認・制度改善・学習）を明確にし、対象評価の数・範囲・利用する規準（Joint Committee基準等）を合意する。形成的か事後的かも決める。
- 審査規準・チェックリストの選定Joint Committee「プログラム評価基準」（30項目以上）またはUNEGノームを基本とし、組織固有の追加基準を加える。規準の選定自体が価値判断であることに留意し、透明に開示する。
- 証拠収集・文書レビュー評価報告書・設計書・データ・調査票・利害関係者インタビューを収集。文書だけでなく評価プロセスの実態（ステークホルダー参加度、独立性の確保状況）も把握する。
- 規準に照らした採点・判定各規準を4〜5段階（「強く満たす」〜「満たさない」）で評定し、根拠をメモする。複数のメタ評価者が独立に評定し、評定間一致率を確認するとバイアスを減らせる。
- 総合判断と強みの整理全規準の評定を集約し、評価全体の強みと改善点を総合的に判断する。評点の単純合計ではなく、重大な弱点（方法論的欠陥、利益相反等）を優先的に判断する。
- フィードバックと改善提言メタ評価結果を評価実施者・発注者にフィードバックし、次の評価サイクルへの改善提言を作成する。組織のガイドラインや研修プログラムの更新に反映させると制度的効果が高い。
長所と限界
長所
- 評価結果の利用者が報告書の信頼性を客観的に判断できる根拠を与える
- 評価実践の品質を組織全体で継続的に向上させるフィードバックループを形成する
- 既存の標準化された規準（Joint Committee等）を活用でき、独自基準設計の負担が小さい
- 評価者・機関の説明責任を強化し、評価への信頼を社会的に高める
限界
- 評価を評価するメタ評価者自身の質・独立性に依存するという再帰的問題がある
- 既存の評価規準は欧米文脈で発展しており、文化的・制度的適合性の検討が必要
- 評価文書の質がそもそも低い場合はチェックリストだけでは実態把握に限界がある
⚠ よくある落とし穴
- チェックリストの形式的な記入に終始し「合格/不合格」の烙印押しになる — 改善学習の機会として設計する
- 方法論的規準のみを重視し、有用性（実際に意思決定に使われたか）が見落とされる
- メタ評価者の評価への独立性・利益相反チェックを怠る