報告・活用・メタ評価実装プロセス評価品質管理研修転移改善
実施忠実度評価
Implementation Fidelity Assessment
別名: Fidelity Assessment、実装忠実度、介入忠実度
プログラムや介入が設計通り、十分な量と質で、対象者に届いているかを確認する評価。成果が出ない理由が理論の失敗か実施の失敗かを切り分ける。
難易度 中級 ●●●費用 低 ●●●期間 設計に半日〜2日、継続観察は事業期間中
概要
実施忠実度評価は、介入やプログラムが当初意図した通りに実施されたかを確認する評価であり、実装研究やプロセス評価の重要な要素である。Carrollらの概念枠組みでは、遵守度（adherence）、実施量・曝露量（dose/exposure）、提供の質（quality of delivery）、参加者の反応性（participant responsiveness）、プログラムの差別化（programme differentiation）などを確認する。
成果評価だけを見ると、成果が出なかった理由が「理論が間違っていた」のか「実施が十分でなかった」のか分からない。実施忠実度評価は、研修、伴走支援、教育プログラム、福祉サービス、医療・保健介入などで、マニュアル通りの提供、頻度、担当者スキル、参加者の実際の受け止めを記録し、成果評価の解釈を支える。標準化を重視する一方で、現場適応をすべて悪とみなさず、どの適応が成果に寄与したかも記録することが重要。
✓ こんな時に使う
- 成果が出ない原因を、設計の問題と実施の問題に切り分けたい
- 複数拠点・複数担当者で同じプログラムを実施しており、品質のばらつきを見たい
- 研修や伴走支援が、計画通りの回数・内容・質で提供されたか確認したい
- RCTや効果検証と並行して、介入が実際に届いたかを記録したい
✕ 向かない場面
- 創発的・発展的なプログラムで、設計通りに実施すること自体を重視しない場合
- 現場適応を記録せず、マニュアル遵守だけを機械的に監査する目的の場合
実施手順
- 中核要素を定義する介入のうち、成果に不可欠な内容・頻度・対象・品質を特定する。守るべき中核と現場適応可能な周辺要素を分ける。
- 忠実度指標を設計する遵守度、実施量、提供の質、参加者反応、差別化の観点から観察項目や記録様式を作る。
- 実施記録を標準化する担当者が負担なく記録できるチェックリスト、実施ログ、観察票を整える。記録の粒度を過剰にしない。
- 観察・ログ・聞き取りを組み合わせる自己記録だけに頼らず、必要に応じて第三者観察、参加者アンケート、インタビューで確認する。
- 現場適応を分類する計画からの変更を、改善のための適応、制約による省略、逸脱に分けて記録する。適応の理由も残す。
- 成果との関係を解釈する忠実度が高い拠点・低い拠点で成果がどう違うかを見て、改善提言や成果評価の限界に反映する。
長所と限界
長所
- 成果が出ない理由を実施プロセスから説明できる
- 複数拠点の品質ばらつきを把握し、改善支援につなげられる
- 効果検証の解釈を強化し、介入が届いていない問題を見逃しにくい
- 現場適応を記録することで、次の改善に使える知見が残る
限界
- 記録負担が大きいと現場に定着しない
- 忠実度を強調しすぎると、必要な現場適応まで抑制してしまう
- 提供の質や参加者反応は、単純なチェックリストだけでは捉えにくい
⚠ よくある落とし穴
- 実施回数だけを忠実度とみなし、提供の質や参加者反応を見ない
- 計画からの変更をすべて失敗として扱い、有効な現場適応を記録しない
- 成果評価の後に忠実度を思い出し、実施記録が残っていない