評価クエスチョンとは？作り方・例・良い問いに絞るための実務ガイド

評価クエスチョンは、答えを出したい問いです。指標は、その問いに答えるために観察する具体的な情報です。たとえば「研修は実践行動につながったか」が評価クエスチョンで、「研修後3か月以内に評価計画を作成した受講者の割合」が指標になります。

この順序を逆にして、先に取れる数字を並べると、満足度や参加者数だけで終わりがちです。まず問いを決め、問いに必要な証拠を考え、その後に指標と収集方法を選びます。

最初に「この評価の結果を見て、誰が何を決めるのか」を書き出します。継続するか、対象者を変えるか、予算を増やすか、実施方法を改めるかで、必要な問いは変わります。

次に事業のロジックモデルを見ながら、実施状況、短期アウトカム、中期アウトカム、想定外の変化のどこを確かめるかを選びます。すべてを問うのではなく、判断を左右する論点に優先順位を付けることが大切です。

1. 評価結果を使う人と、予定している判断を確認する
2. 事業の目的とロジックモデルを見直す
3. 知りたいことを短い問いとして書き出す
4. 各問いに答えると何の判断ができるかを確認する
5. 判断への必要性とデータ収集の実現性から主要な問いを選ぶ
6. 指標、データ源、分析方法を対応付ける

実施状況を確認したいときは、「想定した対象者に、必要な頻度と方法で届いたか」と問います。成果を見たいときは、「対象者に想定した知識・行動・状態の変化が起きたか」とします。因果関係まで扱うなら、「観察された変化に事業はどの程度貢献したか」と、主張の強さを慎重に設定します。

助成事業では、成果だけでなく「助成金は事業の実施可能性や組織の能力にどう影響したか」、自治体施策では「地域や対象集団の間に届き方の差はなかったか」といった問いも意思決定に役立ちます。

• 実施: 必要な人に、意図した方法で届いたか
• 成果: 対象者にどのような変化が起きたか
• 改善: どの要素を変えると成果が高まりそうか
• 公平性: 属性や地域によって届き方・成果に差がないか
• 貢献: 変化に対して事業はどの程度関わったか

「事業は成功したか」だけでは、何をもって成功とするかが曖昧です。「参加者は何人だったか」は到達の確認に役立ちますが、価値判断には対象とする人や想定規模などの基準も必要です。記述的な問いを、必要な評価判断につなげます。

問いが多すぎる場合は、意思決定への影響、失敗したときのリスク、関係者間で意見が割れている度合いで並べ替えます。重要度が低い問いは、定例モニタリングや次回の評価に回す判断も必要です。

• 一つの問いに複数の論点を詰め込まない
• 答えを先に決めた誘導的な問いにしない
• 測れない問いは、対象・時期・変化を具体化する
• 意思決定に使わない問いは主要評価から外す
• 問いごとに必要なデータと限界を確認する