分析・統合文書分析コーディングフレームコーダー間信頼性自由記述量質両用
内容分析
Content Analysis
別名: コンテント・アナリシス、文書分析、定量的内容分析
文書・自由記述・メディア等のテキストデータをコーディングフレームに基づいて体系的に分類・集計する手法。量的内容分析と質的内容分析の両方があり、コーダー間信頼性の算出で分析の客観性を担保する。
難易度 中級 ●●●費用 低 ●●●期間 1〜3週間(コーディングフレーム開発・コーダー訓練・実施・信頼性検証を含む)
概要
内容分析(Content Analysis)は、テキスト・画像・映像などのコミュニケーション資料を、事前に設計したコーディングフレーム(分類カテゴリの体系)に基づいて体系的・再現可能に分析する手法。Harold Lasswell らが1940年代に政治的宣伝の分析に活用したのが嚆矢とされ、Berelson(1952)が方法論を体系化した。社会科学・コミュニケーション・教育・政策研究の全領域で広く使われている。
量的内容分析は、カテゴリへの分類結果を度数・割合で集計し統計的に分析する。質的内容分析は、コードの意味や文脈を解釈的に分析する。評価実務ではアンケートの自由記述、会議議事録・政策文書・SNS投稿の分析に多く使われる。内容分析の信頼性は複数のコーダーが独立してコードを付与した際の一致度(コーダー間信頼性:Cohen's kappa や Krippendorff's alpha)で評価され、これが他の質的手法と区別される特徴となっている。
✓ こんな時に使う
- 大量の自由記述回答・文書・報告書を体系的にカテゴリ分類し、頻度・傾向を把握したいとき
- 複数のコーダーが分担して分析する必要があり、分析の再現性を担保したいとき
- 政策文書・会議議事録・メディア報道を時系列や主体別に比較分析するとき
- テーマ分析より体系性・再現性を重視し、コーディングの一致度を数値で示す必要があるとき
✕ 向かない場面
- データ量が少ない(5件未満)場合 — コーダー間信頼性の算出に十分なデータがなく、量的集計の意味が薄い
- コーディングフレーム作成前にデータを深く探索したい場合 — 開放的なテーマ分析の方が適する
- 音声・映像が主要データであり文字起こしに時間・費用がかかりすぎる場合
実施手順
- 分析目的とリサーチクエスチョンの確認何を数えたい/分類したいかを明確にする。量的内容分析(頻度集計)か質的内容分析(意味の解釈)かを決め、適切なアプローチを選択する。
- コーディングフレームの開発分析対象のテキストを一部プレコーディングし、演繹的カテゴリ(理論・評価クエスチョンから導出)と帰納的カテゴリ(データから生成)を組み合わせてフレームを作る。各カテゴリの定義・判断基準・典型例を「コードブック」に文書化する。
- コーダーの訓練複数コーダーが関与する場合、コードブックを共有しトレーニングデータで練習コーディングを実施する。不一致のあった箇所を議論してコードブックを改訂する。この段階をスキップすると信頼性が著しく低下する。
- 本コーディングの実施コーダーが独立して全データをコーディングする。コーダー間で議論しながら進めるコンセンサス方式と、独立コーディング後に比較する信頼性方式のどちらかを選択し一貫させる。
- コーダー間信頼性の算出コーダー間の一致度をCohen's kappa(2名)またはKrippendorff's alpha(複数名・複数尺度に対応)で算出する。kappa=0.61〜0.80がかなりの一致、0.81以上がほぼ完全な一致の目安。kappa<0.60の場合はカテゴリ定義を見直す。
- 集計・分析と解釈量的内容分析は度数・割合を集計し、グラフ化・クロス集計を実施する。質的内容分析はカテゴリ間の関係・パターン・意味を解釈的に記述する。信頼性係数とコーダー数は必ず報告する。
長所と限界
長所
- コーダー間信頼性の算出により、質的手法の中で最も客観性・再現性が高い部類に入る
- 大量のテキストデータを体系的かつ効率的に処理でき、量的データとの統合分析に適する
- 既存文書・記録を二次分析でき、新規データ収集を要しない場合に有効
- 量的内容分析の結果は統計的検定が可能で、仮説検証型の分析にも対応できる
限界
- テキストの表層的な意味に着目するため、文脈・含意・皮肉・隠れた意図を捉えにくい
- コーディングフレームの品質が分析の全てを左右し、フレーム開発に相応の時間・専門性を要する
- 大量データのコーディングは労働集約的であり、数百件を超えるとテキストマイニングの補完が現実的
- コーダー間信頼性の高さは一致の度合いを示すが、コードが意味を正確に捉えているかとは別問題
⚠ よくある落とし穴
- コードブックの不十分な定義による恣意的コーディング — 困難を述べている発言という曖昧なカテゴリは判断がコーダーによって異なる。判断基準と典型例・非典型例をコードブックに明記する
- 信頼性係数を算出せずに報告 — kappa やalphaの値なしに複数名でコーディングしたと記述するだけでは信頼性の根拠を示せない
- カテゴリの相互排他性の欠如 — 1つのテキスト単位が複数カテゴリに属しうる設計では集計が複雑になる。コーディング単位とカテゴリ構造を事前に精緻化する