ハルシネーションと事実性

生成 AI は確率的言語モデルであり、確率的に最もありそうなトークン列を生成する。この性質は流暢な文章を生み出す一方、実世界の事実と乖離した内容、いわゆる「ハルシネーション（幻覚）」を構造的に引き起こす。ハルシネーションは単なるバグではなく、モデルの確率的生成プロセス自体に由来する性質であり、完全な除去は現時点では不可能とされる。本記事は、ハルシネーションと事実性の概念を二軸タクソノミで整理し、原因・緩和・評価・キャリブレーションを地図として俯瞰する。

二軸タクソノミ — intrinsic/extrinsic × factuality/faithfulness

ハルシネーション研究では、二つの直交する軸による分類が広く参照されている。

生成の逸脱方向（intrinsic vs extrinsic）

• intrinsic（内在的ハルシネーション）: 与えられたソース文脈と直接矛盾する出力。要約タスクであれば原文に書かれていない事実を捏造する、QA タスクであればコンテキスト文書と矛盾する回答を返すケースが典型。
• extrinsic（外在的ハルシネーション）: ソース文脈からは検証不能な出力。正しい可能性もあるが、モデルが外部知識を独自に付加しており、根拠が提示できない。

intrinsic はより明白な誤りであり、extrinsic は誤りとは断定できないが信頼性を下げる。

正しさの基準軸（factuality vs faithfulness）

• factuality（事実性）: 実世界の検証可能な事実に対して絶対的に正しいかどうか。モデルが「エベレストの標高は 9000 m」と述べればfactuality 違反（事実誤認）。
• faithfulness（忠実性）: 入力・プロンプト・文脈への遵守。モデルが原文と矛盾する要約を返せば faithfulness 違反（入力からの逸脱）。

RAG システムは検索コンテキストへの faithfulness を高めるが、その検索文書自体が誤りであれば factuality は保証されない。逆に、モデルが実世界の事実をよく知っていても、プロンプトの指示に忠実でなければ faithfulness は低い。この二軸は独立しており、混同しがちな概念である（後述アンチパターン参照）。

この二軸タクソノミは「A Survey on Hallucination in LLMs」（arXiv 2311.05232、ACM TOIS 掲載）などで整理されている。

原因 — data / model / prompt の三層

ハルシネーションの発生原因は三つの層に分類できる。

データ層

学習データ起因の問題は多様である。ノイズや誤情報を含む大規模コーパス（Common Crawl 等）をそのまま学習すると、誤情報がモデルに刷り込まれる。また、訓練データの知識カットオフ（最終収集日）以降の情報をモデルは持たないため、最新情報を問われると古い情報を自信を持って提示しかねない。データの重複や偏りも特定ドメインへの過信を招く。

モデル層

モデルアーキテクチャと学習目的にも根本的な要因がある。

• 最尤推定（MLE）と露出バイアス: 自己回帰モデルは訓練時に ground-truth を前トークンとして受け取るが、推論時は自身の出力を前トークンにするため、誤りが連鎖する（exposure bias）。
• 過信（poor calibration）: モデルが誤った回答に高い確信度を示す傾向（後述「キャリブレーション」節参照）。
• デコーディングの誤り: 長文生成での一貫性崩壊、注意機構の限界（長文脈でのアテンション散漫）。
• 知識の不均一な符号化: 学習データの分布により、稀なエンティティや最近の事象に関する知識が不正確。

プロンプト層

入力プロンプトの構造もハルシネーションを誘発しうる。

• 曖昧な質問や前提誤りを含む質問への応答（「太陽は地球の衛星ですか？」→ Yes で答えてしまう）。
• 過大な文脈量（コンテキストウィンドウが大きくなるほど、後半情報への注意が散漫になるリスク）。
• 敵対的な誘導プロンプト（ユーザーが誤情報を前提として提示し、モデルがそれを採用する）。

緩和 — RAG・推論時・デコーディング・学習・事後検証

ハルシネーションの緩和は単一の銀の弾丸ではなく、複数の手段を組み合わせるのが現在の実践である。

グラウンディングと RAG

RAG（Retrieval-Augmented Generation） は最も広く採用されている緩和手法であり、外部知識ベースや文書から根拠を検索し、それをコンテキストとして生成を行う。引用・出典付与（attribution）と組み合わせることで、生成根拠をユーザーが検証可能になる。ただし、検索品質への依存は大きく、検索精度が低いと誤検索に基づく誤答が生じる（RAG は faithfulness を高めるが、検索文書の誤りが factuality を損なう経路が残る）。

推論時の手法

• Self-Consistency（自己整合）: 同一質問を複数回サンプリングし、多数決で回答を決定する。生成の多様性を利用してノイズを相殺する。
• Chain-of-Verification（CoVe）: 回答生成後に、生成した主張を検証する追加ステップを設ける。
• Abstention（棄権）: 不確実性が高い場合に「わかりません」と回答する能力。過信より適切な不確実性表現を優先させる。
• ツール使用: 電卓・検索エンジン・コードインタープリタ等の外部ツールを呼び出し、モデル自身の知識に依存しない。

デコーディング戦略

デコーディング段階での介入も研究されている。

• Contrastive Decoding: 大規模モデルの分布から小規模モデル（または弱いモデル）の分布を差し引くことで、事実性の向上を狙う手法 [VERIFY: 実運用効果・主要な採用状況]。
• DoLa（Decoding by Contrasting Layers）: 異なるトランスフォーマー層の出力確率を対比してファクトリシティを改善する手法 [VERIFY: 実運用規模での有効性]。

学習時の介入

• Factuality Tuning: 事実的に正確なデータで SFT（教師あり微調整）を行う。
• RLHF（人間フィードバック強化学習）: 正直さ・有益性・無害性を報酬として訓練する。Anthropic の Claude や OpenAI の ChatGPT が採用。
• 知識編集: モデルが誤った事実を保持している場合、特定の事実のみを局所的に書き換える技術（ROME、MEMIT 等）[VERIFY: 大規模モデルへの適用範囲]。

事後検証

• SelfCheckGPT: 同一プロンプトから複数サンプルを生成し、サンプル間の整合性でハルシネーションを検出（外部ナレッジなしで機能）。
• 外部 NLI 判定: 自然言語推論モデルを使い、生成文とソース文書の含意関係を判定。
• ガードレール: 生成前後に検証レイヤーを挟み、特定の誤りパターンをフィルタリング。

評価 — HHEM・RAGTruth・FActScore・複数ベンチ併用

ハルシネーション検出と評価のエコシステムは急速に成熟している。

検出モデルとリーダーボード

Vectara Hallucination Leaderboard（2023〜継続）は、要約タスクにおける各 LLM のハルシネーション率を継続追跡するリーダーボードである。ハルシネーション検出モデルとして HHEM（Hughes Hallucination Evaluation Model） を使用し、初期の HHEM-1.0-open から HHEM-2.1 へと進化（長文脈対応・多言語対応を強化）[VERIFY: HHEM-2.1 の具体的スコアおよびリーダーボード最新ランキング]。

FaithJudge（arXiv 2505.04847）は LLM-as-a-judge アプローチで、人手注釈ガイドを用いた few-shot 評価による新しいリーダーボード基盤として提案されており、HHEM の限界（特定ドメインへの偏り・汎化性）を補うとされる。

データセットとベンチマーク

重要な注意点: ベンチマーク間で結論が割れることは珍しくない（リーダーボード間でモデルランキングが異なる）。単一ベンチマークで「低ハルシネーション」と結論づけることは危険であり、複数ベンチマークの併用が現場での定石となっている。また、RAG 文脈への忠実性（faithfulness）と実世界事実正確性（factuality）は別の評価軸であり、別途評価が必要である。

キャリブレーション・不確実性定量化

ハルシネーション問題の深層には、モデルが自身の不確実性を適切に表現できないという較正（calibration）の問題がある。

Verbalized Confidence の限界

モデルが「確実です」「おそらく正しいです」と言語的に表現する確信度（verbalized confidence）は、実際の正答率と乖離しがちである。適切に較正されたモデルであれば「90% 確信」と述べた場合の 90% が正解であるべきだが、実際には過信（overconfidence）が多く観測される。Temperature や Top-p のみでこの較正を調整することには限界がある。

Semantic Entropy による不確実性推定

Semantic Entropy（Farquhar et al., Nature 2024）[VERIFY: Nature への掲載事実と主張内容の詳細] は、意味的に等価な複数の生成物のばらつき（エントロピー）を計算することで、「confabulation（でたらめな確信）」を検出する手法を提案する。単純なトークン確率ではなく、意味的等価性を基準としたクラスタリングを行うことで、モデルが一貫したが誤った回答を生成する場合を捕捉しやすくする点が特徴とされる [VERIFY: 本番環境での計算コストと採用例]。

本番監視との連携

ハルシネーション率・忠実性スコアの本番モニタリングは、ML 可観測性（tech-83）の文脈で重要な指標となる。オフライン評価のみでハルシネーションを管理しようとすることはアンチパターンであり、本番でのサンプリング評価と自動化されたハルシネーション検出パイプラインの組み合わせが推奨される。

アンチパターン早見表

ハルシネーション対策に関する実践上の誤解をまとめる。

2026 フロンティア

情報カットオフ ~2025-08 のため、以下は 2026-05 時点で外部検証ができていない項目: (1) マルチモーダル LLM（画像・動画・音声入力）でのハルシネーションの分類・評価手法の確立状況、(2) Agentic AI（ツール呼び出しを繰り返す長期タスク）での誤り伝播・権限昇格を含む新型ハルシネーションへの対処、(3) Reasoning モデル（内部思考連鎖を持つモデル）において思考過程でのハルシネーションと最終回答の不整合をどう検出するか、(4) 自動化ハルシネーション検出の精度向上（LLM-as-a-judge のキャリブレーション問題）。

confidence: medium は情報カットオフ ~2025-08 で固定（2026-05 時点での外部再検証は未実施）。