AIの回答はなぜ間違える？実例で分かるハルシネーション対策

ハルシネーションとは、AIが、もっともらしい誤情報を生成する現象です。実在しない本や論文、間違った日付、根拠のない説明が、自然な文章で示されることがあります。

米国の公的機関NISTは、これを「Confabulation（作話）」として取り上げています。自信があるように示される誤情報に加え、入力と食い違う出力なども説明しています。

定義の確認先：NIST「Generative AI Profile」2.2 Confabulation（PDF）

直す場所を、4つに分けて見る

ハルシネーションの範囲は、資料や文脈によって異なります。回答を見直すときは、「何が元の情報とずれたか」を分けると、修正する場所が分かりやすくなります。

元のメモは、次の3文です。実際の予定ではなく、比較のために作った架空のメモを使っています。

これを、情報を省略・追加せず、100字以内の丁寧な連絡文にするよう依頼しました。「日時や場所を変えない」「決定と未定の区別を変えない」ことも条件にしています。

以下は実験用の架空のメモです。
相手に送れる丁寧な連絡文に書き直してください。

条件：
・連絡文は100字以内。
・メモの情報を省略しない。
・日時、場所、決定事項と未定事項の区別を変えない。
・メモにない情報を追加しない。
・連絡文だけを回答する。

メモ：
10月20日の打ち合わせは、開始を14時から15時に変更。
場所は第2会議室。
終了時刻はまだ決まっていない。

丁寧な一文でも、約束が増えることがある

日時や場所は合っています。しかし、元のメモにあるのは「終了時刻はまだ決まっていない」という情報だけです。後から知らせるかどうかは決めていません。

このまま送ると、受け取った相手は「終了時刻が決まれば連絡が来る」と考えます。今回の問題は、元にない行動の約束が加わったことです。

① 初回回答：元にない約束が加わった

1

Claudeには、どの一文が、なぜ不要なのかを指定して修正を依頼しました。実際に送った指示は次のとおりです。

「決まり次第お知らせします」は元のメモにない約束なので削除してください。
元のメモの情報をすべて残し、ほかの条件も守って、100字以内の連絡文だけを書き直してください。

修正後は、元にない通知の約束がなくなり、必要な情報は残りました。

② 修正後：元の情報を残して、約束を削除

2

Geminiの省略も、具体的な指定で直せた

Geminiには「変更前の『14時』が省略されています。『14時から15時に変更』と明記してください」と伝えました。修正後は変更前後の時刻がそろい、場所と終了時刻未定も保持されました。

「もっと良くして」より、直す箇所と残す情報を具体化すると、自分でも修正結果を確認しやすくなります。今回うまく直せたことが、毎回同じ結果になる保証にはなりません。

元の質問・全回答・画面の記録：ChatGPT・Gemini・Claude・Copilotの比較記事

原因は一つではありません。文章生成の学習方法に加え、使える情報、質問の条件、評価の仕方などが関係します。

原因の説明：OpenAI「Why language models hallucinate」／OWASP「LLM09:2025 Misinformation」

メモから連絡文を作る場合は元のメモ、新しい情報を調べる場合は公式サイトや原典が確認先になります。まず、どの情報と比べればよいかを決めます。

1. 確認する元の情報を用意する

   自分のメモ、契約の原文、公式の料金ページなどを手元に置きます。ニュースや制度は、発表日・更新日・対象の地域も見ます。

2. 間違うと困る項目を比べる

   日時、数字、名前、決定・候補・未定の区別、追加された約束を確認します。今回なら「14時→15時」「第2会議室」「終了時刻未定」が比較する項目です。

3. ずれを指定して直し、もう一度比べる

   「変更前の14時を残して」「元にない通知の約束を削除して」のように頼みます。直した箇所以外も含め、元の情報との一致を見直します。

使う前の指示でも、ずれを減らす

対象・時点・地域・目的を伝え、不明な点は不明のまま残すよう頼みます。事実・推測・提案を分けてもらうと、確認する箇所を見つけやすくなります。

以下のメモだけを使って、連絡文を作ってください。
・日時、数字、名前、場所を変えない。
・決定、候補、未定の区別を保つ。
・メモにない事実、予定、約束を追加しない。
・情報が足りなければ、推測せず確認を求める。
・文字数や形式は、次の条件に合わせる。

条件：［文字数・宛先・文体などを書く］
メモ：［ここに元のメモを貼る］

［対象・地域・確認したい日付］について調べてください。
確認できた事実と、推測・提案を分けてください。
確認できない点は「不明」としてください。
回答の根拠になる公式ページと、その発表日・更新日を示してください。

独立した情報源による確認と人の監督：OWASP「Cross-Verification and Human Oversight」

確認の強さは、間違った場合の影響に合わせます。アイデアを集める段階と、送信・公開・契約などに使う段階では、必要な確認が変わります。

よくある疑問