AIに質問すると、まるで詳しい人が説明しているような、自然で分かりやすい回答が返ってきます。
しかし、内容を調べてみると、日付が違っていたり、存在しない本やウェブサイトが紹介されていたりすることがあります。
しかも、AIは間違った内容でも自信があるように説明するため、初めて知る分野では誤りに気づきにくいのが難しいところです。
このように、AIが事実ではない内容をもっともらしく生成する現象は、一般に「ハルシネーション」と呼ばれています。
この記事では、ハルシネーションが起こる理由、実際に起きた事例、そして初心者でもできる対策を分かりやすく解説します
ハルシネーションとは？
ハルシネーションとは、AIが事実とは異なる内容や、実際には存在しない情報を、もっともらしい文章で生成することです。
アメリカ国立標準技術研究所（NIST）は、同じ現象を「Confabulation（作話）」と表現し、「自信を持って示される誤った、または虚偽の内容」と説明しています。
ここで大切なのは、AIが人間のように「だましてやろう」と考えて嘘をついているわけではないことです。
AIには人間のような意図があるわけではなく、質問と学習した言葉のパターンをもとに、もっとも自然だと判断した文章を作っています。その結果、文章としては自然でも、事実とは異なる回答が生まれることがあります。
自然な文章でも、内容が正しいとは限らない
ハルシネーションは、単純な言い間違いだけではありません。本物に見える形式で、存在しない情報が作られることもあります。
実在しない本・論文・判例などを、本物のように紹介する。
日付、人数、金額、割合などを正確そうに答える。
それらしいサイト名やURLを作り、情報源として示す。
複数の人物や出来事を取り違え、ひとつの説明にまとめる。
実際に起きたハルシネーションの事例
この事例で怖いのは、回答が明らかに不自然だったわけではないことです。存在しない判例が、本物とよく似た名前や形式で詳しく書かれていたため、確認しなければ間違いを見抜きにくい状態でした。
ただし、この事例は「AIを使ってはいけない」という意味ではありません。
裁判所も、信頼できるAIを補助として使うこと自体を問題にしたわけではありません。問題になったのは、生成された情報を確認せず重要な資料へ使い、存在を疑われたあとも適切に確かめなかったことです。
つまり、AIの使用そのものではなく、AIの回答をどのように扱ったかが重要なのです。
出典：Mata v. Avianca, Inc. 米国連邦地方裁判所の決定（2023年6月22日）
AIの回答はなぜ間違える？
AIの回答が間違う理由は、単純に「性能が低いから」だけではありません。
現在の文章生成AIは、大量の文章から言葉のつながり方を学び、質問に続く自然な文章を作ります。知識を持っているように見えても、すべての事実をデータベースで一つずつ確認してから答えているとは限りません。
その仕組みと、情報や質問の条件が重なることで、ハルシネーションが起こります。
AIが間違った回答を作る主な原因
事実を毎回確認するのではなく、言葉のパターンから続きとして自然な文章を生成します。
学習した情報に不足・誤り・古い内容があれば、回答にも影響する可能性があります。
条件が少ない質問や、誤った前提を含む質問に合わせて説明を作ってしまうことがあります。
確かな情報がない場合でも、回答を空欄にせず、もっともらしい内容で補うことがあります。
OpenAIは、言語モデルの学習や評価では「分からない」と答えるより、推測して答えたほうが正解になる可能性があるため、推測が報われやすいことも原因の一つだと説明しています。
もちろん、現在のAIは以前より正確になっており、検索機能を使ってウェブ上の情報を確認できるものも増えました。
しかし、検索したページの読み取り方を間違えたり、複数の情報を組み合わせる途中で誤ったりする可能性は残ります。そのため、検索機能が付いていることと、回答の正しさが保証されることは別だと考えておきましょう。
ハルシネーションが起こりやすい質問
ハルシネーションは、どのような質問でも起こる可能性があります。ただし、特に注意したい質問にはいくつかの傾向があります。
AIを使わないほうがよいわけではない
- ✓ アイデアを複数出してもらう
- ✓ 自分が書いた文章を読みやすく整えてもらう
- ✓ 長い文章やメモを整理してもらう
- ✓ 学習用の問題や質問を作ってもらう
- ✓ 考えをまとめるための話し相手にする
- ! 医療や健康に関する判断
- ! 法律・契約・税金・補助金などの制度
- ! お金や投資に関する重要な判断
- ! 人の安全に関わる方法や手順
- ! 公開する日付・数字・固有名詞
- ! 本・論文・判例・URLなどの情報源
初心者ができる5つの対策
ハルシネーションを完全になくすことは難しいものの、質問の仕方と回答後の確認によって、間違いをそのまま使う危険は減らせます。
初心者ができるハルシネーション対策
対象、時点、地域、目的などを伝え、曖昧な部分を減らします。
確かな情報がない部分は「不明」と書くよう、あらかじめ指示します。
確認できた事実、推測、提案を分けて表示してもらいます。
情報源を出してもらうだけで終わらず、ページが実在し、内容が一致するか見ます。
公的機関、公式サイト、原文、専門家など、情報の元に近い場所で確かめます。
回答時点の日付を明記し、確認できた事実と推測を分けて説明してください。確かな情報がない部分は推測せず「不明」と書き、確認に使える一次資料も示してください。
AIの回答を確認する3ステップ
回答のすべてを一文ずつ調べるのは大変です。
そこで、まずAIに情報を整理してもらい、その中から重要な部分だけを検索で確かめる方法が現実的です。
AIで整理し、情報源で確かめる
知りたいことの全体像や、検索する言葉をまとめる。
公式サイト、公的資料、原文などを実際に確認する。
日付、数字、固有名詞、条件が一致しているか確かめる。
たとえば、旅行先の候補や料理のアイデアを出してもらうだけなら、すべてを厳密に調べなくても大きな問題にはなりにくいでしょう。
一方、営業時間、料金、交通手段、予約条件など、行動に直接影響する情報は公式サイトで確認したほうが安心です。
このように、情報の重要度に合わせて確認する範囲を変えれば、AIの便利さを失わずにハルシネーションへ対処できます。
まとめ
AIは、質問に対して自然で分かりやすい文章を作れる便利な道具です。
しかし、文章が自然であることと、内容が正しいことは同じではありません。
AIの回答をむやみに怖がる必要はありませんが、日付、数字、固有名詞、情報源、重要な判断に関わる内容は、そのまま使わず一度確認する習慣が大切です。
ハルシネーションと上手に付き合うために
- ハルシネーションとは、AIが誤った情報をもっともらしく生成する現象
- 自然な文章でも、日付・数字・情報源などが間違っている場合がある
- 質問を具体的にし、事実と推測を分けてもらうことで危険を減らせる
- 重要な情報は、公式サイトや公的資料などの一次資料で確認する
- AIを避けるのではなく、間違う場所を知ったうえで上手に使う
AIの答えをすべて信じるのでも、すべて疑うのでもなく、AIで整理し、重要な部分だけ自分で確かめる。
この使い方を身につけることが、AIを安全に活用するための第一歩です。