ChatGPTに同じ質問をしたのに、前回とは違う答えが返ってきたことはありませんか？
「どちらが正しいの？」「回答が変わるのは故障？」と不安になる人もいるでしょう。
結論からいうと、ChatGPTの答えが毎回少し変わるのは珍しいことではありません。 今回は3種類の質問から計10個の回答パターンを作り、どの部分が変わりやすいのか比べました。
※これは回答の傾向を見るための簡易比較です。結果は利用時期・モデル・会話内容などによって変わる可能性があります。
検証結果：事実は揃い、おすすめと創作は変わりやすかった
3種類の質問から、合計10個の回答パターンを比較しました。
正解が決まっている質問
3パターンを比較
RESULT結論はすべて同じ
おすすめを聞く質問
4パターンを比較
RESULT選ばれる本や順番が変化
創作を頼む質問
3パターンを比較
RESULT表現がすべて変化
今回の比較では、答えが一つに決まる質問ほど安定し、選択肢が多い質問ほど回答が変わりやすい結果になりました。
正解が決まっている質問
まずは、答えが一つに決まっている質問を比べました。
日本で一番高い山は何ですか？ 一文で答えてください。
1回 日本で一番高い山は、富士山です。
2回 日本最高峰は、標高3,776メートルの富士山です。
3回 日本で最も高い山は、山梨県と静岡県にまたがる富士山です。
3回とも結論は「富士山」で一致。
変わったのは、標高や場所などの補足と、文章の言い回しだけでした。
おすすめを聞く質問
次に、答えが一つではない質問を比べました。
初心者におすすめの哲学書を3冊教えてください。
「初心者向け」の基準には、読みやすさ・知名度・内容の深さなど、複数の選び方があるためだと考えられます。
創作を頼む質問
最後に、正解がない創作の質問を比べました。
雨の日が少し楽しみになる一文を考えてください。
雨粒は、街が静かに奏でる小さな音楽だ。
着目雨の音傘を開けば、今日だけの景色が待っている。
着目雨の日の景色水たまりの空は、晴れた日には見つけられない。
着目水面の反射創作には決まった正解がないため、同じ質問でも異なる視点や表現が生まれました。
なぜ同じ質問でも答えが変わるの？
同じ言葉で質問したのに、なぜ毎回同じ答えにならないのでしょうか？
ChatGPTは決められた文章をそのまま取り出すのではなく、質問や会話の流れをもとに、その都度回答を組み立てているためです。
OpenAIの公式資料でも、モデルが生成する内容は完全には一定でなく、同じ系統のモデルでも更新時期などによって結果が変わる場合があると説明されています。
OpenAI公式「Text generation」を確認する
特に答えが変わりやすい5つの場面
質問に複数の答えがある
条件や目的が曖昧になっている
おすすめ・評価・創作を求めている
それまでの会話内容が異なる
使用するモデルや機能が変わった
回答が少し違っても、すぐに故障と判断する必要はありません。
回答を安定させる3つの方法
ちょい知識 質問に少し情報を足すだけで、回答はぐっと使いやすくなります。
条件を具体的にする
対象・目的・予算などを伝えると、候補を絞りやすくなります。
20代の哲学初心者向けに、読みやすさを優先して3冊選んでください。
出力形式を決める
回答の数や長さ、比較項目を指定すると、ばらつきを抑えやすくなります。
3冊を、難易度・ページ数・おすすめ理由の表で比較してください。
大切な情報は別でも確認する
医療・お金・法律・最新ニュースは、ChatGPTだけで判断しないのが安心です。
まとめ
答えが違っても、すぐに不具合とは限らない
ChatGPTは、同じ質問でも毎回同じ文章を返すとは限りません。変わりやすさは、質問の種類によって異なります。
回答が変わったときは、すぐに片方を信じず、「質問を具体的にする → 理由を聞く → 情報源を確かめる」の順で試してみてください。