生成AIを使っていると、ときに誤った情報を提示され、驚かされることがある。これが「ハルシネーション」と呼ばれる現象だ。問題は、あまり良く知らない分野では間違っているかどうか分からないことだ。だから、出典が明らかなPerplexityを使ってきている。
なぜAIは、ハルシネーションを起こすのか。この問題について、OpenAIの研究チームが論文を発表した。
この論文によれば、ハルシネーションの原因をAIに与えた情報が正確でなかったから間違った答えを出すと考えがちだが、構造的な問題があるそうだ。それはAIの評価方法だという。現在の評価制度では、モデルが正解を言えば加点され、誤答すれば減点されるという単純な仕組みが使われている。そのため、モデルが「わからない」と答えると必ずゼロ点になってしまう。結果として、AIは不確かなときにも「知っているふり」をして答えた方が得だと学習してしまうということのようだ。テストで白紙解答するよりも、当てずっぽうで書いた方が点が入る、という仕組みに似ている。
この仕組みが続く限り、AIは推測を繰り返し、たまに正解することで評価を稼ぎつつ、その裏で多くのもっともらしい嘘を生み出してしまう。OpenAIの研究は、この推測を促す構造こそがハルシネーションの温床だと明らかにした。
今回、この問題への対策として研究者たちが提案しているのは、AIの評価方法そのものを変えることだ。これまでのように「正解か不正解か」だけで判定するのではなく、不確かなときに「わからない」と表明することをきちんと評価する。曖昧な場合には自信の度合いを示したり、不確実だと伝えたりできるようにするべきだというのだ。
「知らないことを知らないと言えるAI」なら、使っていて安心だから、その方が実用性が高くなる。早く、OpenAIだけでなく、Googleもそのように設計を変えてもらいたい。それでも、ハルシネーションが完全には消えないだろう。その前提でAIを活用する方法をChatGPTに聞いてみた。
重要なのは、AIの答えを“そのまま鵜呑みにしない”ことです。特に固有名詞や統計データ、日付や数値などは間違いが入りやすい部分です。AIが提示した内容をそのまま引用するのではなく、信頼できる一次情報や公式サイトで裏を取る習慣が欠かせません。AIは「一次情報を探すための出発点」として捉えるべきでしょう。
また、AIに「確信度」を持たせる仕組みはまだ発展途上ですが、ユーザー側が質問の仕方を工夫することでリスクを下げることができます。たとえば「○○について正確なデータがあれば出典を示して答えて」と促したり、「わからない場合は推測せずにそう言ってください」と明示することで、曖昧な情報を掴まされる可能性を減らせます。
さらに効果的なのは、AIを「発想を広げるための相棒」として活用することです。新しい企画のアイデアを出すときや文章の構成を考えるときなど、正確さよりも多様性が求められる場面では、ハルシネーションのリスクはむしろ創造性につながることがあります。逆に、医学や法律、経済の数値といった「間違いが許されない領域」では、AIを最終判断者にせず、必ず人間の確認を通すというルールを徹底することが必要です。
ChatGPT
ということなので、このアドバイスを前提にAIを使うことにする。
結局のところ、AIは万能ではなく、非常に優秀だが時に思い込みの激しいアシスタントと考えるとわかりやすいかもしれない。的確に指示を出し、誤りを検証し、適材適所で使う。その姿勢があって初めて、AIは強力なツールとして役立つのだろう。
ハルシネーションは消えない。だからこそ、AIをどう位置づけ、どんな場面で信頼し、どんな場面では人間が最終責任を持つか。その線引きこそが、これからのAI活用における最大のテーマだ。
