生成AIは、ハルシネーションや誤認が多く、重要な業務で使えない。しかしながら、要約でさえも問題があるようだ。
BBCが実施した調査によれば、ChatGPT、Google Gemini、Microsoft Copilot、Perplexityといった主要なAIチャットボットは、ニュース記事の要約において「重大な問題」を頻繁に引き起こしていることが明らかになったと報じられている。AIによるニュース要約が正確でないとすれば、情報消費における重要な問題となる。もし、生成AIを使って毎日のニュースを簡単に読めるようにしようとすればだが。
BBCの調査では、100本のニュース記事をAIチャットボットに要約させ、その回答を専門家が評価した。その結果、問題が多く見つかった。
- 51%の回答が「何らかの重大な問題」を含んでいた。
- BBCの記事を引用した回答の19%には事実誤認（誤った日付や数字など）が含まれていた。
- 引用されたBBC記事のうち13%は、元の記事に存在しない引用や改変された引用を含んでいた。
具体例として、Google Geminiは英国国民保健サービス（NHS）が「禁煙支援として電子タバコを推奨していない」と誤って述べたが、実際にはNHSは禁煙支援として電子タバコを推奨している。また、ChatGPTは2024年12月時点でハマス指導者イスマイル・ハニーヤが存命であると主張したが、彼は同年7月に暗殺されていた。
BBCは、AIチャットボットによるニュース要約の課題として以下を挙げている。
1. 事実誤認と情報歪曲
AIはしばしばデータセットやアルゴリズムの限界からハルシネーションと呼ばれる誤情報を生成する。これにより、不正確な情報や文脈を欠いた回答が生まれることがある。特にニュース記事の場合、事実と意見を区別する能力が欠如しているため、偏った情報や誤解を招く表現が含まれることがある。
2. 文脈の欠如
AIは複雑な社会的・文化的背景や歴史的文脈を理解することが難しく、その結果として重要な背景情報が欠落したり、不適切な結論が導き出されたりする。たとえば、記事内で引用されている意見を事実として提示するケースも多く見られる。
3. ソース管理と透明性の欠如
調査では、多くのAIチャットボットが出典を明確に示さないか、不正確な出典を使用していることも指摘された。このような状況では、ユーザーは生成された情報の信頼性を検証することが困難だ。
これらの問題は単なる技術的課題に留まらず、もし生成AIに依存するなら、社会全体にも深刻な影響を及ぼすことを意味する。生成AIによるニュース要約は便利で効率的だが、BBCの調査で、その精度や信頼性には大きな課題があることが数字で示された。分かっていたことだが、発展途上の生成AIの使い方においては慎重さが求められることを改めて実感した。
