最近の国際調査によると、人工知能(AI)を使用する多くの新しい世代の検索および専門研究ツールは、依然として回答の精度、偏り、透明性に深刻な問題を抱えています。
Pranav Narayanan Venkit(Salesforce AI Research、米国のSalesforceグループの研究部門)が主導する研究者たちは、OpenAIのGPT-4.5、GPT-5、Perplexity、Bing Chat(Microsoft)、You.com、Google Geminiなど、多くの生み出されたAIプラットフォームと専門的な研究ツールの有効性を評価しました。
結果は、DeepTrace評価フレームワークの8つの指標を通じて測定され、正確性、多様性、引用の度合い、および非偏向的な回答の可能性などの要素に焦点を当てています。
分析によると、AIツールの3分の1は、一方的な答えを頻繁に提示したり、過度に自信過剰な回答をしたりし、引用情報と照らし合わせることができない情報さえ提供しています。
GPT-4.5では、根拠のない情報の割合は47%に達しましたが、Perplexityの専門的な調査ツールでは、衝撃的な数字は97.5%でした。
Bing Chat、You.com、Perplexity検索バージョンなどのツールも、根拠のない情報の割合を23%から31%と記録しています。
調査では、質問を2つのグループに分類しました。議論の的となる問題(偏見を検出しやすい)と、医学、気象、コンピューター科学などの専門的な質問です。
結果は、多くのシステムが中立性と精度のバランスを取るのに依然として戸惑っていることを示しています。
これらの発見に先立ち、OpenAIはコメントを拒否し、一方、Perplexityは研究方法に反対を表明しました。
しかし、専門家のフェリックス・サイモン(オックスフォード大学)によると、この報道は、AIが目覚ましい進歩にもかかわらず、依然として誤解を招く答えを出す可能性があることを示している多くの以前の研究と一致しています。
サイモン氏は、「これらの証拠は、特にAIがますます広く使用されている状況において、改善を促進するのに役立つだろう」と強調しました。
反対に、アレクサンドラ・ウルマン(スイスのチューリッヒ大学)は、研究チームが答えを評価するために大規模言語モデル(LLM)に過度に依存していることを懸念し、これらの結果が人間の手動評価に完全に適合しているかどうかを問いかけました。
まだ議論の余地があるものの、研究は、ユーザーはAIからの情報を受け取る際に注意する必要があるという現実を強調しています。
データソースの精度を向上させ、多様性と透明性を拡大することが重要な要素です。特に、AIシステムが教育、医療、研究、および他の多くの社会分野でますます重要な役割を果たしている場合はそうです。
