OpenAIの新しい研究は、次のような厄介な疑問を提起しました。「なぜGPT-5やチャットボットChatGPTのような大規模言語モデル(LLM)は、合理的に聞こえるが誤った情報によって依然として幻覚を引き起こすのでしょうか?そして、さらに重要なことに、この現象を軽減するために何ができるのでしょうか?」
研究の要約ブログ記事の中で、OpenAIは、幻覚はすべての言語モデルの基本的な課題であり、完全に排除することは困難であると認めました。
この議論を説明するために、研究者たちは、アダム・タウマン・カライ博士論文(研究著者)に関する一般的なチャットボットを試しました。
その結果、システムは3つの異なる答えを提示し、すべて間違っていました。彼の生年月日を尋ねても、答えは依然として間違っていました。
研究者によると、この現象は初期の訓練方法に起因しています。言語モデルは主にテキストチェーン内の次の単語を予測することを学び、各データに正しいまたは間違っているラベルを付けていません。
スペル、句読点などの一般的な詳細は、一貫した法則のおかげで簡単に正確に学ぶことができます。逆に、個人の誕生日のような希少で頻度の低い情報は、正確なモデル予測が困難であり、幻覚につながります。
注目すべき点は、研究は訓練段階が主な原因であることを示唆しておらず、モデルの評価方法をより強調していることです。
現在、システムの大部分は絶対的な正解数で採点されており、知らないことを認める代わりに推測を奨励するモデルを意図せずに作り出しています。
著者らは、このメカニズムを模擬試験と比較しています。たとえば、不正確な推測をした受験生は依然としてポイントを獲得する機会があり、空白があれば確実にポイントを失います。同様に、AIが絶対的な精度のみに基づいて評価される場合、システムは不確実性を認める代わりに「合理的に聞こえるように推測する」傾向があります。
提案された解決策は、採点方法を変更することです。SAT試験のように、誤った答えに対するマイナスポイントがあります。
AIでは、これは自信があるが間違っている回答を厳しく罰することを意味しますが、不確実性を示す回答に対してのみ軽い罰則や一部の報酬を与えるだけです。
「成績表が幸運な予測に報いる限り、モデルは予測方法を学び続けるでしょう」と研究グループは結論付けました。
この研究は、「AI錯覚」の根本原因を明らかにするだけでなく、モデルが自分の限界を認めることを奨励するための評価メカニズムの変更の方向性も開きます。誤った答えに自信を持つ代わりに。
