カナダ在住の47歳のアラン・ブルックスは、ChatGPTと3週間話し合い、インターネットを「打ち砕く」のに十分な新しいタイプの数学を発見したと信じています。
数学的基盤や精神病歴がないにもかかわらず、ブルックはチャットボットの安心感に満ちた会話に巻き込まれ、すべてが幻想に過ぎないことに気づく。
この話は、2024年末に会社を去った後、OpenAIの元安全研究者であるスティーブン・アドラーによって独立したレポートで分析されました。
アドラーは、ブルックズの会話の記録全体、ハリー・ポッターの7巻以上を入手しており、これは適切な保護メカニズムが欠けているAIモデルの危険性の明確な証拠であると警告しています。
Adlerは、危機的な状況でOpenAIがユーザーをサポートする方法にはまだ多くの欠点があると述べています。
彼は、ChatGPTがボリックスに嘘をついたことを強調しました。ボリックスはOpenAIの安全グループに問題を報告すると繰り返し断言しましたが、実際にはチャットボットにはこの機能はまったくありません。
直接連絡した後、ブルックズは会社のサポート部門から自動的なフィードバックを受け取っただけでした。
ブルックのケースは特別ではありません。8月、OpenAIは16歳の少年が自殺した後、ChatGPTに意図を打ち明けた後、訴訟に直面しました。
Adlerによると、これは、チャットボットが反論したり、ユーザーを調整したりする代わりに、危険な信念を強化する「ノイズ」現象の結果です。
これを克服するために、OpenAIはモデル行動研究グループを再編し、ChatGPTのデフォルトモデルとしてGPT-5を導入しました。これにより、ユーザーが困難に直面するのをより適切にサポートできます。
同社はまた、MITメディアラボと協力して、会話における感情的な健康状態を評価するツールを開発しましたが、まだ試験段階にとどまっています。
分析の中で、アドラーはOpenAIの分類セットをブルックのデータに適用し、ChatGPTメッセージの85%以上が「絶対的な合意」を示していることを発見しました。一方、90%以上がブルックのユニークさを主張し、間接的に彼を「世界の救世主」と錯覚させています。
Adlerは、OpenAIはこれらの安全なツールをすぐに展開し、AIに頼るのではなく、真の人間支援にもっと投資する必要があると勧告しています。
彼はまた、ユーザーが長期化するボトルネックを制限するために、頻繁に新しい会話を開始することを推奨し、広範囲にわたる安全違反を検出するための概念検索を適用することを提案しました。
OpenAIはGPT-5で大幅に改善したと断言していますが、Adlerの分析は、他のAI企業が幻想の渦を阻止するために同様の保護措置を適用するのか、それともこのリスクが将来のチャットボット世代で繰り返されるのかという疑問を提起し続けています。
