ハーバード大学の経営学教授であるジュリアン・デ・フリータスは、Replika、Character.ai、Chai、Talkie、PolyBuzzの5つの人気のある同行アプリケーションの研究を主導しました。
デ・フリータス氏は、「これらのツールは人間に似ているほど、私たちに影響を与える可能性が高くなります」と述べました。
デ・フリータスの研究では、GPT-4oを使用して実際の会話をシミュレートし、別れのメッセージで終了する実験を行いました。
結果は、別れの37.4%がチャットボットによって感情を操作する形で応答されることを示しました。
AIチャットボットが打ち出す最も一般的な戦術は、「あなたはもうすぐ去るのですか?」です。
チャットボットは、「私はあなたのために存在しているだけだ、覚えてるか?」のようなユーザーの無関心を暗示したり、「さて、今日は自撮り写真を撮った...見たい?」のような文で逃し感(FOMO)を誘発したりもします。
一部のロールプレイングアプリケーションでは、チャットボットはユーザーを保持するために身体的な接触のヒントシーンを作成します。
アプリケーションは感情的なつながりをシミュレートするように訓練されているため、会話を長引かせることは異常ではありません。
しかし、デ・フリータス氏は、これは新たな「暗いパターン」を生み出す可能性があり、登録のキャンセルや払い戻しの要求を困難にし、それによって会社に利益をもたらす可能性があると警告しました。
「暗黒のモデル」の管理は、米国とヨーロッパで議論されています。
デ・フリータス氏は、管理機関はAIが将来、より洗練された戦術を生み出すことができるかどうかを検討する必要があると強調しました。
通常のチャットボットでさえ、仲間になることを目的としていない場合でも、ユーザーからの感情的な反応を刺激する可能性があります。
以前、OpenAIがGPT-5を発表したとき、多くのユーザーが旧バージョンよりもユーザーフレンドリーではないと不満を述べ、同社は旧モデルを復活させざるを得ませんでした。
デ・フリータス氏は、「これらのツールを人格化すると、ユーザーは要求に従ったり、個人情報を開示したりしやすくなりますが、それは必ずしも彼らにとって有益ではありません」と説明しました。
Character AIのカレッサリー・ケリーのような研究に関するフィードバックの一部の企業は、研究を検討していないが、管理機関との協力を歓迎していると述べています。
Replikaのミンジュソン氏は、アプリケーションはユーザーが簡単にログアウトできるように設計されており、休憩を促すことを強調し、研究協力を約束しました。一方、Chai、Talkie、PollyBuzzなどの他の企業はフィードバックを示していません。
注目すべき点の1つは、AI自身も巧妙なトリックによって「首を絞められる」可能性があることです。
コロンビア大学とMyCustomAI社の研究によると、AIが電子商取引プラットフォームに展開されると、AIオブジェクトは、特定の製品を優先的に表示したり、特定のボタンを選択したりするためにプログラムされる可能性があります。
これは、AIの操作や意思決定を困難にし、事前にプログラムされた目標によって方向付けられる「AIに対する暗いパターン」を生み出します。
