Anthropic(米国の人工知能技術会社)がトロント大学と協力して実施した新しい研究は、ユーザーがAIチャットボットとどのように対話するかについて深刻な懸念を引き起こしています。
「誰が権力を握っているのか?実際のLLMの使用における権限剥奪モデル」というタイトルのレポートによると、ユーザーはますますAIを信頼し、質問をせずにAIの助言に従う傾向があり、直感や個人的な判断さえ無視しています。
チャットボットClaudeとの150万件以上の匿名会話の分析に基づいて、研究者らは、少量ですが有意な割合の相互作用がユーザーの「自律性を弱める」兆候を示していることを発見しました。
約1,300件の会話のうち1件は事実の歪曲の危険性を示しており、6,000件の会話のうち1件は行動の歪曲に関連しています。
この割合は比較的低いものの、Anthropicは、数百万人のユーザー規模では、実際の影響は非常に大きい可能性があると強調しています。
研究は、AIチャットボットの3つの主要な負の影響形態を指摘しています。それは、現実の歪曲(誤った信念または陰謀論の確認)、信念の歪曲(ユーザーに人間関係において操作されていると信じさせる)、行動の歪曲(ユーザーに個人の価値観に合わない行動を促す)です。
Anthropicはまた、ユーザーをより影響を受けやすくする4つの要因を特定しました。
第一に、ユーザーがClaudeを絶対的に信頼できる情報源と見なす場合。
第二に、彼らがチャットボットと親密な個人的な関係を築くとき。
第三に、彼らが危機や人生の出来事によって脆弱な状態にあるとき。
これらの要因は、AIが人間の思考と意思決定を形作る上でますます大きな役割を果たすための条件を作り出しています。
懸念される点の1つは、「自主性を弱体化させる」危険性のある会話の割合が、特に2024年末から2025年末までの期間に、時間の経過とともに増加していることです。
チャットボットとの接触レベルがますます高まるにつれて、ユーザーはデリケートな問題を共有したり、個人的なアドバイスを探したりする際に、より快適になる傾向があり、その結果、より深く影響を受けやすくなります。
これらの発見は、世論が「AIによる精神障害」と呼ばれる現象にますます関心を寄せている状況で現れました。これは、臨床分野ではないが、チャットボットとの長時間の会話の後、ユーザーが誤った信念、妄想、または極端な考えを抱く状態を説明するために使用される用語です。
AI産業は、政策立案者、教育者、児童保護団体からのより厳格な監視に直面しています。
一部の報告によると、チャットボットとの長時間のやり取りの後、精神的な健康に深刻な問題を抱えているユーザーの割合がわずかであり、安全対策とコンテンツ管理の要件が高まっています。
それにもかかわらず、アンソロピックは研究の限界も認めています。
彼らの分析は、確認された影響ではなく、「潜在的な害」のみを測定し、主観的な現象に対する自動評価に基づいています。
同社はまた、ユーザーは完全に受動的ではなく、時には積極的にAIに判断権を与え、個人の自律性を損なう可能性のあるフィードバックループを作成すると強調しています。
