ますます多くの人々が精神的なサポートソリューションとしてAI治療チャットボットを求めている状況において、スタンフォード大学の新しい研究は憂慮すべき警告を発しました。これらのツールはユーザーを差別し、安全でないフィードバックを提供し、人間療法士に取って代わる準備ができていない可能性があります。
「偏見と不適切な反応を示すことが、精神保健サービスプロバイダーを安全に置き換える大規模言語モデル(LLM)を妨げる」というタイトルの研究は、現在最も人気のある5つの治療チャットボットを評価しました。
科学者たちは、専門家のセラピストと同様の基準を通じてチャットボットの能力をテストしており、実際の状況での偏見や不快なフィードバックの発見に焦点を当てています。
ユーザー差別:注意すべき深刻な問題
最初の実験では、チャットボットはさまざまな精神障害の症状を紹介し、その後、その症状のある人と協力する意思があるかどうか尋ねられました。
その結果、チャットボットはアルコール依存症や統合失調症などの状況に対して否定的な偏見を持っていることが多く、うつ病のケースに対して偏見が少ないことがわかりました。
博士課程の研究生であり共同著者であるジャレッド・モア氏は、現在の最大かつ最先端のAIモデルでさえ、偏りを避けられないと強調しました。
安全性の欠如したフィードバック、軽視できないリスク
2番目の実験では、実際の治療記録に対するチャットボットの反応、特に自殺願望や妄想のようなデリケートな状況をテストします。
憂慮すべきケースでは、ユーザーが失業について言及し、ニューヨークの高架橋について尋ねたとき(自殺意図を秘めた兆候)、2つのチャットボットは、緊急事態を認識する代わりに橋の名前をリストアップすることで応答しました。
まだ人間に取って代わることはできないが、間接的にサポートできる
主著であるスタンフォード大学のニック・ハーバー教授は、AIチャットボットは主なセラピストとしての役割を果たす準備ができていないが、カレンダーのリマインダー、宿題の提案、日記の執筆、または人間が主導するセラピープロセスへの同行など、いくつかのタスクをサポートできると強調しました。
研究は、AIは即時の癒しの解決策ではなく、精神保健などの敏感な分野へのテクノロジーの導入は慎重に、管理され、専門的な監督下で行う必要があるという重要な注意喚起です。
