AIがフィードバックから行動介入に移行
人工知能企業は、過激な兆候のあるユーザーを早期に検出して介入できるツールを開発する際に、安全確保の取り組みを強化しています。
注目すべき新しい方向性の1つは、暴力のリスクを軽減するために、チャットボットと現実世界のサポートプログラムを組み合わせることです。
プロジェクト参加者によると、ニュージーランドで開発中のツールは、ChatGPTを使用する際に過激な傾向を持つユーザーを特定し、それによって彼らを人間が運営する過激化対策プログラムまたはチャットボットのサポートに誘導するのに役立ちます。
これは、AIプラットフォームが危険なコンテンツを制御できないという告発にますます圧力をかけられている状況における新たな一歩です。
以前、カナダでの事件により、OpenAIは学校での銃乱射事件に関連してユーザーにタイムリーに通知しなかったため、介入の脅威にさらされました。
スルーラインって何?
このイニシアチブの中心は、OpenAI、Anthropic、Googleが自傷行為、家庭内暴力、摂食障害などの危機的状況に対処するために雇ったスタートアップであるThroughLineです。
ニュージーランド出身のテクノロジー起業家エリオット・テイラーが設立した同社は、現在、過激化対策に分野を拡大しています。
ThroughLineは、180カ国に約1,600のサポートラインネットワークを所有しています。AIシステムが危機の兆候を検出すると、ユーザーは人間が担当する最寄りのサポートサービスに接続されます。
テイラー氏によると、AIチャットボットの爆発的な普及は、ユーザーがオンラインで共有する心理的な問題の急速な増加につながり、その中には過激派に関連する兆候も含まれています。したがって、現在のソリューションは、新しい現実に対応するために拡張する必要があります。
技術と専門家の組み合わせ
試験中の過激化対策ツールは、チャットボットが最初にフィードバックするように訓練された方法で動作し、その後、ユーザーを適切な専門家に転送します。
特筆すべきは、このシステムは大規模な言語モデルの一般的なトレーニングデータを使用せず、専門分野の専門家からの知識に基づいていることです。
プロジェクトはまた、2019年のニュージーランドでのテロ攻撃後に生まれた国際的なイニシアチブであるThe Christchurch Callと協議されており、インターネット上の過激なコンテンツを削除することを目的としています。
専門家は、このアプローチには潜在的な可能性があると述べています。なぜなら、コンテンツを処理するだけでなく、ユーザーのインタラクションの動機にも影響を与えるからです。
しかし、実際の効果は、接続されたサポートサービスの追跡能力と品質に依然として依存しています。
制御と支援のバランスの問題
大きな課題の1つは、ユーザーがプラットフォームを離れたり、制御の少ない環境に移行したりすることなく、どのように介入するかです。
ニューヨーク大学の2025年の調査によると、検閲の強化は過激派の支持者をTelegramのようなプラットフォームに追い込む可能性があります。
テイラー氏によると、AIがデリケートなコンテンツを検出したときに単に会話を中断した場合、ユーザーはサポートを受けられない可能性があります。逆に、適切な対話とナビゲーションを維持することは、エスカレーションのリスクを軽減するのに役立ちます。
将来的には、当局への警告などの機能はまだ検討されており、状況を悪化させないことを保証する必要があります。
回答から介入への移行は、AIが新たな段階に入っていることを示しており、そこでは社会的責任がテクノロジー設計の核となる要素となっています。
