Robloxは、1億1100万人以上の月間ユーザーを持つオンラインゲームプラットフォームであり、その大部分は子供と青少年です。
Robloxは、Indianexpressによると、人工知能システムAI Sentinelのオープンソースバージョンの展開を発表しました。
この技術は、プラットフォーム上の会話で子供の性的虐待の危険性を秘めた言語および行動の兆候を早期に検出するように設計されています。
上記の動きは、ロブロックスが多くの批判と訴訟に直面している最中に行われました。その中には、ゲームを通じて悪人に知り合った13歳の少女が、その後、多くの州を巡って誘拐され、取引された事件が含まれています。
原告は、ロブロックスの設計機能が子供を「児童ポルノの容易な標的」に変えたと非難しました。
Robloxによると、Sentinelは、1分間に会話全体を迅速に撮影し、毎日約60億件のメッセージに相当し、文脈を分析することによって動作します。
システムは、機密性の高いキーワードを検索するだけでなく、行動を2つの指標と比較します。それは、健全な会話の集まりと、子供を誘惑する危険性のある違反的なインタラクションを含む集まりです。
「以前のフィルターは、下品な言葉遣いをブロックするのに適した数行のテキストのみを検討していましたが、陰で長引く誘惑行為を検出する上で効果的ではありませんでした」と、Robloxのセキュリティディレクターであるマット・カッコーマンは説明しています。
Sentinelは、会話の内容、友人リストから参加したゲームまで、背景全体を分析することで、この制限を克服します。
2025年前半、Sentinelはロブロックスが子供を搾取しようとする潜在的な取り組みに関する1 200件の報告書を米国の失踪および搾取児童センター(NCMEC)に送るのを支援しました。
Robloxの信頼性と安全性担当技術副社長であるナレン・コネル氏は、「私たちは1日のすべての行動に基づいてユーザーを評価し、それによって誰がより慎重に検討されるべきかを特定します。リスクを発見した場合、人間が評価し、管轄当局と協力します」と述べました。
Robloxは、保護者の同意なしに13歳未満の子供がゲーム外で会話することを許可せず、個人情報の共有をブロックし、個人的なメッセージを暗号化して簡単に監視できるようにします。
しかし、同社は「完璧なシステムはない」と認めており、悪者は常に法律を回避しようとしています。
Sentinelのソースコードを開くことで、Robloxは他のプラットフォームもこの技術を適用できることを期待しています。オンライン環境では、無害に見える質問「あなたは何歳ですか?」は、時には深刻な脅威を秘めている可能性があります。