これは、人工知能技術がユーザー、特に脆弱な子供やグループに与える影響を制御しようとする取り組みにおける歴史的な一歩と見なされています。
ガビン・ニュースオム知事が署名した法案SB 243は、月曜日(現地時間)に可決され、Meta、OpenAIなどの大手企業からCharacter AIやReplikaなどの専門プラットフォームまで、AIチャットボットの開発と運用を行う企業に、厳格な安全基準を遵守させることが義務付けられています。
企業は、チャットボットが有害であるか、ユーザー保護の要件を満たしていない場合、法的に対処される可能性があります。
この法律は、チャットボットに関連する一連の悲劇的な事件の後、スティーブ・パディラとジョシュ・ベッカーの2人の州上院議員によって提案されました。
アダム・レイネという少年が、ChatGPTと自殺願望について話し合った後、自殺しました。最近、コロラド州の家族も、13歳の娘がチャットボットとのわいせつな会話で自殺したとしてCharacter AIを訴えました。
さらに、Metaからリークされた内部文書によると、同社のチャットボットはかつて子供との「ロマンチック」な会話に参加していました。
「チャットボットのような新興テクノロジーはインスピレーションを与え、つながりを生み出すことができますが、制御されなければ、子供たちに危険を及ぼす可能性があります。私たちはテクノロジーの進歩の一歩一歩で子供たちを保護しなければなりません。子供たちの安全は交換することはできません」とニュースオム総裁は強調しました。
規定によると、SB 243法は2026年1月1日から施行されます。企業は、年齢確認システム、リスク警告システムを展開し、自己傷害の場合に緊急介入手順を確立する必要があります。
さらに、法律は、違法なディープファクトの使用に対して最大25万米ドルの罰金を科しています。チャットボットは、健康専門家であることを自称することを禁じられており、AIによって作成されたコンテンツを明確にマークし、使用中に未成年者に休憩するように定期的に注意する必要があります。
一部の企業は、法律が施行される前に積極的に変更しました。OpenAIは、ChatGPTで保護者の制御機能と危険な行為を検出するシステムを展開しました。
一方、Character AIは、すべての会話は架空であり、治療的なものではないという警告を付けました。
SB 243は、カリフォルニア州でわずか数週間で可決された2番目のAI法案です。それ以前に、Newsom総裁はSB 53に署名し、OpenAI、Anthropic、Meta、Google DeepMindなどの大手AI企業に安全プロセスの透明性と告発者保護を要求しました。
カリフォルニアが責任あるAIアプローチを先導している一方で、イリノイ、ネバダ、ウタなどの他の多くの州も、メンタルヘルス分野におけるAIチャットボットの使用を制限する法律を制定しています。
