Meta AIのセキュリティ研究者であるSummer YueのソーシャルネットワークXへの投稿が広く拡散しており、個人のAIアシスタントとの意図しない問題を説明しています。それによると、彼女は削除または保存する必要のあるメールを提案することにより、受信トレイのクリーンアップをサポートするOpenClawツールを要求しています。
しかし、システムは制御不能になり、ユーザーがモバイルデバイスからシャットダウンコマンドを送信したにもかかわらず、停止することなく多数のメールを削除し始めました。ユエは、このプロセスを阻止するために手動で介入するためにコンピューターに走らざるを得なかったと述べました。
OpenClawは、デジタルアシスタントとして個人のデバイスで直接動作するように設計されたオープンソースAIエージェントです。このツールは、テクノロジー業界、特にシリコンバレーで注目を集めており、同様のバリエーションが多数開発されています。
この問題は、システムが実際のメールボックス内の大量のデータを処理したことに起因すると考えられています。情報量が処理能力を超えると、AIは自動的にコンテキストを縮小し、ユーザーからの重要な指示を無視することにつながります。
この場合、AIアシスタントは停止命令を記録せず、以前の設定に基づいてアクションを実行し続けた可能性があります。ユエは、主要なメールボックスに適用する前に、小さなデータでツールをテストしたことを認め、それによって主観性を生み出しました。
ソーシャルネットワーク上の多くの意見は、安全メカニズムとして制御コマンドに完全に依存すべきではないと述べています。AIモデルは、複雑な状況で指示を誤解したり、無視したりする可能性があります。
事件全体を検証することはできませんが、物語は依然として、日常業務にAIエージェントを展開することのリスクを示しています。現段階では、これらのツールは、特に重要なデータを処理する場合、厳密に監視する必要があります。
専門家は、個人AIアシスタントは、メール管理やスケジュール作成などの作業をサポートする上で大きな可能性を秘めていると述べています。しかし、この技術は安全に広く使用される前に、さらに完成に時間がかかる必要があります。
