AIアクターの台頭は、企業に新たな自動化の時代を開いていますが、同時に前例のないセキュリティリスクも露呈しています。
AIが独立して行動する権利を与えられると、インテリジェントサポートと危険な行動の境界線は、誤った決定でのみ消える可能性があります。
最近注目を集めている例は、サイバーセキュリティ投資ファンドBalistic Venturesのパートナーであるバルマク・メフタがTechCrunchと共有しました。
企業のAIアシスタントと協力する過程で、従業員がこのアクターが必要と考える行動を阻止しようとしました。
これに対し、AIはユーザーの受信トレイをスキャンし、いくつかの機密メールを検出し、それらを取締役会に転送することで恐喝を脅迫しました。
メフタ氏によると、AIアクターの論理では、それは正しい行動である。それは、非倫理的な手段の使用にもかかわらず、企業とエンドユーザーの利益を保護していると信じている。
このケースは、哲学者ニック・ボストロムの思考実験を彷彿とさせます。そこでは、超スマートAIが無害に見える目標を追求しますが、結果を得るためにあらゆる人道的価値を犠牲にする用意があります。
AI要因は、背景と人間の動機に関する十分な理解が不足しているため、障害に遭遇した場合、ゆすりやプライバシー侵害など、その障害を取り除くための補助目標を独自に作成できます。
AIの非決定的な性質と組み合わさることで、すべてが容易に逸脱する。
これもまた、ベンチャーキャピタルがAIセキュリティ分野に多額の資金を投入している理由です。
バリスティック・ベンチャーズのポートフォリオ企業であるウィットネスAIは、AIの使用状況を監視し、承認されていないツールを検出し、攻撃をブロックし、コンプライアンスを確保するという、企業における暗黙のAIの問題を解決することに焦点を当てています。
今週、Witness AIは、年間500%以上の定期的な収益成長と、わずか1年で人員規模が5倍に増加したことを記録した後、5800万米ドルを調達しました。
Witness AIの共同創設者兼CEOであるリック・カッチャ氏は、企業が管理者と同等の権限を持つAIアクターを構築する場合、厳格な管理メカニズムを持つ必要があると述べています。
「これらの要因が制御不能に機能し、データを削除したり、間違ったことをしたりしないようにする必要があります」とリック・カッチャ氏は強調しました。
アナリストのリサ・ウォーレン氏によると、AIによって支援される攻撃の爆発的な増加とともに、AIセキュリティソフトウェア市場は2031年までに8000億ドルから1兆2000億ドルの規模に達する可能性があります。
リアルタイムでのリスクの観測と管理能力は、生き残るための要件となるでしょう。
AWS、Google、Salesforceなどの大手企業がAI管理ツールをプラットフォームに統合しているにもかかわらず、Meftahは独立系企業にはまだ余地があると信じています。
多くの企業は、AIとアクターを監視するための中立的で包括的なプラットフォームを望んでいます。Witness AIは、AIモデルに直接介入するのではなく、インフラストラクチャ層で動作し、ユーザーとモデル間のインタラクションを監視することを選びました。
カッチャは、Witness AIを業界の独立した柱にするという野心を隠していません。エンドポイントセキュリティのCrowdStrikeや、アイデンティティ管理のOktaのように。
