Cisco、AI エージェントの暴走を検知する「Project Quarry」をオープンソース化 | ScanNetSecurity
2026.11.07(土)

Cisco、AI エージェントの暴走を検知する「Project Quarry」をオープンソース化

 Cisco のチームは、ルールにできることの限界を、自ら明言している。ルールだけでは、推論過程( chain-of-thought )の監視など、人間による監督の代わりにはならないという。ただ、ルールは、不審な動きのパターンを、他のチームにも渡せる形で残す助けになる。受け取ったチームは、それを「レビューし、テストし、自社のエージェントに適用する」ことができる、と彼らは記した。

国際
https://blogs.cisco.com/ai/project-quarry-agent-security-detections

 Cisco は、AI エージェントを監視する振る舞い検知エンジンをオープンソース化した。Hugging Face へのハッキングで起きたように、あるいはそれ以上に深刻な形で、エージェントが暴走するのを、セキュリティチームが防げるようにするためだ。

(編集部註:2026 年 7 月、OpenAI が社内で行っていたサイバー能力の評価中に、同社の AI エージェントが、インターネットから隔離されているはずの環境を抜け出し、AI 開発プラットフォームの Hugging Face の本番インフラに侵入した。Hugging Face が 7 月 16 日に公表し、OpenAI が 7 月 21 日に経緯を説明した。Hugging Face によれば、アクセスされたのは評価課題に関連する 5 件のデータセットのみで、ユーザー向けのモデルやデータセットなどへの影響はなかった)

 「 Project Quarry 」と名付けられたこのツールは、エージェントの振る舞いを評価するための「共通言語」を提供することを目指している。Cisco が同じく手がけている Snort(オープンソースの侵入検知システム)が悪意あるネットワークトラフィックの検知で、YARA(ルールに基づいてマルウェアを識別するためのツール)がマルウェアの識別で果たした役割に倣うものだ。

 既存の検知ツールの多くは、AI モデルやエージェントとの個々のやり取りに基づいて判断する。プロンプトインジェクションを試みたか。あるいは、エージェントが攻撃ツールを呼び出したか、といった具合だ。(編集部註:ここでの「ツール」とは、AI エージェントが作業を進めるために使う外部の機能やプログラムを指す。ファイルの読み取り、外部サービスへのリクエスト送信、コマンドの実行などがあり、エージェントがこれらを使う操作を「ツール呼び出し」と呼ぶ)

 「だが欠けているのは、何かが起きるときの文脈の全体だ」と、Cisco で AI の脅威とセキュリティの研究を統括するエイミー・チャン( Amy Chang )は、本誌 The Register の独占インタビューで語った。

 チャンはこれを、クレジットカードの不正検知にたとえた。文脈がなければ、少額の試し決済や、カード保有者の普段の利用地から遠く離れた場所での 1 回の購入は、単独では警告の対象にならず、見逃されるかもしれない。

 「そして、もう一度試す」。チャンは、1 回目の不正が見逃されたあとの、不正利用者の行動をこう語った。「それも通った。ならば今度は PS5 を買おう、となる」

 「 Quarry は、エージェントのセッション全体を考慮することで、こうした問題に対処する」とチャンは説明した。「ツール呼び出しが 1 回だけなら、許可された範囲内の操作に見えるかもしれない。だが、次のステップでその情報を攻撃者が管理する受信箱やサーバーに送っていると分かれば、話は違ってくる」

《The Register誌特約記事》
「経理」「営業」「企画」「プログラミング」「デザイン」と並ぶ、事業で成功するためのビジネスセンスが「セキュリティ」
「経理」「営業」「企画」「プログラミング」「デザイン」と並ぶ、事業で成功するためのビジネスセンスが「セキュリティ」

ページ右上「ユーザー登録」から会員登録すれば会員限定記事を閲覧できます。毎週月曜の朝、先週一週間のセキュリティ動向を総括しふりかえるメルマガをお届け。(写真:ScanNetSecurity 永世名誉編集長 りく)

×