
AIを使う中でできれば避けたいものの一つにハルシネーション(幻覚)があります。
このハルシネーションを悪用する、「Scalable Untargeted Promptware Attacks via Universal and Transferable Adversarial HalluSquatting」、というものを研究者が公表しています。
AI(LLM)が実在しないリポジトリ名やパッケージ名(リソース識別子)をあたかも実在するように出力してしまうことにより、攻撃を成立させてしまうというものです。
現在、圧倒的なシェアを持つVS Codeから、よりAI機能が統合された『Cursor』や『Windsurf』へ乗り換える開発者が急増しています。
しかし、AIが人間に代わって自動でコードを実行・検証してくれるこの便利さこそが、今回発表された『HalluSquatting』の最大の標的となっています。
どういった特徴があるのでしょうか。
- 「受動的」から「能動的・敵対的(Adversarial)」への進化
これまでの類似概念(Slopsquattingなど)は、「AIがたまたま起こすハルシネーションを待つ」という攻撃者にとって運任せの受動的なアプローチでした。
しかし、この論文の新規性は「攻撃者が狙ったハルシネーションを意図的に引き起こす手法(Adversarial HalluSquatting)」を確立した点にあります。
特定のプロンプト(プロンプトウェア)を仕込むことで、LLMに特定の偽リソースを高確率で生成させることが可能であることを証明しました。 - ハルシネーションの「再現性」と「転移性(Transferability)」の発見
論文では、LLMのハルシネーションが決してランダムなノイズではなく、「高い確率分布を持ち、予測可能である」ことを突き止めました。
さらに恐ろしい新規性として、そのハルシネーションが異なるLLM間(基盤モデル層)や、異なるAIアプリ間(アプリケーション層)をまたいで「転移する(同じ偽の名前をでっち上げる)」性質があることを証明しました。
これにより、一つの罠を仕掛けるだけで、GPT系、Claude系、Gemini系などをベースにした複数のAIツールを同時にハックできるようになります。 - 標的型ではない「無差別・大規模(Scalable Untargeted)」なボットネット化の証明
従来のプロンプトインジェクション攻撃(AIを騙す攻撃)は、特定のAIシステムに直接悪意ある入力を行う必要がありました。
しかし、今回の手法は、AIが読み込むWeb上の情報やコードに、AIを誘導する悪意ある指示(プロンプト)を紛れ込ませておくだけです。
AIエージェント側がそれを読み込んでハルシネーションを起こし、攻撃者が先回りして登録しておいた「偽パッケージ」を勝手に「引き当てて(Pullして)」自爆するため、攻撃者はターゲットと直接通信する必要すらありません。
結果として、まるで従来のウイルスのように「勝手に大勢へ感染が拡大していくボットネット」をAI環境で構築できるという恐怖のスケール(拡張性)を提示しました。
AIの自然なハルシネーションを狙った単純なパッケージ登録(待ち伏せ型)はすでに実際のサイバー空間で確認され始めていますが、今回論文が警告した「能動的かつ大規模なボットネット化」という高度な攻撃については、現時点で実際の悪用事例は確認されていません。
しかし、研究者の実施した実証実験で、リポジトリのクローンを求めるプロンプトでは最大85%、AIエージェントのスキル(プラグイン)インストールにおいては最大100%の確率で、AIが実在しないリソース名を生成するという高いハルシネーション発生率が確認されています。
しかも、この脅威は、Cursor、Cursor CLI、Gemini CLI、Windsurf、Cline などの開発者がよく使うAIツールで、実際にリモートコード実行(RCE)が可能であることが確認されました。
これは単に「AIは嘘をつくから危険だ」という話にとどまらず、「AIの嘘には共通のパターンがあり、それを悪用すれば、人間が介在しない自動化されたAIエージェントの仕組みを逆手に取って、世界規模のサイバー武器(ボットネット)へ変貌させられる」という冷酷な現実を、具体的なアルゴリズムと実証データで初めて世に知らしめたというお話しです。
Beware of Agentic Botnets: Scalable Untargeted Promptware Attacks via Universal and Transferable Adversarial HalluSquatting
https://arxiv.org/html/2607.07433v1
| この記事をシェア |
|---|