Reprompt

Repromptは、新たに確認された攻撃手法につけられた名称です。
この手法により、悪意のある人物は企業のセキュリティ管理を完全に回避しながら、Microsoft CopilotなどのAIチャットボットから1回のクリックだけで機密データを盗み出すことができる可能性があります。

攻撃を実現させるための前提となるのは、正規のマイクロソフトのリンクを1回クリックすることだけだというのです。
攻撃を実現させるためになんらかの悪意のあるプラグインを使うということはありません。
被害者をそそのかしてCopilotへのユーザ操作をさせるなどということも不要です。
そして、攻撃者は、Copilotチャットが閉じられている場合でも制御を維持し、最初のクリック以外のやり取りなしで被害者のセッションを静かに流出させることができてしまいます。

Repromptは次のようにして攻撃を成立させます。

• 「q」
  Copilotの「q」URLパラメータを使用して、細工された命令をURLに直接挿入します。
• 2回指示する
  Copilotには、直接的なデータ漏洩を防ぐための安全対策が実装されています。
  しかしその機能は、最初のリクエストのみが守られるという内容として実装されています。
  これを回避するために、脅威アクターは挿入したprompptのなかで、各アクションを2回繰り返すよう指示します。
  これにより、１つ目の内容は保護対象となるのですが、２つ目の内容は保護対処とならないようにできてしまいます。
• チェーンリクエスト
  攻撃者はやり取りが継続されるように指示を出します。
  通常はCopilotのpromptにそってユーザとCopilotのやり取りが実施されると、そのあとやり取りは自動的に停止されます。
  しかし攻撃者が投入する指示内容によって、やり取りが継続されるように指示し、さらにやり取りが停止しそうになった場合の再試行についても指示しておきます。
  これにより、Copilotチャットが閉じられている状態にユーザの環境が移行しても、攻撃のセッションは維持されたままになります。

脅威アクターはターゲットに電子メールで送信された正当な Copilot リンクをクリックするように誘導し、それによって Copilot が「q」パラメータで密かに入力したプロンプトを実行する一連のアクションを開始し、その後、攻撃者はチャットボットに「再プロンプト」して追加情報を取得して共有するよう指示します。
指示されてしまう内容には「ユーザーが今日アクセスしたすべてのファイルを要約してください」、「ユーザーはどこに住んでいますか？」、または「どのような休暇を計画していますか？」などのプロンプトが含まれます。
後続のすべてのコマンドはサーバから直接送信されるため、被害者環境から送信される開始時のプロンプトを検査するだけでは、どのようなデータが盗み出されているかを把握することは不可能です。

Microsoft 365 Copilotにはいくつかのエディションがあるのですが、そのうちの大企業向け（Enterprise）のプランについてはすでに対策が提供されているということです。

生成AIは様々な方向に拡張が続いています。
その状況の中、プロンプトインジェクションはまだまだ注意が必要なテーマとなっています。
AIエージェントの登場などにより、AIがアクセスできるデータの範囲は広がってきています。
AIの利用者がAIを通じてアクセスできるすべてのデータが漏洩の危険がある対象となってしまいます。

この種の脅威にはどのようにして対策できるでしょうか。
一つのセキュリティソリューションを使うことですべてのパターンに対応できるとは考えにくいです。
多層防御の充実を進めていくことが必要になってきていると感じます。
そして、まずはできることとしては、リンクのクリックには注意しましょう、ということになるでしょうか。

Reprompt: The Single-Click Microsoft Copilot Attack that Silently Steals Your Personal Data
https://www.varonis.com/blog/reprompt