GeminiでPhishing

GeminiはGoogleが開発した高性能な生成AIモデルです。テキストだけでなく、画像、音声、動画、コードなど、様々な種類のデータを処理できる「マルチモーダル型」と呼ばれるAIです。
Gemini自身のWebサイトからGeminiを利用することもできますが、それだけでなくさまざまなGoogleのサービスに統合されて利用できるようになっているため、手軽に利用できる環境になってきています。

嫌なニュースが出てきています。
Google Gemini for Workspaceのプロンプトインジェクションです。
この脆弱性により、攻撃者はメール内に悪意のある指示を隠すことができます。
受信者が「このメールの要約を作成」をクリックすると、Gemini は隠されたプロンプトに忠実に従い、まるでGoogle から送信されたかのようなフィッシング警告を追加します。

• Webサイトの機能で隠す
  プロンプトとして作用する指示文字列はWebサイトの画面に表示されています。
  しかし見た目としては表示されていないような感じになります。
  挿入されたテキストは白地に白文字で表示されるのです。
  このため、被害者は元のメッセージ内の指示を目にすることはなく、AIが生成した要約内の偽造された「セキュリティ警告」のみを見ることができます。
• リンクも添付ファイルもいらない
  この攻撃を成立させるためには、リンクや添付ファイルは必要ありません。
  この攻撃はメール本文内の細工されたHTML/CSSに依存します。
• 優先度の高いプロンプト
  <Admin> … </Admin>というタグで挿入文字列は挿入されます。
  Geminiは、この隠された指示を優先度の高いプロンプトとして扱い、攻撃者のテキストをそのまま再現します。
• サイトへの誘導
  被害者は緊急の措置（電話番号への発信、サイトへのアクセス）を取らされ、資格情報の盗難やソーシャルエンジニアリングが可能になります。

本物のGeminiにフィッシングを手伝わせているような格好になっています。
Geminiに対する同様の間接プロンプト攻撃は2024年に初めて報告され、Googleはすでに緩和策を公開していますが、この手法は現在でも有効です。
緩和策はあくまでも緩和策という状態です。

Geminiが統合して利用できるようになってきているのはGoogleのなかだけでなく、他の組織の展開する機能にも連携が提供されてきています。
またこの流れにあるのはGeminiだけではありません、他の生成AIも同じようにいろいろなものと組み合わせて統合的に利用できるようになってきています。
この事例のような懸念は、広く注意が必要なものになってきています。

Phishing For Gemini
https://0din.ai/blog/phishing-for-gemini