
生成AIの利用が広がっています。
会社での業務利用だけでなく、個人としての利用もどんどん進んできています。
そんななか、心配な話題が出てきています。
生成AIを利用する際に、利用者の意図とは関係ない指示がされてしまう方法が出てきているのです。
どういったものなのでしょうか。
次のように進めることができてしまうというのです。
- 画像を用意する
生成AIに画像ファイルを入力した場合、処理の前に処理効率の向上のために画像を軽量化する処理が実施されることが一般的です。
この画像の軽量化を実施した際に攻撃の実施を進めやすくするプロンプト内容が文字として浮かび上がるように加工した画像を用意します。
プロンプトには、実際の攻撃者の依頼内容が書かれたり、ユーザの確認なしにプロンプトに従ってツールの呼び出しを承認するようにする設定が書かれたりします。
これだけです。
あとは、この加工済みの画像が対象者の手元で生成AIにわたされるのを待つだけです。
生成AIに画像ファイルを入力するシーンにはどのようなものがあるでしょうか。
画像の書類からの文字読み取りかもしれませんし、名刺の読み取りかもしれません。
手書きのノートの文字起こしかもしれませんし、写真からその場所を推測させることかもしれません。
いろいろなシーンで画像の入力は実施されそうです。
画像はいろいろな場所で利用されています。
そして、生成AIへの画像入力に対する抵抗感が強い人は多くないように想像します。
しかし、この事例のような画像を、もし自分が生成AIに入力してしまったら何が起こるのでしょうか。
研究者の実施した概念実証試験では、Googleカレンダーのデータを任意のメールアドレスに流出させることができてしまいました。
ユーザの確認なしに、です。
これは恐ろしいことです。
画像だから大丈夫だろう、という想像には、根拠がないということになってしまいました。
手放しで安全なものはどこかにあるのでしょうか。
Weaponizing image scaling against production AI systems
https://blog.trailofbits.com/2025/08/21/weaponizing-image-scaling-against-production-ai-systems/
この記事をシェア |
---|