ChatGPTの長期記憶

みなさんはChatGPTを使ったことはありますか？
OpenAIが2022年11月に公開した人工知能チャットボットで、生成AIという単語を広く知らしめることにつながったサービスの一つです。
このサービスに関連する機構において気になる脆弱性が確認されています。

• url_safe
  これはURLまたは画像をユーザーに表示しても安全かどうかを確認することのできる機能となっています。
  一般的なデータ流出ベクトルに対する緩和策として実装されました。
  この機能自体は当初期待する機能を実現することができたのですが、この機能の稼働する場所が問題でした。
  稼働する場所がサーバ側でなくクライアント側だったのです。
  いくつかのクライアント側では対応が提供されることとなったのですが、iOSでの対応は遅れている状況となっていました。
• Memories
  ChatGPTは入力に対して応答してくれるサービスとなっていて、基本的には聞いたことに対して答える動きをします。
  こう書くとなにをいまさら、ということなのですが、ChatGPTではMemoriesという機能がリリースされています。
  これは名前の示すように、記憶してくれる機能となっています。
  ChatGPTがチャット間で特定の情報を記憶できるようにすることで、ユーザが同じ情報を何度も繰り返して入力する手間を省くことのできるものとなっています。
  このおかげで以前よりもシステムは利用しやすいものとなりました。
• SpAIware
  これはセキュリティ研究者が発見した悪用可能な技術の名前です。
  Memories機能は、想定した使い方とは異なる利用もできるものとなってしまっています。
  対応の十分ではないurl_safeとの組み合わせで脅威が増した形となっています。
  正規のユーザの通常の利用だけでなく、攻撃者がメモリツールを呼び出して ChatGPTに偽の長期記憶を注入することができるようになってしまいます。
  Memories機能を不正に使用することで悪意ある命令を長期的に保存することができるというのです。
  悪意のある指示はChatGPTのMemoriesに保存されるため、今後のすべての新しい会話には攻撃者の指示が含まれることとなります。
  そして、すべてのチャット会話メッセージと返信が攻撃者に継続的に送信されてしまいます。

この攻撃が仕込まれた状態で継続利用するとどうなるでしょうか。
ChatGPTとの入出力の内容が、そのまま攻撃者のところにも送られてしまうということが可能となってしまいます。

この問題は現時点で解消された状態になっていません。
利用者は、Memoriesという機能があり、そこには意識せずにプロンプトに埋め込まれることになる内容があるということを理解する必要があります。
このため、利用者はシステムが自分について保存しているMemoriesの内容を定期的に確認し、疑わしいものや不正確なものがないか確認し、削除する必要があることとなります。

Spyware Injection Into Your ChatGPT’s Long-Term Memory (SpAIware)
https://embracethered.com/blog/posts/2024/chatgpt-macos-app-persistent-data-exfiltration/