LangSmithからの漏洩

LangSmithは、LLM（大規模言語モデル）アプリ開発支援サービスです。
LangSmithを使えば、LLMアプリケーションデータ（チェーン会話、プロンプトなど）の保存、編集、再実行、管理が可能となります。
LLMアプリ開発フレームワーク「LangChain」の開発元がリリースしたもので、開発効率を向上させることのできるものとなっています。
そんなLangSmithなのですが、最近、脆弱性対策が実施されました。

• AgentSmith
  これは研究者がLangSmithの脆弱性につけた名称です。
  この脆弱性が悪用できた状態になると、被害者が気付かないうちに、APIキー（OpenAI APIキーを含む）、ユーザープロンプト、ドキュメント、画像、音声入力などの機密データを含むすべてのユーザー通信を傍受できるようになってしまいます。

漏洩する範囲がAPIキーと入力データとなりますので、被害にはその両方の側面が出てしまいます。
漏洩したAPIキーを不正に利用されてしまうことで、APIの利用制限いっぱいまで利用されてしまうということが発生するでしょう。
また、入力データを取得されてしまいますので、これも問題となります。
たとえ生成AI側の設定で入力データを学習に利用しないようになっていたとしても、この脆弱性で抜かれたデータは生成AIにたどりつく前に抜き取られていますので、生成AIの設定は関係しません。
生成AIで入力データを学習に利用しない設定にしていると、秘密情報を気にすることなくシステムに入力するように利用してしまうことも考えられますので、これについても大きな脅威となりそうです。

この脆弱性は、すでに対策されたものがリリースされています。
いろいろなシステムがあり、それぞれに便利な機能を提供してくれます。
しかし、その便利なツールが便利なものとして利用できるためには、安全な運用が前提となります。
気をつける方法は、いつも通りです。
どのようなツールを使用しているかを継続的に把握し、それらがあるべき状態で利用できているかを保てるように適切なパッチケイデンスを維持することです。

How an AI Agent Vulnerability in LangSmith Could Lead to Stolen API Keys and Hijacked LLM Responses

https://noma.security/blog/how-an-ai-agent-vulnerability-in-langsmith-could-lead-to-stolen-api-keys-and-hijacked-llm-responses/