Trojan Puzzle

AIが大人気です。
Artificial IntelligenceのAIです。
AIを使うとアレができます、コレができます。
面倒だった仕事の一部が人手によることなく実施できます。

AIの新しい仕組みもどんどんリリースされてきています。
GitHubのCopilotやOpenAIのChatGPTなどのような、いわゆるコーディングアシスタントというジャンルのものも登場しています。
作ってほしい内容を入力するとその内容を実施できるプログラムコードを生成してくれるというのです。
少し古い考え方では、機械は単純処理を高速で繰り返し実行することに適していて、論理的思考を必要とするプログラミングなどの内容はその範囲にないというものがありました。
しかしこうしたジャンルの仕組みの登場でその考え方そのものが古いものとなりつつあります。

機械に単純作業を実施させ、人は難しい仕事のみを実施するようになっていきます。
機械にプログラムを作成させ、人はプログラムの作成を依頼するのみとなっていきます。
機械にプログラムの脆弱性を悪用するプログラムを作成させ、人はその作成を依頼するのみとなっていきます。
ここまでがこれまでの話でした。
ここに新しい心配事が出てきました。

機械がプログラムを作るための事前学習データに悪性のあるものを混ぜ込み、機械が生成したコードが脆弱性を持った状態にしてしまえるという心配です。
この方式で生成されたプログラムは脆弱なものとなります。
このような方法で生み出されたプログラムの脆弱性を悪用するためのコードも機械生成されるということになるのかもしれません。

もちろん悪性のあるものを混ぜ込むということは簡単ではありません。
単純に脆弱なロジックを混ぜ込んでおくという方法では学習データのクレンジングによってそれは取り除かれてしまうことでしょう。
しかしどんな事柄でもそうですが、それをかいくぐる手法というものは生み出されていきます。

Trojan Puzzleという手法が出てきています。
これは、コードにペイロードを含めることを回避し、トレーニングプロセス中にその一部を積極的に隠します。
この手法を駆使することにより、コーディングアシスタントの生成するコードに安全でないものを含ませることのできる可能性が大きく向上してしまいます。

新しい技術、新しい方式、新しいものはどんどんと生み出されていきます。
これらをどう使うかは使う人に依存しているということのようです。

参考記事（外部リンク）：Trojan Puzzle attack trains AI assistants into suggesting
malicious code
www.bleepingcomputer.com/news/security/trojan-puzzle-attack-trains-ai-assistants-into-suggesting-malicious-code/