人工知能プログラミングアシスタントがますます普及する中、本来は人工知能によって「手を解放」されるべき通常の開発タスクが、ある企業にとって痛ましい代償をもたらす寸前でした。最近、外部メディアの報道によると、ソフトウェア開発コンサルティング会社Softjournのエンジニアが、人工知能エージェントに「信頼できそうな」ソフトウェアパッケージを推薦された際、そのエージェントが非常に一般的なライブラリと似た名前を提示しました。もし会社の目立たない厳格な規定がなければ、この悪意のあるソフトウェアパッケージは彼らのシステムに侵入していた可能性があります。
Softjournのエンジニアは、ある業務の中で人工知能エージェントに一般的なタスク用のソフトウェアパッケージを推薦するよう依頼しました。人工知能エージェントは迅速に名前を提示しました。多くの組織では、開発者がその提案をそのまま採用し、ダウンロードしてインストールすることが一般的です。しかし、Softjournには厳格に実施されている規定があります：人工知能からのソフトウェア提案は、合法性を確認するために二重に検証しなければなりません。エンジニアはこのプロセスに従い、GitHubでそのパッケージの一部ソースコードを確認したところ、疑わしい点を発見しました——そのパッケージはダウンロード数が非常に少なく、リポジトリは数日前に作成されたばかりでした。
人工知能モデルが供給チェーン攻撃のリスクを引き起こす可能性
これは人工知能モデルの偶発的なミスではなく、「slopsquatting」（すなわち「人工知能の幻覚パッケージ名の占有」）と呼ばれる新しい供給チェーン攻撃の一種です。人工知能モデルは時折、合理的に聞こえるが実際には存在しないパッケージ名を「幻覚」することがあります。攻撃者はこの法則に早くから気づき、これらの人工知能が創造したパッケージ名を事前に登録し、悪意のあるコードをアップロードして、開発者が引っかかるのを待っています。Softjournの取締役社長Sergiy Fitsakは、攻撃者が賭けているのは「開発者が締切のプレッシャーの下で先にインストールし、後で確認する」ということだと警告しています。
Softjournはこのリスクを回避しましたが、Fitsakは強調しています：「私たちがそれを発見できたのは、ダウンロード数を確認し、GitHubのソースコードをレビューする習慣を身につけていたからです。たとえ人工知能が推薦したのが一見普通のパッケージであっても」。