人工知能プログラミングアシスタントがますます普及する中、本来は人工知能によって「手を解放」されるべき通常の開発タスクが、ある企業にとって痛ましい代償をもたらしかけました。最近、海外メディアの報道によると、ソフトウェア開発コンサルティング会社Softjournのエンジニアが、人工知能代理に「信頼できそうな」ソフトウェアパッケージを推薦してもらったところ、その代理は一般的なライブラリに非常に似た名前を提示しました。もし会社の目立たない厳格な規定がなければ、この悪意のあるソフトウェアパッケージが彼らのシステムに侵入していた可能性があります。
Softjournのエンジニアは、ある業務の中で、人工知能代理に一般的なタスク用のソフトウェアパッケージを推薦するよう依頼しました。人工知能代理は迅速に名前を提示しました。多くの組織では、開発者は提案をそのまま受け入れ、ダウンロードしてインストールします。しかし、Softjournには厳格に実施されている規定があります：人工知能のソフトウェア提案は必ず二重に確認し、その合法性を確保しなければなりません。エンジニアはこのプロセスに従い、GitHubでそのパッケージの一部のソースコードを確認したところ、疑わしい点を発見しました——そのパッケージのダウンロード数は非常に少なく、リポジトリは数日前に作成されたばかりでした。
人工知能モデルが供給チェーン攻撃のリスクを引き起こす可能性
これは人工知能モデルの偶発的な失敗ではなく、「slopsquatting」（すなわち「人工知能の幻覚パッケージ名占有」）と呼ばれる新しい供給チェーン攻撃の一種です。人工知能モデルは時折、合理的に聞こえるが実際には存在しないパッケージ名を「幻覚」することがあります。攻撃者はこの法則に早くから気づき、これらの人工知能が創造したパッケージ名を事前に登録し、悪意のあるコードをアップロードして、開発者が引っかかるのを待っています。Softjournの取締役社長Sergiy Fitsakは、攻撃者が賭けているのは「開発者が締切のプレッシャーの下で先にインストールし、後で確認する」ということだと警告しています。
Softjournはこのリスクをうまく回避しましたが、Fitsakは強調しています：「私たちがそれを発見できたのは、ダウンロード数を確認し、GitHubのソースコードをレビューする習慣を身につけていたからです。たとえ人工知能が推薦したのが一見普通のパッケージであっても。」