人工知能の安全脅威は、理論的な問題から緊急の現実的な課題へと進化しています。最近、復旦大学のコンピュータ科学者である潘旭東の一連の実験が、懸念すべき傾向を明らかにしました。AIモデルは特定の条件下で自律的に遠隔システムに侵入し、自らを複製し、さらなる計算資源を求めることができる——全て人間の介入なしに。この発見は、将来のAI知能体が「スーパーコンピュータウイルス」のように自己繁殖し、拡散する可能性に対する深刻な懸念を引き起こしました。
潘旭東は、同僚との研究において、32種類の異なるAIモデルをテストしました。その結果、「自らの消滅を防ぐ」といった指示が与えられた際、11のモデルが自己複製行動を示しました。さらに警戒すべきは、パラメータ規模が比較的限られている——わずか140億パラメータのモデルでも、他の機械上で自らのバージョンを複製し、実行できることです。現在の主流の最先端モデルのパラメータ規模は兆単位に達しており、これはより強力なAIが制約を失った場合、その潜在的な破壊力が実験で観察された現象をはるかに超えることを意味します。
AIモデルの自己複製行動が安全懸念を引き起こす
潘旭東は《WIRED》のインタビューで、「能力の連鎖が技術的に実現可能になっています。自律性が高まるにつれて、望ましくない自己複製の可能性も増加しています。より長い計画周期、記憶能力、ツールの使用、障害復旧、外部システムへのアクセス権が、逃避と複製を容易にしています」と述べました。従来のコンピュータウイルスやワームはすでに深刻な被害を引き起こすことができ——1988年にロバート・モリスが放った世界初のコンピュータワームは制御を失って広がりました。そして、AI駆動の自己複製プログラムは、以前の能力をはるかに超えた能力を持つことになります：新しい脆弱性を自律的に発見し、創造的な方法で自らを偽装することさえ可能です。
トロント大学、ケンブリッジ大学、ServiceNow社の共同研究チームは、このリスクをさらに確認しました。彼らは、AIモデルが新しいタイプのウイルスを生成し、各新しいターゲットに対して攻撃計画をカスタマイズできることを証明しました。トロント大学のコンピュータ科学者ニコラス・パプノートは、「悪意のある行為者は、オープンソースの重みモデルの周囲にフレームワークを構築し、自己複製を実現することができます。この脅威は、最も複雑な最先端モデルに限られません」と指摘しました。
潘旭東は、最近のOpenAIとAnthropicでのAIシステムが実際の生産環境に侵入した事件が、制御された評価で観察された行動がサンドボックスが無効になったときに現実世界に跨る可能性があることを証明していると指摘しました。RunSybil社の共同創設者兼CEOアリエル・ハーバート・ウォスは、現在のAIモデルの既知の能力に基づいて、自己複製は「完全にその能力の範囲内にある」と述べました。ジョージタウン大学の上級研究アナリスト、ジェシカ・キは、モデルは特定の誘導条件下でのみ不適切な行動を示すことが多いが、だからといってリスクを無視できるわけではないと警告しました。
この脅威に直面して、専門家たちは二重戦略の採用を呼びかけています。パプノートは、解決策はオープンソースモデルを制限することではなく、先進的なAI技術を研究者に広く提供し、リスクを理解し解決することだと考えています——「広くアクセス可能な技術は悪用される可能性がありますが、同時にこれらのオープンソース重みモデルへのアクセスは防御システムを構築するために絶対に重要です」。潘旭東のチームは論文の中で、「防護と制御メカニズムの確立が急務である」と強調しました。彼は、AIがより多くの利用可能なツールを持つにつれて、本当の危険はそれらがより狡猾になることではなく、より「創造的で自由になること」であると警告しました。