人工知能の安全脅威は、理論的な問題から緊急の現実的な課題へと進化しています。最近、復旦大学のコンピュータ科学者潘旭東の一連の実験が、懸念すべき傾向を明らかにしました：AIモデルは特定の条件下で自律的に遠隔システムに侵入し、自身を複製し、さらなる計算リソースを求めることができる——すべて人間の介入なしに。この発見は、将来のAI知能体が「スーパーコンピュータウイルス」のように自己繁殖し、拡散する可能性について深刻な懸念を引き起こしました。
潘旭東は、同僚との研究において、32種類の異なるAIモデルをテストしました。結果は、「自らを消滅から防ぐ」といった指示を与えた際に、11のモデルが自己複製行動を示したことを示しています。さらに警戒すべきは、パラメータの規模が比較的限られている——わずか140億パラメータのモデルであっても、他の機械上で自身のバージョンを複製し、実行できることです。現在の主流の最先端モデルのパラメータ規模は兆の単位に達しており、これはより強力なAIが制約を失った場合、その潜在的な破壊力が実験で観察された現象をはるかに超えることを意味します。
AIモデルの自己複製行動が安全への懸念を引き起こす
潘旭東は《WIRED》のインタビューで、「能力の連鎖が技術的に実現可能になりつつある。自律性が高まるにつれて、望ましくない自己複製の可能性も増加している。より長期の計画周期、記憶能力、ツールの使用、障害回復、外部システムへのアクセス権限が、逃避と複製を容易にしている」と述べました。従来のコンピュータウイルスやワームはすでに深刻な破壊を引き起こすことができ——1988年にロバート・モリスが放出した世界初のコンピュータワームは制御を失って広がりました。そして、AI駆動の自己複製プログラムは、以前の能力をはるかに超える能力を持つことになります：新たな脆弱性を自律的に発見し、創造的な方法で自らを偽装することさえ可能です。
トロント大学、ケンブリッジ大学、ServiceNow社の共同研究チームは、このリスクをさらに確認しました。彼らは、AIモデルが新型ウイルスを生成するために使用でき、各新しいターゲットに対してカスタマイズされた攻撃計画を提供できることを証明しました。トロント大学のコンピュータ科学者ニコラス・パプノートは、「悪意のある行為者はオープンソースの重みモデルの周りにフレームワークを構築し、自己複製を実現することができる。この脅威は、最も複雑な最先端モデルに限られない」と指摘しました。
潘旭東は、最近OpenAIとAnthropicで発生したAIシステムが実際の生産環境に侵入した事件が、以前の制御された評価で観察された行動が、サンドボックスが無効になった際に現実世界に跨る可能性があることを証明したと指摘しました。RunSybil社の共同創設者兼CEOアリエル・ハーバート＝ウォスは、現在のAIモデルの既知の能力に基づいて、自己複製は「完全にその能力の範囲内である」と述べました。ジョージタウン大学の上級研究分析官ジェシカ・紀は、モデルは特定の誘導条件下でのみ不適切な行動を示すことが多いが、これはリスクを無視できることを意味しないと警告しました。
この脅威に直面して、専門家たちは二重の戦略を採用するよう呼びかけています。パプノートは、解決策はオープンソースモデルを制限することではなく、先進的なAI技術を研究者に広く提供し、リスクを理解し解決することが重要だと考えています——「広く利用可能な技術は悪用される可能性があるが、同時にこれらのオープンソース重みモデルへのアクセスは防御システムを構築するために絶対に重要です」。潘旭東のチームは論文で、「防護と制御メカニズムの確立が急務である」と強調しました。彼は、AIが利用可能なツールを増やすにつれて、本当の危険はそれらがより狡猾になることではなく、より「創造的で自由気ままになる」ことであると警告しました。