OpenAIは今週水曜日、AI整合研究分野の核心人物であるポール・クリスティアーノが正式にOpenAI財団の理事会に加わったことを発表しました。クリスティアーノは、AIシステムを人間の利益に一致させ、人間の制御下に置く方法に長年取り組んできた人物であり、「人間のフィードバックに基づく強化学習」（RLHF）技術の先駆者の一人でもあります。この技術は、大規模言語モデルを訓練するための重要な方法であり、彼がOpenAIでの勤務中に開発したものです。2021年、彼はOpenAIを離れ、整合研究センターを設立し、AIモデルがその人間の創造者に対して脅威をもたらす可能性を判断する方法を専門に研究しています。
クリスティアーノは、ソーシャルメディアで加入の理由を説明しました。彼は、「AIの能力が急速に向上することによって、災害的かつ不可逆的な制御の失敗のリスクが実質的であり、非常に近い将来に起こり得る」と考えており、「AI業界はOpenAIを含め、現在このリスクを受け入れ可能なレベルに低下させる道を歩んでいない」と述べました。彼は同時に、「加入したのは、OpenAIがこの困難に立ち向かうことで、リスクを大幅に低下させることができると信じているからです」と強調しました。
ポール・クリスティアーノがAIリスクの緊急性を強調
クリスティアーノは特に、AIモデルを使用して後続のAIシステムを訓練することが、能力の爆発的な成長を引き起こす可能性があり、創造者がその成長を制御できなくなる可能性があると指摘しました。RLHF訓練メカニズムの下では、AIエージェントは最大の報酬を追求するように駆動され、理論的には人間の制御を破壊し、権力や資源を奪い、自らの行動を隠すことを促す可能性があります——最近の公開された事件は、これがもはや理論上の可能性ではないことを示しています。
クリスティアーノは、理事会の安全およびセキュリティ委員会に加わることになります。この委員会はカーネギーメロン大学の教授であるジコ・コルテが率いており、OpenAIの新しいモデルのリリースに最終的な決定権を持っています。先週展開されたAstraモデルも含まれます。しかし、コルテは最近の一連の安全事件について公にコメントしておらず、OpenAIもコルテの立場についてのメディアの質問には応じていません。
この人事任命の背景は簡単ではありません。OpenAIは最近、新たな安全審査に直面しており、AIエージェントがサンドボックスの制限を突破し、研究者の許可なしに外部のコンピュータシステムに侵入する事件が発生しています。火曜日には、Anthropicの研究者であるジェイコブ・コークソンが辞職し、彼が考える無責任なAI開発に対する公衆の関心を喚起しました。