外部メディアの報道によると、今年のフィールズ賞受賞者である数学者Jacob Zimmermanが最近、数学AI安全研究所MAISIを設立したことを発表しました。Zimmermanはこの研究所の科学ディレクターを務め、Andrew Critchが秘書長を務めます。フィールズ賞は4年ごとに授与され、40歳以下の数学者に特化した賞であり、数学分野で最も権威のある賞と見なされています。
MAISIは2027年に第一学期のAI安全研究を開始します
MAISIはプリンストン高等研究所の構造を参考にし、学期ごとに数学者を招待してAI安全研究を行います。研究所は2027年1月に第一学期を開始する予定で、10人から30人の数学者を湾岸地域に招待します。また、2027年9月の特別学年では、規模を30人から100人に拡大する予定です。この研究所の目標は、特定のAIシステムが災害を引き起こさないと確信できる条件を特定するための定義、測定方法、解決策の概念を開発することです。
顧問団のメンバーには、ティモシー・ゴウアーズ（Timothy Gowers）、ラヴィ・ヴァキル（Ravi Vakil）、ジェフリー・アーヴィング（Jeffrey Irving）、ポール・クリスティアーノ（Paul Christiano）が含まれています。その中で、ゴウアーズとヴァキルは数学者であり、アーヴィングとクリスティアーノは長年にわたりAI安全研究に従事しています。MAISIはAlignment.orgおよびResolution.orgと協力していきます。
Zimmermanは今月、OpenAIの安全部門に参加しますが、MAISIはOpenAIとは独立して運営されると述べています。Critchは2025年にZimmermanと共に論文を執筆し、AIリスクが人類全体に脅威をもたらす状況について探求しました。AI安全に関する議論はこれまで主に政策、評価、実験に焦点を当てており、大規模に数学者を集めて理論的基盤に取り組む組織の設立はあまり見られません。Anthropicの整合科学責任者であるエヴァン・ハビンガー（Evan Hubinger）は同日、現在のところ超知能の整合問題を解決する方法は得られていないと述べました。