マサチューセッツ工科大学の研究者たちは、人工知能を駆使したシステムを開発し、リアルな3D室内環境を自動的に生成してロボットのトレーニングデータを作成できるようにしました。このプラットフォームはSceneSmithと呼ばれ、3つの協力するAIエージェントを使用して、キッチン、ホテル、リビングルームなどの詳細な仮想空間を構築します。物体、壁、部屋のレイアウトを配置することで実現されています。これらのデジタル環境は、ロボットが日常的なタスクを安全に練習し、さまざまな戦略をテストし、実世界での運用前にスキルを向上させることを可能にします。チームによると、この新しいモデルは高額な実体トレーニングの必要性を減らし、より能力が高く適応性のあるロボットシステムの開発を加速するのに役立つとのことです。
SceneSmithシステムはロボットトレーニングを支援する仮想環境を自動生成
MITのSceneSmithは、リアルな3D室内環境を作成し、ロボットが実際に運用する前に安全に日常的なタスクを学び、練習できるAIシステムです。ロボット技術が直面する最大の課題の1つは、十分なトレーニングデータを収集することです。テキストベースの学習を行うAIチャットボットとは異なり、ロボットはさまざまな環境で物理的な物体と相互作用する経験が必要です。現実世界でロボットを教えることは時間がかかり高価であり、数え切れないほどの人間の監督が必要です。SceneSmithは、リアルなキッチン、寝室、ホテル、レストラン、オフィス、ガレージに似た詳細な仮想環境を自動的に構築することでこの問題を解決します。
チームの声明によれば、ロボットはこれらのデジタル世界でトレーニングを行い、タスクを完了するためのさまざまな方法をテストすることができ、実体実験のコストやリスクを伴わずに済みます。
このシステムは3つの協力するAIエージェントに依存しています。最初のエージェントはデザイナーと呼ばれ、部屋のレイアウトを作成し、家具や他の物体を配置します。2番目はレビュアーで、シーンがリアルかどうかをチェックし、特定の部屋に属さない物体を取り除くなどの改善提案を行います。3番目はコーディネーターで、全体のプロセスを管理し、デザインが完成したか、さらなる修正が必要かを決定します。これらのAIエージェントは、OpenAIのGPT-5.2視覚-言語モデルを使用しており、このモデルは大量のテキストと画像から学習しており、システムが現実の室内空間のレイアウトや日常的な物体の典型的な配置方法を理解できるようにしています。
ユーザーは自然言語で部屋を簡単に説明できます。たとえば、「車、作業台、積み重ねられたタイヤ、壁に寄りかかる梯子のあるガレージ」と要求することで、SceneSmithはその空間の詳細な仮想バージョンを生成できます。
研究はSceneSmithがよりリアルなトレーニング環境を提供することを示す
従来のシステムと比較して、シーンには最大6倍のインタラクティブな物体が含まれており、ロボットにより多くの学習機会を提供します。研究者たちはSceneSmithを使用して、リアルな住宅、オフィス、店舗、テーマ空間を含む1,300以上の仮想環境を生成しました。ロボットは、果物を皿に置く、棚とテーブルの間でソーダ缶を移動する、キャビネットを開ける、カップをシンクに置くなどの一般的な家事タスクを練習します。システムを評価するために、研究者たちは100の異なるSceneSmith環境でロボット制御プログラムをテストしました。
1つのAIエージェントが各ロボットが割り当てられたタスクを完了したかどうかを評価します。人間のレビュアーとAIの評価が一致する割合は99％を超えています。チームはまた、主に現実世界のデータでトレーニングされたロボットコントローラーをテストしました。SceneSmith環境に出会ったことはありませんが、ボウルからリンゴを取り出してまな板に置くといったタスクを完了することができました。
研究者たちはまた、仮想環境内でロボットをリモート操作し、キャビネットを開けたり、ボトルを収納したり、部屋間をナビゲートしたりして、これらのシーンが現実の物理的相互作用をサポートできることを示しました。200人以上のユーザーを対象とした研究では、90％以上の参加者がSceneSmithの環境が従来の方法で作成されたものよりもリアルであると評価しました。また、このシステムは書面による指示に従う能力が高いことも発見されました。SceneSmithは新しい3Dオブジェクトを生成し、それらに現実的な物理特性（重量、摩擦、運動など）を割り当てることもできます。
ただし、高度に詳細なシーンを作成するには現在数時間かかる可能性があり、AIが各物体とレイアウトを慎重に審査するためです。研究者たちは、計算速度の向上とより大きな3Dオブジェクトライブラリの出現により、性能が大幅に改善され、ロボットが現実世界のアプリケーションに必要な豊富なトレーニングデータを獲得できると信じています。