Xiaomi技術公式は7月16日に、具身基座モデルXiaomi-Robotics-1を正式に発表しました。このモデルは、10万時間の実世界の操作軌跡データを基に事前訓練され、異なる本体データを組み合わせて後訓練を行い、未知の実環境でロボットタスクを実行する際の安定したスケールメリットを示しています。また、複雑な新しいタスクへの適応や複数のシミュレーションベンチマークテストにおいて、Xiaomi-Robotics-1は優れた性能を発揮しました。
Xiaomiは、ロボット分野における大規模言語モデルのスケーリング法則が戦略モデルにも適用できるかどうかが未解決の問題であると紹介しています。ロボット学習は、視覚と言語指示を理解するだけでなく、実際の物理世界で具体的な動作を実行する必要があります。しかし、実際のロボットデータの取得は特定のハードウェア、実環境、人工的な遠隔操作に大きく依存しており、コストが高く、スケールが限られています。今回発表されたXiaomi-Robotics-1は、この重要な問題に対して体系的な探求を行っています。
Xiaomi-Robotics-1のロボット学習分野における画期的な進展
データスケールのボトルネックを解決するために、チームは事前訓練段階で10万時間の実世界の操作軌跡を使用しました。これらのデータは、一般的な操作インターフェースデバイスを通じて収集され、家庭、商業空間、工業シーン、オフィス、屋外などのさまざまな環境をカバーし、多くの物体の相互作用や操作行動を含んでいます。このデータ収集方法の利点は、特定のロボット本体に依存せず、実世界での操作プロセスを効率的に取得できることです。
このような大規模なデータに対処するために、チームはスケーラブルな自動ラベリングプロセスを構築し、長い軌跡を固定長のセグメントに分割し、視覚言語モデルを使用してクロー状態の変化や相互作用する物体の状態変化を記述しました。全体のラベリングプロセスは約2週間で完了します。Xiaomi-Robotics-1は、事前訓練と後訓練の2段階のパラダイムを採用しています。事前訓練段階では、モデルは現在の視覚観察と言語記述から動作シーケンスを生成する一般的な能力を学び、シーンの状態を目標状態に変化させます。
後訓練段階では、本体の整合性と指示の整合性の2つの問題を重点的に解決し、事前訓練で得られた能力を実際のロボット本体に移転し、状態変化の記述に基づいて動作を生成する能力を、人間の自然言語指示に基づいてタスクを実行する能力に変換します。そのために、チームは約10000時間のクロスボディ後訓練データを構築し、その中には7200時間以上の移動操作ロボットと二腕ロボットのデータ、さらには複数の公開ロボットデータセットが含まれています。
実験結果は、事前訓練データのスケールが2500時間から20000時間に拡大するにつれて、モデルの検証セットにおける動作予測損失が継続的に低下し、過剰適合のリスクが減少し、訓練プロセスがより安定することを示しています。また、2B、5B、10Bの3つのパラメータスケールの比較において、より大きなサイズのモデルも継続的な性能改善を示しました。実際のロボット評価は、靴棚の収納、バックパックの梱包、デスクの整理、ソファの片付けなどのタスクを含み、事前訓練段階で優れた性能を示したモデルが、後訓練後の実際のタスク実行でもより高い成功率を達成したことが示されています。
複雑な新しいタスクへの適応において、モデルは少量の下流の実際のロボットデータで効率的に微調整を実現し、各タスクの平均訓練データが10時間未満である場合でも、成功率は比較ベースラインのPi-0.5を大幅に上回りました。さらに、RoboCasa365、RoboDojo、VLABenchなどの複数の公開シミュレーションベンチマークにおいて、Xiaomi-Robotics-1はトップの座を獲得または最良の成績を収めました。Xiaomiは、このモデルのコードと重みが順次公開される予定であり、プロジェクトのホームページも同時にオンラインになったと述べています。