シャオミ技術は7月16日に、ボディベースモデルXiaomi-Robotics-1を正式に発表しました。このモデルは、10万時間の実世界の操作軌跡データに基づいて事前訓練され、異なる本体データを組み合わせて後訓練を行い、未知の実環境でロボットタスクを実行する際の安定したスケーラブルな利益を示しています。同時に、複雑な新しいタスクへの適応や複数のシミュレーションベンチマークテストにおいて、Xiaomi-Robotics-1は優れた性能を発揮しました。
シャオミは、ロボット分野における大規模言語モデルのスケーリング法則が戦略モデルにも適用できるかどうかが未解決の問題であると紹介しています。ロボット学習は、視覚と言語指示を理解するだけでなく、実際の物理世界で具体的な動作を実行する必要があります。しかし、実際のロボットデータの取得は特定のハードウェア、実環境、人工的な遠隔操作に大きく依存しており、これによりコストが高く、スケールが制限されます。今回発表されたXiaomi-Robotics-1は、この重要な問題に対して体系的な探求を行いました。
Xiaomi-Robotics-1のロボット学習分野における画期的な進展
データ規模のボトルネックを解決するために、チームは事前訓練段階で10万時間の実世界の操作軌跡を使用しました。これらのデータは汎用操作インターフェースデバイスを通じて収集され、家庭、商業空間、工業シーン、オフィス、屋外など多様な環境をカバーし、多くの物体の相互作用や操作行動を含んでいます。このデータ収集方法の利点は、特定のロボット本体に依存せず、実世界での操作プロセスを効率的に取得できることです。
このような大規模なデータに対処するために、チームはスケーラブルな自動ラベリングプロセスを構築し、長い軌跡を固定長のセグメントに分割し、視覚言語モデルを使用してクランプの状態変化と相互作用する物体の状態変化を記述しました。全体のラベリングプロセスは約2週間で完了します。Xiaomi-Robotics-1は、事前訓練と後訓練の2段階のパラダイムを採用しています。事前訓練段階では、モデルは現在の視覚観察と言語記述から動作シーケンスを生成する一般的な能力を学び、シーンの状態を目標状態に変化させます。
後訓練段階では、主に本体の整合性と指示の整合性の2つの問題を解決し、事前訓練で得られた能力を実際のロボット本体に移転し、状態変化の記述に基づいて動作を生成する能力を、人間の自然言語指示に基づいてタスクを実行する能力に変換します。そのために、チームは約10,000時間の異なる本体の後訓練データを構築しました。これには、7,200時間以上の移動操作ロボットと二腕ロボットのデータ、さらに複数の公開ロボットデータセットが含まれています。
実験結果は、事前訓練データの規模が2,500時間から20,000時間に拡大するにつれて、モデルの検証セットにおける動作予測損失が継続的に減少し、過剰適合のリスクが低下し、訓練プロセスがより安定することを示しています。同時に、2B、5B、10Bの3つのパラメータ規模の比較において、より大きなサイズのモデルも持続的な性能改善を示しました。実際のロボット評価は、靴棚の収納、バックパックの梱包、デスクの整理、ソファの片付けなどのタスクを含み、結果は事前訓練段階でより良い性能を示したモデルが後訓練後の実際のタスク実行でもより高い成功率を達成したことを示しています。
複雑な新しいタスクへの適応において、モデルは少量の下流の実際のロボットデータで効率的な微調整を実現し、各タスクの平均訓練データが10時間未満の場合でも、成功率は比較ベースラインのPi-0.5を大幅に上回りました。また、RoboCasa365、RoboDojo、VLABenchなどの複数の公開シミュレーションベンチマークにおいて、Xiaomi-Robotics-1は首位に立つか、最高の成績を収めました。シャオミ側は、このモデルのコードと重みが順次公開される予定で、プロジェクトのホームページも同時にオンラインになっています。