Xiaomiのロボティクス事業部は7月15日にXiaomi-Robotics-U0を正式に発表しました。これは380億のパラメータを持つマルチモーダル自己回帰生成基盤モデルであり、コードとモデルの重みが完全にオープンソース化されています。このモデルは、世界初の身体的領域において4つの主要生成タスクを統一的にカバーする基盤モデルであり、業界が長年抱えてきたモデルの断絶、シミュレーションデータの幾何的不一致、生成効率の低さという3つの痛点を根本的に解決しました。制御可能な大規模合成データ生成を通じて、ロボットの画像と動画データの生成と編集の全プロセスをつなぎ、身体知能が本格的にスケールデータ生成の新しい段階に入ったことを示しています。
プロジェクトの完全なリソースは公式ウェブサイト、GitHub、HuggingFace、魔搭コミュニティに同時に公開され、世界中の身体知能開発者に向けて利用可能です。
Xiaomiが提供するマルチモーダル自己回帰モデルが業界の痛点を解決
長い間、身体生成領域には明らかな技術的断絶の問題が存在していました。シーン生成、軌跡移動、インタラクティブ動画、画像編集にはそれぞれ独立したモデルを構築する必要があり、多フレームワークの運用コストが高く、データの相互運用ができず、大規模なロボット訓練データの増加を支えることが困難でした。Xiaomi-Robotics-U0は統一されたマルチモーダル自己回帰アーキテクチャを採用し、4つのタスクの統合処理を実現し、複数のモデルの切り替えを必要としません。このモデルの身体的シーン生成は、テキスト記述に基づいて特定のロボット本体に適合する多視点シミュレーションシーンを生成し、キッチン、倉庫、海底、サイバーシティなどの通常、極端、長尾環境をカバーしています。現在、原生的にArk Infinity、智元 G1/G2、松霊 PiPERの4種類のロボットハードウェアに対応しています。
身体的移動に関して、このモデルは機械アームの姿勢と元のシーンの軌跡レイアウトを保持しながら、照明、作業台、対象物体、背景スタイルを自由に変更し、実機データの低コスト強化を実現します。さらに、ロボットのインタラクティブ動画生成は、初期画面と操作指示に基づいて長時間のインタラクティブ動画を出力し、動作の一貫性と物理的力学の一致を両立し、仮想カメラのシミュレーション推演をサポートします。汎用的な文生図および画像編集において、このモデルはインターネットの視覚知識とロボットのタスクをつなぎ、任意の画像修正と複数の参照画像の複合編集をサポートします。
Xiaomi-Robotics-U0は評価で優れたパフォーマンスを発揮
一般的な文生モデルが画面の美しさを追求するのに対し、ロボットのシミュレーションデータは視点間の幾何学的整合性、物体の空間位置、機械アームの姿勢に厳格な精度を要求します。汎用モデルは物体のずれや空間の歪みが発生しやすく、ロボットの戦略訓練には使用できません。Xiaomiが独自に開発した五次元デカップリング構造制御パラダイムは、自然言語で5つの次元を独立して調整でき、単一の要素を変更しても全体の空間の一貫性を損なうことはありません。これには作業台のレイアウト、前景の操作物体、前景に無関係な雑物、照明条件、全体の背景が含まれます。この技術に基づき、モデルは多視点にマッチしたシミュレーション画面を安定して出力でき、移動後の画面は元のロボットの運動軌跡と完全に一致し、生成されたデータは直接下流のロボット戦略訓練に使用できます。
清華大学と北京大学が共同で開発したWorldArena身体動画評価基準において、Xiaomi-Robotics-U0（匿名コードUNIS）は総合スコアで1位を獲得し、指令遵守、インタラクションの真実性、多視点の一貫性の3つの細分指標すべてで1位となりました。このモデルは、連続したキャッチ、折りたたみ、梱包などの長時間のインタラクティブな画面を生成でき、背景の人物や物体は自然な動的論理を持ち、完全な物理と力学の常識を内蔵し、オープンワールド専用の身体シーケンス生成エンジンを形成しています。300件の難易度層別標準化テストサンプルの中で、Xiaomi-Robotics-U0は深度の一貫性、構造の保真、意味の整合性の3つのコア指標でGPT-Image-2.0を全面的にリードしました。
クローズドソースモデルは一般的に視点間の物体のずれや機械アームの姿勢のずれの問題を抱えており、生成結果は元のロボットの軌跡と一致しません。Xiaomi U0は空間のレイアウトと動作情報を完全に保持でき、業界初の安定して再利用可能なロボット拡張データを生成できる統一生成モデルです。チームは精密なヘッドフォン収納、タオルの折りたたみ、長距離物品の梱包という3つの典型的なロボットタスクに対して実機テストを行い、未知の照明、未知の背景、反射やカラーノイズなどのOOD（分布外）干渉環境下で、U0を使用して生成したデータで訓練セットを拡充した結果、ロボットの戦略タスクの完了進捗が平均26.3%向上しました。
極端な視覚干渉に直面しても、ロボットは運行の停止がなく、自主的な視覚補正能力を持ち、実際の複雑な環境下での一般化性能を大幅に向上させています。
従来の自己回帰（AR）モデルはトークンごとに高解像度の画像を生成するのに非常に長い時間がかかり、工程のバッチ生成効率を著しく制限していました。XiaomiはFlashAR +専用推論加速ソリューションを導入し、原生のFlashAR文生図加速に基づき、画像編集と身体移動の全シーンに適合し、vLLMページKVキャッシュ、対角並行デコードのバッチスケジューリング技術を追加しました。1024×1024解像度の単一画像生成の所要時間は450.77秒から5.44秒に短縮され、全体の生成効率は元の自己回帰アーキテクチャに対して82.9倍向上しました。原生的に複数の参照画像の複合編集をサポートし、生成画質と工業的なバッチ実装のニーズを両立させています。
モデルの底層はIBQ画像トークナイザーを採用し、画像とテキストのマルチモーダル表現空間を統一し、標準的なNext Token Predictionパラダイムを用いて共同訓練を完了し、汎用的な視覚知識とロボットの身体力学的制約を両立させています。