Xiaomiのロボティクス事業部は7月15日にXiaomi-Robotics-U0を正式に発表しました。これは380億のパラメータを持つマルチモーダル自己回帰生成基盤モデルであり、コードとモデルの重みが完全にオープンソース化されています。このモデルは、世界初の身体性分野における4つの主要生成タスクを統一的にカバーする基盤モデルであり、業界が長年抱えていたモデルの断絶、シミュレーションデータの幾何的不一致、生成効率の低下という3つの痛点を根本的に解決しました。制御可能な大規模合成データ生成を通じて、ロボットの画像と動画データ生成および編集の全プロセスをつなぎ、身体知能が本格的にスケールデータ生成の新しい段階に入ることを示しています。
プロジェクトの完全なリソースは、公式ウェブサイト、GitHub、HuggingFace、魔搭コミュニティに同時に公開され、世界中の身体知能開発者に利用可能です。
Xiaomiが提供するマルチモーダル自己回帰モデルが業界の痛点を解決
長年にわたり、身体生成分野には明らかな技術的断絶問題が存在しました。シーン生成、軌跡移動、インタラクティブ動画、画像編集はそれぞれ独立したモデルを構築する必要があり、多フレームワークの運用コストが高く、データの相互運用ができず、大規模なロボット訓練データの拡張を支えることが困難でした。Xiaomi-Robotics-U0は統一されたマルチモーダル自己回帰アーキテクチャを採用し、4つのタスクの統合処理を実現し、複数のモデルの切り替えを必要としません。このモデルの身体的シーン生成は、テキスト記述に基づいて指定されたロボット本体に適応した多視点シミュレーションシーンを生成し、キッチン、倉庫、海底、サイボーグ都市などの通常、極端、ロングテール環境をカバーしており、現在はArk Infinity、ZhiYuan G1/G2、SongLing PiPERの4種類のロボットハードウェアにネイティブに対応しています。
身体移動に関しては、このモデルは機械アームの姿勢と元のシーンの軌跡レイアウトを保持したまま、照明、作業台、対象物体、背景スタイルを自由に変更し、実機データの低コスト強化を実現します。また、ロボットのインタラクティブ動画生成は、初期画面と操作指示に基づいて長時間のインタラクティブ動画を出力し、動作の一貫性と物理的力学の整合性を兼ね備え、仮想カメラのシミュレーション推演をサポートします。汎用のテキストから画像生成および画像編集において、このモデルはインターネットの視覚知識とロボットタスクを結びつけ、任意の画像変更と複数の参照画像の複合編集をサポートします。
Xiaomi-Robotics-U0は評価で優れたパフォーマンスを発揮
汎用のテキスト生成モデルが画面の美しさを追求するのに対し、ロボットのシミュレーションデータは視点間の幾何学的整合性、物体の空間位置、機械アームの姿勢に厳格な精度を要求します。汎用モデルは物体のずれや空間の歪みが発生しやすく、ロボットの戦略訓練には使用できません。Xiaomiが独自に開発した5次元デカップリング構造化制御パラダイムは、自然言語で5つの次元を独立して調整でき、単一の要素を変更しても全体の空間の整合性を損なうことはありません。これには作業台のレイアウト、前景の操作物体、前景に無関係な雑物、照明条件、全体の背景が含まれます。この技術に基づき、モデルは多視点にマッチしたシミュレーション画面を安定して出力でき、移動後の画面は元のロボットの運動軌跡と完全に一致し、生成されたデータは直接下流のロボット戦略訓練に使用できます。
清華大学と北京大学が共同で構築したWorldArena身体動画評価基準において、Xiaomi-Robotics-U0（匿名コードUNIS）は総合スコアで首位を獲得し、指示遵守、インタラクションのリアリティ、多視点の整合性の3つの細分指標すべてで1位となりました。このモデルは、一貫したキャッチ、折りたたみ、梱包などの長時間のインタラクティブ画面を生成でき、背景の人物や物体は自然な動的論理を持ち、完全な物理および力学の常識を内蔵し、オープンワールド専用の身体シーケンス生成エンジンを形成します。300件の難易度層別標準化テストサンプルにおいて、Xiaomi-Robotics-U0は深さの整合性、構造の忠実性、意味の整合性の3つのコア指標でGPT-Image-2.0を全面的にリードしました。
クローズドソースモデルは一般的に視点間の物体のずれや機械アームの姿勢の不整合の問題を抱えており、生成結果は元のロボットの軌跡と一致しません。Xiaomi U0は空間のレイアウトと動作情報を完全に保持でき、業界初の安定して再利用可能なロボット拡張データを生成できる統一生成モデルです。チームは精密なイヤフォン収納、タオル折りたたみ、長距離物品梱包の3つの典型的なロボットタスクに対して実機テストを行い、未知の照明、未知の背景、反射およびカラーノイズなどのOOD（分布外）干渉環境下で、U0を使用して生成したデータで訓練セットを拡張した結果、ロボット戦略タスクの完了進捗が平均26.3%向上しました。
極端な視覚干渉に直面しても、ロボットは運行が停止することなく、自主的な視覚補正能力を持ち、実際の複雑な環境下での一般化性能を大幅に向上させます。
従来の自己回帰（AR）モデルによるトークン生成で高解像度画像を生成するのは非常に時間がかかり、エンジニアリングのバッチ生成効率を大きく制限していました。小米はFlashAR + 専用推論加速ソリューションを発表し、ネイティブFlashARによる画像生成の加速を基盤に、画像編集や具現移行の全シーンに適応し、vLLMページKVキャッシュ、対角並列デコードバッチスケジューリング技術を重ね合わせました：1024×1024解像度の単一画像生成の時間を450.77秒から5.44秒に圧縮し、全体の生成効率は元の自己回帰アーキテクチャに比べ82.9倍向上しました；ネイティブで複数の参照画像の複合編集をサポートし、生成画質と工業的なバッチ実装のニーズを両立させています。
モデルの底層にはIBQ画像トークナイザーを採用し、画像とテキストの多モーダル表現空間を統一し、標準的なNext Token Predictionパラダイムを用いて共同訓練を実施し、一般的な視覚知識とロボットの具現力学的制約を両立させています。