研究者たちは、遠隔操作、ビデオ、テキスト、音楽などのさまざまな入力を受け入れるために、ヒューマノイドロボットを制御するための大規模なフレームワークを設計しました。このシステムはSONICと呼ばれ、ロボットが自然な全身運動を実行できるようにし、走る、跳ぶ、つかむ、さまざまな動作間をスムーズに移行することができます。多くの既存の専用コントローラーとは異なり、SONICは幅広い動作をサポートするように設計されており、単一の戦略を通じて実現されます。NVIDIAの研究チームは、シミュレーションと実際のヒューマノイドロボットでこのフレームワークをデモンストレーションし、さまざまな動作や日常的なタスクを実行する能力を示しました。
SONICフレームワークがヒューマノイドロボットの運動能力を向上
SONICは、運動追跡に基づく大規模なヒューマノイド制御フレームワークであり、自然な全身ロボット運動を生成します。さまざまな個別のスキルのために独立したコントローラーを訓練するのとは異なり、SONICは1億を超える運動フレームで訓練を行う単一の戦略を使用し、ヒューマノイドロボットが多様な動作を再現できるようにし、訓練プロセス中に見たことのない動作に対する一般化能力を向上させます。このシステムは、ヒューマノイドロボット技術の主要な制限の1つを解決します。既存の制御戦略は通常、特定のタスクのために設計された比較的小さなニューラルネットワークであり、新しい行動はしばしば個別のエンジニアリング目標と訓練を必要とします。
SONICは、運動追跡を拡張可能な学習問題と見なし、人間の運動データから密な逐次監視を使用して、一貫した訓練信号を提供し、多様な行動をカバーします。
研究者たちは、SONICを3つの次元で拡張しました：訓練データ、モデル容量、計算能力。訓練データセットは、約700時間のモーションキャプチャデータからの1億を超えるフレームを含み、最大のモデルは4200万のパラメータを含んでいます。訓練プロセスでは、最大128のGPUと約21,000時間のGPU時間を使用し、実験はデータ、モデルサイズ、計算能力の増加に伴い、追跡と一般化の効果が段階的に向上することを示しました。SONICのコアコンポーネントの1つは、その汎用マーカー空間であり、異なるタイプの運動入力を共有表現に変換することを可能にします。
専用のエンコーダーは、ロボットの運動、人間の運動、混合コマンドを処理し、それを量子化されたマーカーに変換し、共通のロボット制御デコーダーに入力します。このアーキテクチャにより、同じ制御戦略が運動追跡を仮想現実の遠隔操作、ビデオベースの制御、テキストコマンド、音楽駆動の運動生成、視覚-言語-動作モデルと接続することができます。
チームは声明の中で、「私たちはSONICが実用的な基盤として機能し、より高次の知覚と推論を構築し、汎用ヒューマノイドの自律性を進めることを期待しています。」と述べました。このフレームワークには、キーフレーム間の短い運動スニペットを生成するリアルタイム運動プランナーも含まれています。このプランナーは、受信したコマンドに基づいて継続的に再計画を行い、方向、速度、運動スタイルの相互変化を可能にし、基盤政策を再訓練することなく実現します。これにより、SONICは高次の運動意図を持続的な全身運動に変換する制御層を持つことができます。
SONICのマルチモーダル制御における応用
マルチモーダル制御において、SONICはビデオ、人間の運動から生成された自然言語コマンド、または音楽からの運動を受け取り、これらの動作をその追跡戦略に入力します。ビデオ入力は、事前録画されたクリップまたはリアルタイムのカメラストリームから取得でき、テキストプロンプトは歩行やキックなどの動作を指定できます。音楽に基づく制御は、リズムやメロディ情報からダンス動作を生成することができ、このシステムは異なる入力モード間での移行を行うことができます。研究者たちはUnitree G1ヒューマノイドロボットにSONICを展開し、現実世界で多様な動作を追跡する能力を示しました。
このシステムは、123の現実世界の動作シーケンスで99.2%の成功率を達成し、シミュレーションでは100%を記録し、シミュレーションと現実の性能差が比較的小さいことを示しています。
SONICはまた、その汎用マーカーインターフェースを通じて視覚-言語-動作モデルに接続されています。5つの全身タスクにおいて、このシステムの平均成功率は75%に達し、物体の拾い上げ、足でペダルを使ってゴミ箱を開けること、手と足の動作を調整して飲料缶をゴミ箱に入れることを含みます。研究者たちは、この共有された動作表現が、歩行と操作を別々の問題として捉えるのではなく、より高次の人工知能システムが全体のヒューマノイドロボットをより簡単に制御できるようにする可能性があると考えています。