研究者たちは、異なる機械や環境におけるロボットナビゲーションシステムのトレーニングプロセスを簡素化するために、人工知能エージェントに基づくソリューションを開発しました。NVIDIAの新しいフレームワークはCOMPASSと呼ばれ、ロボット、シーン、または操作条件が変更された際にナビゲーション戦略を適応させるために必要な時間と労力を削減することを目的としています。このシステムは、人工知能エージェント、シミュレーション、強化学習、自動テストを組み合わせて、開発プロセスを簡素化します。研究者たちは四足ロボットを使用してこのソリューションを示し、重要な意思決定ポイントで人間の関与を維持しながらナビゲーショントレーニングと評価をサポートできることを示しました。
COMPASS（Cross-Embodiment Mobility Policy via Residual RL and Skill Synthesis）は、事前トレーニングされたナビゲーションモデルと強化学習、人工知能エージェントを組み合わせて、各ロボットや環境のためにナビゲーションシステムを再構築することなくロボットの行動に適応させます。ロボットナビゲーションは、単に機械を移動させるよりもはるかに複雑です。ナビゲーションロボットは、周囲の環境を理解し、自身の位置を特定し、経路を選択し、障害物を避け、安全に目標に到達する必要があります。
ロボットや環境が変更されると、開発者は通常、新しいデータ、シミュレーション環境、ソフトウェアインターフェース、トレーニング、テストを必要とします。このプロセスを繰り返すことは時間がかかり、再現が難しい場合があります。COMPASSはこの作業負担を軽減することを目指しています。
COMPASSは、ナビゲーションシステムをゼロからトレーニングするのではなく、NVIDIAの事前トレーニングされたX-Mobilityポリシーに基づいて、強化学習を利用して特定のロボットと環境のために専門家をトレーニングします。この専門家は、目標ロボットの物理的特性や周囲の環境をより良く処理するために、既存のポリシーを修正することを学びます。研究者たちは、人工知能エージェントを使用して開発プロセスの大部分を自動化しました。開発者はロボット、環境、ナビゲーション目標を指定でき、エージェントはソフトウェアの依存関係をチェックし、シミュレーション資産を準備し、初期テストを実行し、トレーニングを開始し、失敗を調査し、トレーニングモデルを比較します。
人間の承認は依然としてプロセスの一部であり、開発者はシーンが準備できているか、初期テストが成功したか、特定のトレーニングモデルを向上させるべきかを決定する必要があります。
この参照ワークフローは、Boston DynamicsのSpot四足ロボットを使用しています。開発者は、内蔵の倉庫環境から始めることができ、これによりより複雑な設定に入る前にシステムをテストすることが容易になります。COMPASSは、NVIDIAのSAGE-10Kデータセットに含まれるシーンも使用でき、このデータセットには10,000の生成された屋内環境が含まれ、50種類の部屋タイプをカバーしています。実際の位置に高度に類似した環境が必要な場合、このワークフローはNVIDIA Omniverse NuRecを使用してキャプチャされた空間を再構築し、シミュレーションに使用します。
これにより、開発者はロボットの最終的な運用環境に近い環境でナビゲーション戦略をテストおよび微調整できます。
トレーニングは小規模なスモークテストから始まり、ロボット、環境、カメラ、制御システムが正しく協調して動作することを確認します。一度承認されると、より大規模な強化学習の実行を開始できます。システムはトレーニングプロセス中にチェックポイントを保存し、開発者が異なるバージョンを比較できるようにし、自動的に最終モデルを選択することはありません。研究者たちは、ロボットが目標に到達する速度、転倒の頻度、経路を完了するのにかかる時間などの指標を通じてトレーニング戦略を評価します。事前トレーニングされたナビゲーション戦略と新しくトレーニングされたバージョンは、適応がパフォーマンスを改善したかどうかを確認するために同じ条件下でテストされます。
モデルが承認されると、それをロボットの実行時システムに接続できます。このポリシーは、カメラ画像、オドメトリ、ナビゲーション目標を使用して運動指令を生成できます。NVIDIAのcuVSLAMは、ロボットが適切な位置情報や運動情報を持たない場合に、選択的に視覚オドメトリを提供できます。このアプローチは、異なるロボットや環境におけるナビゲーションシステムに適応するための、より再現性のある方法を提供する可能性があり、重要な開発および安全決定における人間の監視を維持します。