ジョージア工科大学の研究チームは、砂地、砕石、湿った草地、坂道、階段、滑りやすい表面を歩行できる人型ロボットのための全く新しい機械学習フレームワークを開発しました。このフレームワークは、コントローラーのトレーニングに必要な時間と計算能力を削減します。研究者たちは、彼らのアプローチを「学習指導」と呼び、人気のある教師-学生強化学習手法を改善し、逐次的なトレーニングではなく、2つのエージェントを同時にトレーニングすることで効率を向上させました。最終的な結果は、このコントローラーが未経験の地形にも対応でき、必要な計算リソースが少なくて済むことです。
このコントローラーは二足歩行ロボットでテストされ、一連の挑戦的な屋外および屋内の表面を成功裏に横断しました。チームはまた、実験中にロボットを押したり引いたりし、ロボットは安定性を保つために歩行を調整しました。この研究はIEEE国際ロボティクスおよび自動化会議（ICRA）で発表され、研究者たちは他のロボットやタスクに適応できるトレーニングフレームワークを説明しました。
研究チームが開発した機械学習フレームワークはロボットの歩行効率を大幅に向上させた
従来の教師-学生強化学習は、まず詳細なシミュレーションデータを持つ「教師」モデルを作成することに依存しています。教師モデルが完全にトレーニングされた後、それはリアルなロボットを制御する「学生」モデルに知識を伝えます。主任研究員のウー・フェイヤンによれば、このプロセスには2つの主要な欠点があります。「この方法には2つの問題があります。まず、順次トレーニングには過剰な時間がかかります。次に、教師が収集した情報が多く無駄になります。」シミュレーションでロボットコントローラーをトレーニングするためには、高価なGPUハードウェアで数時間の計算が必要になることがあり、このプロセスは時間もコストもかかります。
ジョージア工科大学のチームは、教師がタスクを習得するのを待つのではなく、教師と学生を同時にトレーニングすることを選びました。教師が段階的に学ぶにつれて、すぐに学生に知識を伝え始め、トレーニングプロセスを大幅に短縮しました。ウーは「教師が専門家になるのを待つ必要はなく、教師はプロセスの中で学んだ知識を段階的に学生に教えることができます。」と述べています。
研究者たちはまた、教師が学生の経験から学ぶことを許可しました。これにより、ロボット科学者が呼ぶ「教師-学生模倣ギャップ」が減少します。つまり、学生が直面する状況が教師の理想的なシミュレーションと異なるということです。新しいコントローラーは副教授のチャオ・イエの研究室でフルサイズの人型ロボットに展開されました。このロボットは、異なる環境に対して個別のコントローラーに依存せず、粗い屋外地形や滑りやすい屋内表面をナビゲートすることができます。ウーは、チームは同じコントローラーがさまざまな条件でこれほど優れた性能を発揮するとは予想していなかったと述べています。「このような重くて非常に高価な人型ロボットが、これほど厳しい地形で柔軟に歩行できることはまだ証明されていません。ある程度、私たちの非常に効果的なトレーニング方法は、さまざまな地形や環境で機能することができます。」
チャオは、このコントローラーがロボット製造業者が提供するソフトウェアを超えていることを示し、機械学習研究と現実のロボット技術を組み合わせる価値を示しています。人型歩行に加えて、研究者たちは「学習指導」フレームワークが予測不可能な環境で信頼性のある動作を必要とする他のロボット設計やタスクに適用できると信じています。この研究はIEEE国際ロボティクスおよび自動化会議で発表されました。