油圧ショベル — 掘削の学習
50 t クラスの油圧ショベルが VeloxSim で掘削を学習します。練習の場は当社の NDEM 粒状体シミュレーションで、土がバケットと油圧系を押し返します。220 回の練習掘削、GPU 1 枚で約 7 分の学習の後、一度も練習していない地盤で、バケットの積載量は 2.6 t から 4.3 t に増えました。
小さなニューラルネットワークが、強化学習(TD3)によって油圧ショベルの固定掘削計画に対する補正を学習します。手がかりは各掘削のスコアだけです:バケットの積載量から、油圧がリリーフ圧に達していた時間と消費エネルギーに応じたペナルティを差し引いたものです。ネットワークに与えるのは、シリンダのストロークや圧力など実機で計測できる情報だけで、地面の高さは与えません。学習前は出力がほぼゼロなので、機械は計画どおりに動きます。練習掘削の 1 回 1 回が NDEM でシミュレーションした完全な掘削で、220 回の学習には RTX 5090 1 枚で約 7 分かかりました。
動画の地盤は掘削計画の想定より 0.44 m 低く、ネットワークが練習したどの地盤よりも低くなっています。計画どおりの掘削では 2.6 t しか積めません。120 回の練習後は 2.1 t と計画を下回り、220 回の練習後は 4.3 t を積み込みます。
グリッドでは、この学習で保存した 12 個のチェックポイントすべてを、同じ地盤で並べて再生しています。練習 20 回ごとに 1 つ、練習回数の少ない順です。進歩は一様ではありません:練習 40 回では 0.9 t、80 回では 4.3 t を積みましたが、油圧が 3 秒以上リリーフ状態になりました。1 回の積載量が最も多かったのは 200 回時点の 4.4 t ですが、スコアは 220 回時点が 12 個の中で最も高くなっています:200 回時点よりエネルギー消費が 7% 少なく、リリーフ時間も短く、1 MJ あたり 4.2 t と、どのチェックポイントよりもエネルギーあたりの積載量が多くなっています。
掘削ショットは 2.5 倍速で再生しており、粒子径は 80 mm、Isaac Sim で描画しています。画面上の積載量はリアルタイムの計数値で、材料がバケットに押し込まれる間は高めに表示され、持ち上げ時にばらの粒子がこぼれ落ちると落ち着きます。本文の数値は各掘削の最終結果です。粒子には汎用の材料パラメータを用いており、キャリブレーションは行っていません。
ソルバー:NDEM(当社のリアルタイム粒状体エンジン)
シミュレーション設定
- 機械
- 50 t クラスの油圧ショベル。小さなニューラルネットワークが固定掘削計画に補正を加える
- 学習
- 強化学習(TD3)。各掘削のスコアだけを手がかりに 1 回の学習
- 地盤
- 掘削計画の想定より 0.44 m 低く、どの練習地盤よりも低い
シミュレーション結果
- 学習前
- 2.6 t(固定掘削計画)
- 練習 120 回
- 2.1 t
- 練習 220 回
- 4.3 t、スコア最高、学習約 7 分
いずれもシミュレーション結果であり、実機での測定値ではありません。材料パラメータは未キャリブレーションです。
粒状体シミュレーションに取り組むロボティクスチームの方へ
掘る・積む・ばら物を運ぶロボットを開発しているなら、形状データやシナリオをお送りください。NDEM によるシミュレーション結果をご紹介します。リアルタイムで動き、実際の材料に合わせて材料パラメータをキャリブレーションできます。