NDEM

油圧ショベル — 掘削の学習

50 t クラスの油圧ショベルが VeloxSim で掘削を学習します。練習の場は当社の NDEM 粒状体シミュレーションで、土がバケットと油圧系を押し返します。220 回の練習掘削、GPU 1 枚で約 7 分の学習の後、一度も練習していない地盤で、バケットの積載量は 2.6 t から 4.3 t に増えました。

小さなニューラルネットワークが、強化学習(TD3)によって油圧ショベルの固定掘削計画に対する補正を学習します。手がかりは各掘削のスコアだけです:バケットの積載量から、油圧がリリーフ圧に達していた時間と消費エネルギーに応じたペナルティを差し引いたものです。ネットワークに与えるのは、シリンダのストロークや圧力など実機で計測できる情報だけで、地面の高さは与えません。学習前は出力がほぼゼロなので、機械は計画どおりに動きます。練習掘削の 1 回 1 回が NDEM でシミュレーションした完全な掘削で、220 回の学習には RTX 5090 1 枚で約 7 分かかりました。

動画の地盤は掘削計画の想定より 0.44 m 低く、ネットワークが練習したどの地盤よりも低くなっています。計画どおりの掘削では 2.6 t しか積めません。120 回の練習後は 2.1 t と計画を下回り、220 回の練習後は 4.3 t を積み込みます。

グリッドでは、この学習で保存した 12 個のチェックポイントすべてを、同じ地盤で並べて再生しています。練習 20 回ごとに 1 つ、練習回数の少ない順です。進歩は一様ではありません:練習 40 回では 0.9 t、80 回では 4.3 t を積みましたが、油圧が 3 秒以上リリーフ状態になりました。1 回の積載量が最も多かったのは 200 回時点の 4.4 t ですが、スコアは 220 回時点が 12 個の中で最も高くなっています:200 回時点よりエネルギー消費が 7% 少なく、リリーフ時間も短く、1 MJ あたり 4.2 t と、どのチェックポイントよりもエネルギーあたりの積載量が多くなっています。

掘削ショットは 2.5 倍速で再生しており、粒子径は 80 mm、Isaac Sim で描画しています。画面上の積載量はリアルタイムの計数値で、材料がバケットに押し込まれる間は高めに表示され、持ち上げ時にばらの粒子がこぼれ落ちると落ち着きます。本文の数値は各掘削の最終結果です。粒子には汎用の材料パラメータを用いており、キャリブレーションは行っていません。

ソルバー:NDEM(当社のリアルタイム粒状体エンジン)

シミュレーション設定

機械
50 t クラスの油圧ショベル。小さなニューラルネットワークが固定掘削計画に補正を加える
学習
強化学習(TD3)。各掘削のスコアだけを手がかりに 1 回の学習
地盤
掘削計画の想定より 0.44 m 低く、どの練習地盤よりも低い

シミュレーション結果

学習前
2.6 t(固定掘削計画)
練習 120 回
2.1 t
練習 220 回
4.3 t、スコア最高、学習約 7 分

いずれもシミュレーション結果であり、実機での測定値ではありません。材料パラメータは未キャリブレーションです。

すべてのデモ

粒状体シミュレーションに取り組むロボティクスチームの方へ

掘る・積む・ばら物を運ぶロボットを開発しているなら、形状データやシナリオをお送りください。NDEM によるシミュレーション結果をご紹介します。リアルタイムで動き、実際の材料に合わせて材料パラメータをキャリブレーションできます。