液压挖掘机 — 学习挖掘
一台 50 吨级挖掘机在 VeloxSim 中学习挖掘。它在我们的 NDEM 颗粒仿真中练习,土壤会对铲斗和液压系统产生反作用力。经过 220 次练习挖掘(在单块 GPU 上训练约 7 分钟),它在一个从未练习过的料床上,铲斗装载量从 2.6 吨提高到 4.3 吨。
一个小型神经网络通过强化学习(TD3)学习对挖掘机固定挖掘方案的修正,只依据每次挖掘的得分:铲斗装载量,减去液压系统处于溢流压力的时间和能耗的罚分。它只获得实际机器能测量的信息,例如油缸行程和压力,而不知道地面高度。未训练时,网络输出接近于零,机器就按原方案作业。每次练习挖掘都是在 NDEM 中仿真的完整挖掘,220 次在一块 NVIDIA RTX 5090 上共用了约 7 分钟训练时间。
视频中的料床比挖掘方案预期的低 0.44 米,也低于网络练习过的任何地面。按原方案只能装载 2.6 吨;练习 120 次后,网络装载 2.1 吨,还不如原方案;练习 220 次后,装载 4.3 吨。
网格画面在同一料床上并排回放这次训练保存的全部 12 个检查点,每 20 次练习一个,练习次数少的在前。进步并不平稳:练习 40 次时,网络只装载 0.9 吨;练习 80 次时装载 4.3 吨,但液压系统处于溢流状态超过 3 秒。单次装载最多的是练习 200 次时的 4.4 吨,但练习 220 次的这一铲在 12 个检查点中得分最高:能耗比练习 200 次时少 7%,溢流时间也更短;每兆焦装载 4.2 吨,是所有检查点中单位能耗装载量最高的。
挖掘镜头以 2.5 倍速播放,颗粒直径 80 mm,在 Isaac Sim 中渲染。画面上的装载量是实时读数:物料被推入铲斗时读数偏高,提升时松散的颗粒滑落后才稳定下来;上文数字为每次挖掘的最终结果。颗粒采用通用物料参数,未做标定。
本演示使用 NDEM(我们的实时颗粒引擎) 仿真。
仿真配置
- 机器
- 50 吨级液压挖掘机,由小型神经网络在固定挖掘方案上叠加修正
- 学习
- 强化学习(TD3),只依据每次挖掘的得分,一次训练
- 料床
- 比挖掘方案预期低 0.44 米,低于所有练习地面
仿真结果
- 未训练
- 2.6 吨(即固定挖掘方案)
- 练习 120 次
- 2.1 吨
- 练习 220 次
- 4.3 吨,得分最高,训练约 7 分钟
以上为仿真结果,并非实机测量数据。物料未标定。
您的机器人团队在做颗粒仿真吗?
如果您正在开发挖掘、装载或搬运散料的机器人,欢迎发给我们一个几何模型或作业场景。我们会用 NDEM 为您展示仿真结果:实时运行,并可按真实物料标定。