NDEM

유압 굴착기 — 굴착 학습

50 t급 굴착기가 VeloxSim에서 굴착을 배웁니다. 연습은 당사의 NDEM 입자 시뮬레이션에서 이루어지며, 흙이 버킷과 유압계를 밀어냅니다. 연습 굴착 220회, GPU 한 장으로 약 7분 학습한 뒤, 한 번도 연습하지 않은 지반에서 버킷 적재량이 2.6 t에서 4.3 t으로 늘었습니다.

작은 신경망이 강화 학습(TD3)으로 굴착기의 고정 굴착 계획에 대한 보정을 학습합니다. 단서는 각 굴착의 점수뿐입니다: 버킷 적재량에서 유압이 릴리프 압력에 걸려 있던 시간과 소비 에너지에 따른 페널티를 뺀 값입니다. 신경망에는 실린더 스트로크와 압력처럼 실기에서 측정할 수 있는 정보만 주며, 지면 높이는 주지 않습니다. 학습 전에는 출력이 거의 0이므로 기계는 계획대로 움직입니다. 연습 굴착 하나하나가 NDEM에서 시뮬레이션한 완전한 굴착이며, 220회 학습에 RTX 5090 한 장으로 약 7분이 걸렸습니다.

영상 속 지반은 굴착 계획이 예상한 것보다 0.44 m 낮고, 신경망이 연습한 어떤 지반보다도 낮습니다. 계획대로라면 2.6 t만 적재합니다. 연습 120회 후에는 2.1 t으로 계획보다 적고, 220회 후에는 4.3 t을 적재합니다.

그리드는 이번 학습에서 저장한 체크포인트 12개 전부를 같은 지반에서 나란히 재생합니다. 연습 20회마다 하나씩, 연습 횟수가 적은 순입니다. 진전은 고르지 않습니다: 연습 40회에서는 0.9 t, 80회에서는 4.3 t을 적재했지만 유압이 3초 넘게 릴리프 상태였습니다. 한 번에 가장 많이 적재한 것은 200회 시점의 4.4 t이지만, 점수는 220회 시점이 12개 중 가장 높습니다: 200회 시점보다 에너지를 7% 적게 쓰고 릴리프 시간도 짧았으며, 1 MJ당 4.2 t으로 에너지당 적재량이 모든 체크포인트 중 가장 많습니다.

굴착 장면은 2.5배속으로 재생하며, 입자 지름은 80 mm이고 Isaac Sim에서 렌더링했습니다. 화면의 적재량은 실시간 계수값으로, 재료가 버킷에 밀려 들어가는 동안에는 높게 나오고 들어 올릴 때 느슨한 입자가 떨어지면서 안정됩니다. 본문의 수치는 각 굴착의 최종 결과입니다. 입자에는 일반 재료 파라미터를 사용했으며, 재료 모델 파라미터는 보정하지 않았습니다.

사용한 솔버: NDEM(당사의 실시간 입상체 엔진)

시뮬레이션 설정

기계
50 t급 유압 굴착기, 작은 신경망이 고정 굴착 계획에 보정을 더함
학습
강화 학습(TD3), 각 굴착의 점수만으로 한 번 학습
지반
굴착 계획 예상보다 0.44 m 낮고, 모든 연습 지반보다 낮음

시뮬레이션 결과

학습 전
2.6 t(고정 굴착 계획)
연습 120회
2.1 t
연습 220회
4.3 t, 최고 점수, 학습 약 7분

모두 시뮬레이션 결과이며 실기 측정값이 아닙니다. 재료 모델 파라미터는 보정하지 않았습니다.

전체 데모

입상체 시뮬레이션이 필요한 로보틱스 팀이신가요?

땅을 파거나, 싣거나, 벌크 재료를 옮기는 로봇을 개발하고 계신다면 형상이나 시나리오를 보내 주세요. NDEM을 활용한 시뮬레이션 결과를 보여 드리겠습니다. 실시간으로 동작하며, 실제 재료에 맞춰 재료 모델의 파라미터를 보정할 수 있습니다.