Hanyang University / Texas A&M University2026#004학습·RL·IL·VLA학술논문

강화학습 기반 굴착 작업 적응형 3D 시뮬레이션 및 시각화

Reinforcement Learning-driven Adaptive 3D Simulation and Visualization of Excavator Operations

ChungBae Yoon, Youngjib Ham, SangUk Han · Automation in Construction 181 (2026) 106626

한줄 요약 — 과거 작업시간 표를 입력하는 기존 공정 시뮬레이션 대신, 4자유도 굴착기와 가상센서를 갖춘 PPO 에이전트가 현장 점군·장비 회전속도에 맞춰 복귀-굴착-스윙-덤핑 경로와 주기시간을 스스로 생성하도록 해 3D 검증가능성과 현장 적응성을 함께 높이고 관리자가 동작과 시간의 타당성을 확인하게 한 연구다.

1.연구 배경 및 동기

과거 평균값이 아닌 현재 현장에서 주기시간과 동작을 함께 생성하기

토공은 굴착기·덤프트럭·도저의 수량과 조합이 생산성을 좌우하고 공사비의 25~30%를 차지할 수 있다. 장비군 배분에는 굴착기 적재시간과 트럭 운반시간 같은 사이클 시간이 필요하지만, 현장 실무는 제조사 표, RS Means류 표준자료, 과거 현장기록과 관리자의 경험에 의존한다. 이런 값은 트럭과 굴착기의 상대 위치, 스윙각, 굴착깊이, 지형과 장애물이 달라지면 현재 작업을 대표하지 못해 장비 대기와 비용 초과를 일으킬 수 있다.

이산사건 시뮬레이션은 여러 장비 조합을 가상 비교할 수 있지만 입력 사이클 시간이 부정확하면 결과도 신뢰할 수 없다. 또한 결과가 숫자와 통계로만 제시되면 관리자가 모델의 작업논리와 움직임이 실제 가능한지 검증하기 어렵다. 기존 굴착 궤적 연구는 굴착 단계의 2차원 버킷 경로나 규칙 기반 전체 사이클에 집중했고, 네 회전관절이 동시에 만드는 3차원 복귀·굴착·스윙·덤핑과 현장 공간정보를 함께 반영한 주기시간 생성은 부족했다.

논문은 과거 궤적을 지도학습하는 대신 실제 굴착기의 기계 사양을 가진 3D 에이전트를 가상 현장에서 시행착오로 학습시킨다. 합성환경에서 기본 4자유도 동작을 사전학습하고, 다섯 실제 현장의 점군 지형·장비 배치·회전속도로 미세조정한다. 학습된 정책이 만든 동작을 3D로 보여주고 그 실행시간을 사이클 입력으로 사용함으로써, 시간 추정과 경로 타당성의 시각적 검증을 같은 모델에서 해결하려 한다.

원문 Figure 1, PDF 4쪽
원문 Figure 1 · PDF p.4 — Fig. 1. Overview of the research methodology.
선행 연구의 한계
이 연구의 기여

2.방법론 및 시스템 구성

3D 굴착기는 body, boom, arm, bucket 네 구성요소와 center, body-boom, boom-arm, arm-bucket 네 회전축을 가진다. 길이 영향 예비시험에서 현장 장비별 붐·암 길이 변화가 주기시간에 준 최대 영향은 3.35%였지만, 스윙속도 40% 증가는 주기시간을 19.60%, 80% 증가는 29.16% 줄였다. 이에 구성요소 길이는 표준 비율로 두고 현장별 몸체 RPM과 공통 붐·암·버킷 RPM을 핵심 입력으로 채택했다. 모델은 실제 크기 1:1, 붐:암:버킷 길이비 1.00:0.44:0.28로 구성했다.

학습은 무작위 지형·장비·트럭 배치의 14개 합성환경에서 기본 동작을 사전학습한 뒤, 레이저스캐너 또는 드론 영상에서 만든 실제 현장 점군을 필터링·보간해 메시로 바꾼 다섯 환경에서 미세조정한다. PPO 정책은 매 8 ms마다 몸체·붐·암·버킷의 회전방향과 -1~1 크기의 4차원 연속 행동을 낸다. 복귀를 먼저 학습하고 전체 네 단계를 이어 학습하며, 시간절약·토사 유지·정렬·상승·덤핑 보상과 잘못된 자세·지면관통·역방향 회전·충돌 페널티를 조합한다.

처리 파이프라인

1

장비 기계속성 선별

붐·암 길이와 스윙 RPM이 주기시간에 미치는 영향을 예비 시뮬레이션으로 비교해, 길이는 표준화하고 현장별 회전속도를 모델 입력으로 유지한다.

2

1:1 굴착기·트럭 모델링

실제 작동범위와 네 회전관절을 가진 굴착기 및 덤핑 목표인 트럭을 Unity 3D 공간에 배치한다.

3

가상센서와 관측 구성

굴착기 중심·버킷·트럭·굴착점 벡터, 상대각·거리, 관절 위치·회전각과 12세트 9채널 거리센서에서 총 458개 관측값을 정책에 제공한다.

4

합성환경 사전학습

지형 크기·높이, 굴착점, 트럭 위치와 360도 스윙각을 무작위화한 14개 환경에서 먼저 복귀 동작, 이어 복귀-굴착-스윙-덤핑 전체 사이클을 학습한다.

5

현장별 환경 재구성

레이저스캐너 또는 드론으로 얻은 점군에서 비지형점과 이상치를 제거하고 메시를 만든 뒤 실제 굴착기·트럭·굴착 위치를 배치한다.

6

PPO 미세조정

현장별 몸체 RPM, 작동범위와 지형을 적용하고 사전학습 정책을 약 5천만 단계씩 미세조정해 현장 조건에 적응시킨다.

7

주기시간 비교

다섯 현장 514사이클 실측값, Caterpillar 성능표 또는 한국 표준 생산성 자료, RL 시뮬레이션 추정값을 전체·스윙각·굴착깊이별로 비교한다.

8

경로·적응성 검증

실제·가상 영상에서 arm-bucket 관절을 광류로 추적하고 DTW로 site-site, sim-sim, site-sim 경로거리를 비교한다. 전문가 패널과 이동 작업자·이동 토사 장애물 보조실험으로 정성 타당성과 온라인 반응을 확인한다.

원문 수식과 의미

PPO clipped objective

LCLIP(θ)=E^t[min⁡(rt(θ)A^t,clip⁡(rt(θ),1−ϵ,1+ϵ)A^t)]L^{CLIP}(\theta)=\hat{E}_t\left[\min\left(r_t(\theta)\hat{A}_t,\operatorname{clip}(r_t(\theta),1-\epsilon,1+\epsilon)\hat{A}_t\right)\right]

새 정책과 이전 정책의 행동확률 비를 1±ε 범위로 제한해 한 번의 갱신이 굴착 동작을 과도하게 바꾸는 것을 막는다. 논문은 ε=0.2를 사용했다.

정책 확률비

rt(θ)=πθ(at∣st)πθold(at∣st)r_t(\theta)=\frac{\pi_\theta(a_t\mid s_t)}{\pi_{\theta_{old}}(a_t\mid s_t)}

현재 상태에서 같은 4차원 회전행동을 새 정책이 이전 정책보다 얼마나 더 자주 선택하는지를 나타낸다.

정책 파라미터 갱신

θt+1=θt+α∇θLCLIP(θt)\theta_{t+1}=\theta_t+\alpha\nabla_\theta L^{CLIP}(\theta_t)

clipped objective의 기울기로 정책을 갱신하며 학습률 α는 0.0003이다.

원문 Figure 1, PDF 5쪽
원문 Figure 1 · PDF p.5 — Fig. 1 provides an overview of the research methodology. It involves the following steps: (1) 3D models of construction equipment such as excavator and truck are designed based on the specifications of the actual equipment, including the mechanical properties (e.g., operating ranges and angular velocities of the body, boom, arm, bucket). In this process, the virtual sensors are positioned strategically to better perceive the agent's current state and measure the rewards in the learning pro­ cess. (2) After integrating the 3D models, the RL environments are designed. In particular, two types of environments in which the agents are trained are implemented: synthetic environments generated with arbitrary terrains for pre-training, and site-specified environments created based on actual site data for fine-tuning. (3) To train an exca­ vator agent, an RL strategy that can properly deal with a continuous action space is designed in conjunction with the modeling of the observation and reward functions. In particular, the observation update cycle to the agent and ranges of policy updates are tested and set to ensure the collection of significant observations for each update. The observation vector is determined to facilitate the effective conveyance of spatial information to the agent. The reward functions are constructed as the criterion for the agent to learn how to excavate, given the observed state. With the trained agent, the performance is assessed in terms of the accuracy of the cycle time estimation and similarity of the planned paths compared with those of human operators.
원문 Figure 2, PDF 5쪽
원문 Figure 2 · PDF p.5 — Fig. 2. 3D models of excavator and truck.
원문 Figure 3, PDF 7쪽
원문 Figure 3 · PDF p.7 — Fig. 3. Virtual sensors and variables for reward function and observation of RL.
원문 Figure 4, PDF 7쪽
원문 Figure 4 · PDF p.7 — Fig. 4. Examples of pre-training environments.
원문 Figure 5, PDF 8쪽
원문 Figure 5 · PDF p.8 — Fig. 5. Fine-tuning environments of (a) Site #1, (b) Site #2, (c) Site #3, (d) Site #4, and (e) Site #5.
원문 Figure 6, PDF 8쪽
원문 Figure 6 · PDF p.8 — Fig. 6. Mechanism of reinforcement learning.

3.핵심 기술

기계 제약을 포함한 4자유도 3D 에이전트

단순한 버킷 점 궤적이 아니라 몸체·붐·암·버킷의 동시 회전을 정책 행동으로 삼는다. 각 구성요소의 작동범위와 RPM이 실제와 유사한 시간척도를 만들며, 네 관절의 누적 운동이 버킷의 3차원 경로와 사이클 시간을 결정한다. 길이보다 회전속도의 영향이 크다는 예비시험을 통해 필요한 장비 입력을 줄인 것이 실무 적용성을 위한 설계 선택이다.

  • 정책 출력은 네 구성요소의 회전방향과 상대속도를 나타내는 연속 4차원 벡터다.
  • 몸체 RPM은 현장 장비별로 3.60, 2.05, 2.28 rpm을 적용했고 붐·암 1.55 rpm, 버킷 2.58 rpm은 공통 적용했다.
  • RPM은 토크·감쇠·유압제약의 누적 결과를 간접 표현하지만 개별 동역학 자체를 모델링하지는 않는다.

458차원 가상센서 관측과 공간적 상황인식

관측은 트럭·버킷·굴착점의 위치와 방향, 버킷-트럭·버킷-굴착점 상대각, 거리, 관절 위치와 회전각을 포함한다. 12세트의 9채널 거리센서는 충돌 여부, 충돌점 거리, 대상 종류와 이름을 제공해 총 432개 값을 만들고, 전체 관측은 458개다. 센서는 전방 8개, 후방 3개, 버킷 1개로 배치된다.

이 구성은 지형과 장애물을 정책에 직접 넣어 규칙 기반 외부 경로계획 없이도 작업조건에 따라 동작을 바꾸려는 시도다. 다만 전방 중심 배치는 큰 스윙각과 급경사 뒤쪽 굴착점 인식을 늦춰 특정 현장의 주기시간을 과대예측하는 원인이 됐다.

  • 공간정보와 장비 내부 자세를 한 정책 입력으로 결합한다.
  • 센서 수를 늘리면 사각을 줄이지만 입력차원과 학습 난도가 증가한다.
  • 가상센서 배치 자체가 시뮬레이션 정확도와 실패 형태를 결정하는 설계변수다.

복귀 우선 커리큘럼과 보상 설계

복귀 단계는 트럭 방향에서 굴착점으로 몸체·붐·암·버킷을 동시에 조정하는 복잡하고 독립적인 동작이므로 먼저 1500스텝, 즉 12초 time horizon으로 학습한다. 이후 전체 네 단계는 5500스텝, 44초 horizon으로 학습한다. 이는 일반적인 복귀 3~5초와 전체 사이클 15~25초보다 2~4배 긴 관측창으로 충분한 시행착오를 제공한다.

보상은 12개 연속항과 10개 이산항으로 구성된다. 토사를 버킷 안에 유지하고, 트럭·굴착점 방향을 맞추고, 버킷을 적절히 들어 올리고, 성공적으로 접촉·덤핑하면 보상한다. 잘못된 버킷 자세, 토사 유실, 지면 관통, 반대 회전, 장비·트럭 충돌과 긴 시간에는 벌점을 준다. 큰 처벌만 주면 에이전트가 움직이지 않는 보수적 정책이 될 수 있어 성공 보상을 강조한 carrot-over-stick 전략을 쓴다.

  • 토사를 흘리면 엄격한 고정 순서를 따르지 않고 다시 굴착할 수 있다.
  • PPO clipping은 보상에 반응한 급격한 붐·버킷 정책 변화와 토사 유실을 억제한다.
  • 명시적 경로 규칙 대신 전체 에피소드 누적보상으로 동작 순서를 학습한다.

합성 사전학습과 현장 점군 미세조정

사전학습 환경은 지형 스케일과 높이, 트럭·굴착기 위치, 굴착점을 무작위화하고 전체 360도 스윙을 경험하게 한다. 현장별 환경은 점군에서 지형 메시를 만들고 장비·트럭을 실제 상대 위치에 배치한다. 이렇게 기본 4자유도 조작지식을 공유하고 약 5천만 스텝의 현장별 미세조정으로 지형과 RPM 차이에 적응한다.

장비 회전속도가 사전학습과 크게 다른 Site 3~5는 초기 보상이 낮고 학습시간이 늘었다. 이는 전이학습이 유효하면서도 정책이 기계속성 변화에 민감함을 보여준다. 현장별 fine-tuning을 줄이려면 다양한 동역학과 장비 치수를 사전학습에서 무작위화해야 한다.

  • 사전학습 14개 합성환경 약 7억 스텝, 현장별 미세조정 약 5천만 스텝을 사용했다.
  • 실제 지형은 레이저스캔 또는 드론 사진 측량 점군을 메시로 변환한다.
  • 고정된 토사·장비 치수 가정은 복잡 현장 일반화를 제한한다.

4.실험 결과

실험 환경·장비·데이터

실험 프로토콜

비교 기준

평가 지표

원문 Figure 7, PDF 12쪽
원문 Figure 7 · PDF p.12 — Fig. 7. Cumulative reward by learning steps of: (a) pre-training in diverse synthetic environments, (b) fine-tuning in 5 site-specific environments.

핵심 결과 해석

전체 514사이클에서 RL 시뮬레이션의 현장 평균 주기시간 정확도는 91.15%로 기존법 81.95%보다 높았다. 현장별 정확도는 83.06~97.40%였고 다섯 현장 모두 논문이 채택한 80% 허용기준을 넘었다. 스윙각 그룹 평균은 87.37%, Site 3의 굴착깊이 그룹 평균은 93.62%였다. 다만 후방 센서가 적고 버킷 센서가 급사면에서 위를 향하면서 Site 4의 90~120도 그룹은 10.35초 오차와 51.39% 정확도로 크게 악화됐다. 이는 현장 조건을 반영한 정책도 관측설계의 사각에는 취약함을 보여준다.

경로 검증에서 site-sim DTW 거리는 site-site 자연변동의 평균 0.90배, 즉 10% 작았다. 전문가 8명 중 7명은 가상 굴착이 개연적이라고 했고 한 명은 초보 운전자 같다고 평가했다. 이동 장애물에는 멈추고 정지 장애물에는 우회했으나 안전동작 때문에 사이클이 42~43% 늘었다. 이 연구의 가치는 시간 오차뿐 아니라 어떤 4자유도 동작으로 그 시간이 나왔는지를 3D로 검토할 수 있다는 데 있다. 반면 실제 토사를 고체 블록으로 표현하고 관성·토크·감쇠를 RPM으로 축약했으므로, 결과는 실차 폐루프 제어기가 아니라 공정계획용 적응형 동작·시간 생성기로 해석해야 한다.

정량 결과

평가 항목정량 결과조건·맥락원문 근거
현장 검증 사이클514회다섯 현장 42+44+177+89+162회PDF p.11
평균 주기시간 추정 정확도91.15%RL 시뮬레이션의 다섯 현장 평균PDF p.12
기존 방법 평균 정확도81.95%제조사 성능표 또는 한국 표준 생산성 자료PDF p.11
현장별 RL 정확도93.92%, 97.40%, 93.46%, 83.06%, 87.90%Site 1~5 순서PDF p.12
스윙각 그룹 평균 정확도87.37%30~60, 60~90, 90~120도 그룹의 다섯 현장 분석PDF p.12
굴착깊이 그룹 평균 정확도93.62%Site 3의 지면 아래·지면·지면 위 세 그룹PDF p.12
경로 DTW 비0.90site-sim 거리를 site-site 자연변동으로 나눈 전체 평균PDF p.14
전문가 개연성 판정7/8명평균 경력 19년 패널 중 7명이 시뮬레이션 동작을 plausible로 평가PDF p.13
학습 규모와 시간정책별 7.5억 스텝, 전체 실행량 9.5억 스텝; 사전학습 81시간, 미세조정 평균 12시간공유 사전학습 7억과 현장별 미세조정 5천만을 구분한 값; GPU 메모리 6.6 GB, 평균 RAM 1.6 GB 사용PDF p.11
장애물 적응에 따른 사이클 증가42~43%이동 장애물 정지 및 정지 장애물 우회 보조시험PDF p.14
실패 사례와 경계조건
원문 Figure 8, PDF 13쪽
원문 Figure 8 · PDF p.13 — Fig. 8 illustrates the estimation errors for both proposed and con­ ventional methods across continuous swing angles and digging depths at Site #3, where excavations were performed for all the groups. Overall, the proposed method generally exhibited a smaller magnitude of esti­ mation error than the conventional method. Specifically, in the con­ ventional method, the magnitude of the error increased stepwise as the swing angle and digging depth increased. This was because in the actual field, the cycle time increased as the swing angle and digging depth increased. However, because the conventional method provided uni­ form predictions for all the swing angles and digging depths, the magnitude of the error increased with the increase in swing angles and digging depths. In contrast, the proposed method estimated the cycle times under continuous spatial conditions such as the swing angle and digging depth. However, at Site #3, the RL simulation predicted shorter cycle times for SA #1 than the actual field values. This discrepancy could be attributed to the simulation physics engine not perfectly matching real-world dynamics. When the swing angle is small, even a small in­ ward rotation of the bucket enables the excavated dirt to remain in the bucket without spilling during the swinging phase. This results in shorter digging times. Similarly, for DD #1 (which falls into a similar excavation position group as SA #1 owing to the topography of the site), the RL simulation predicted shorter cycle times for similar reasons.
원문 Figure 9, PDF 14쪽
원문 Figure 9 · PDF p.14 — Fig. 9. Visualized excavation path of visualized simulation and real site: (a) Site #1, (b) Site #2, (c) Site #3.
원문 Figure 10, PDF 15쪽
원문 Figure 10 · PDF p.15 — Fig. 10. Auxiliary experiment virtual environment for real-time adaptation of RL with unexpected obstacles: (a) a worker (b) a shifting material.

5.한계 및 향후 연구

현재 한계

  • 굴착 토사를 입자가 아닌 고체 블록으로 모델링하고 건조단위중량·팽창계수·저항을 현장 간 동일하게 가정했다.
  • 합성환경은 발파·천공 뒤의 중간 복잡도 지형을 가정해 극단적 암괴, 진흙, 붕괴 토사와 혼합재료를 충분히 다루지 않는다.
  • 붐·암·버킷 치수를 현장 간 표준화하고 관성·토크한계·감쇠·유압동역학의 누적효과를 주로 RPM으로 축약했다.
  • 후방보다 전방에 거리센서가 많아 큰 스윙각과 급사면 조건의 관측 편향이 발생했다.
  • 경로 정량 검증은 카메라 안전 제약으로 Site 1~3에 한정됐고 영상의 2D 관절 궤적을 사용했다.
  • PPO 학습은 공유 사전학습 7억 스텝과 현장별 5천만 스텝의 미세조정을 요구하며 완전 수렴을 보증하지 않는다.
  • 단일 굴착기 사이클만 모델링해 트럭 도착 지연, 장비군 대기열과 상호작용은 포함하지 않는다.

향후 연구

  • 복셀·입자 기반 토사모델로 토양 변형, 저항, 쏟아짐과 버킷 충전을 더 사실적으로 표현한다.
  • 재료 물성, 지형, 장비 치수·관성·토크·감쇠를 도메인 랜덤화해 현장별 미세조정 부담과 일반화 오차를 줄인다.
  • 전후방 가상센서 배치를 최적화하고 센서 수 증가와 관측차원·학습난도의 상충을 정량화한다.
  • 굴착기와 여러 덤프트럭을 다중 에이전트로 학습해 대기, 배차, 적재·운반·하역의 전체 장비군을 모델링한다.
  • RL 주기시간 생성기를 이산사건 시뮬레이션과 연결해 장비 할당·일정 시나리오를 비교한다.
  • 실차 제어 및 실제 센서 입력과 연결해 시뮬레이션 정책의 폐루프 안전성과 sim-to-real 전이를 검증한다.

6.한마디로 정리

핵심 방법은?

4자유도 장비 사양과 458차원 가상센서를 가진 Unity 에이전트를 PPO로 합성환경 사전학습하고 실제 점군·RPM 기반 다섯 현장에서 미세조정했다.

핵심 결과는?

514사이클에서 평균 주기시간 정확도 91.15%를 보였고 site-sim 경로 차이가 site-site 자연변동보다 평균 10% 작아 공정계획용 동작·시간 생성 가능성을 확인했다.

한계는?

토사와 동역학을 고체 블록·RPM으로 단순화했고 큰 스윙각 센서 사각, 막대한 학습량, 단일 굴착기 사이클, 실차 폐루프 미검증이 남는다.

#학습·RL·IL·VLA#작업·궤적계획#시스템통합·현장실증#reinforcement learning#3D simulation#motion planning#cycle-time estimation#visualization

나의 의견 / 우리 연구와의 연관성

이 연구는 자율굴착 정책 자체보다 공정계획과 동작계획 사이의 단절을 메우는 중간 계층으로 유용하다. 장비군 시뮬레이션이 과거 평균 사이클을 고정 입력으로 쓰는 대신 현재 지형, 장비 사양, 트럭 배치에서 동작과 시간을 함께 생성하면 계획 결과를 3D로 검토할 수 있다. 우리 연구에서는 목표면·굴착점·장비 제약을 입력으로 받아 후보 동작의 시간·안전·에너지 분포를 제공하는 learned motion oracle로 확장할 수 있다.

그러나 논문의 91.15%는 실차 제어 성공률이 아니라 현장 평균 주기시간의 유사도다. 토사 접촉, 유압 포화, 버킷 충전량과 실제 센서 잡음이 축약돼 있으므로 안전제어기나 생산성 보증값으로 직접 사용할 수 없다. 실차 로그 기반 잔차 보정, 불확실도 추정과 위험 제약을 추가하고, 단일 사이클 결과를 다중 굴착기·트럭의 이산사건 모델과 연결하는 방향이 적절하다.

7.전체 그림·표

섹션별 원문 근거 페이지

원문·기존 요약·관련 자료

추출·교차검증 근거