ETH Zurich2023#020시스템통합·현장실증논문 PDF

현장재료 굴착·석벽 통합

A framework for robotic excavation and dry stone construction using on-site materials

한줄 요약 — RGB-LiDAR 인식, 특수 그리퍼, in-hand 3D scan, 후보 자세 생성, TICR 정합, learned SDF 안정성 평가, 재파지·배치·probe, 고도 폐루프 굴착을 하나의 대형 로봇 공정으로 묶어 가공하지 않은 현장 돌과 흙으로 실제 규모 구조물을 건설했다.

1.연구 배경 및 동기

현장에서 나온 불규칙 돌과 흙을 폐기물 대신 구조재로 사용하는 로봇 건설

건설산업은 세계 GDP의 약 13%를 차지하지만 시멘트는 인위적 CO₂ 배출의 8~9%, 에너지 사용의 2~3%에 관련되고 건설·철거 폐기물은 연 30억 톤을 넘는다. 현장 굴착에서 나온 흙과 바위를 그대로 구조재로 쓰면 운송과 시멘트 사용을 줄일 수 있지만, 가공하지 않은 석재는 형상·질량·파지점이 모두 다르고 건식 석축의 안정성은 접촉면과 쌓기 순서에 민감하다. 사람 석공은 작은 hearting stone과 wedge를 쓰며 미세 조정하지만, 1톤급 돌을 다루는 굴착기는 정확한 geometry acquisition과 안정성 판단이 필요하다.

논문은 개별 알고리즘보다 현장 자재 순환 전체를 다룬다. 굴착기가 돌무더기를 스캔하고 각 돌을 분할·파지한 뒤 공중에서 천천히 회전시켜 완전한 3D mesh를 얻는다. 물성·형상을 inventory에 저장하고 목표 wall mesh의 다음 빈 영역에 맞는 돌과 자세를 계산한다. 필요하면 바닥에서 재정렬해 더 좋은 grasp를 만들고, 목표 위치에 놓은 뒤 재측정과 안정성 probe를 수행한다. 동시에 주변 토사를 목표 terrace elevation으로 굴착·성토해 wall과 지형을 함께 완성한다.

원문 Figure 1, PDF 2쪽
원문 Figure 1 · PDF p.2 — Fig. 1. HEAP is an autonomous excavator for construction with in situ resources. HEAP is a modified 12-ton walking excavator equipped with multiple cabin- and arm-mounted LiDAR sensors and cameras, facilitating the construction of the pictured 65-m-long retaining wall and terraced landscape from unmodified local materials. (A) Arm-mounted Livox Mid-70 sensor, (B) rooftop perception box with multiple LiDAR sensors and camera, and (C) lower-cabin camera.
원문 Figure 2, PDF 5쪽
원문 Figure 2 · PDF p.5 — Fig. 2. Autonomous dry stone construction sequence. The construction process began with stones in the environment and a point cloud map produced using the cabin- and boom-mounted LiDAR sensors. Individual stone instances were segmented from this map (A), and an initial grasp was planned for each of these segments (B). Once grasped, each stone was fully scanned in hand (C), and the intrinsic properties of the stone were computed from the resultant mesh (D). The stone was then returned to the ground for storage, with its pose refined by LiDAR map upon release (E). An inventory (F) was accumulated in this manner, which was then used by the geometric planner (G) to compute poses within the target wall. Each solution was grasped directly for placement or with an intermediate reorientation (H) when necessary. The poses of held stones were refined in hand (I) using the cabin-mounted LiDAR, placed in the wall, and refined again (J). Stability probing (K) could be done either at the end of construction or in batches after each solution set was placed.
선행 연구의 한계
이 연구의 기여

2.방법론 및 시스템 구성

HEAP의 LiDAR와 카메라로 석재 pile을 취득하고 LaserSLAM, GNSS/IMU, ICP로 지도 좌표계를 유지한다. Mask R-CNN은 합성 pile과 수작업 라벨 영상으로 학습되며, 2D mask를 3D 점군에 투영한다. hidden-point removal, CRF, label diffusion으로 폐색·경계 잡음을 줄여 개별 석재 point cloud를 만든다. grasp 후보는 surface normal과 최소곡률 방향에서 샘플링하고 CNN force-closure score와 기하 heuristic으로 선택한다.

돌을 집으면 굴착기 cabin/arm을 사용해 약 0.18 rad/s로 회전시키며 여러 시점 LiDAR scan을 합친다. 0.2 m radius clustering과 Poisson reconstruction으로 mesh를 만들고, 원본 약 28k faces·14k vertices/m² 수준을 평균 523±11 faces/m², 261±4 vertices/m²로 downsample한다. 면적 오차는 ±40% 범위로 관리하고 질량·크기·표면 특성을 inventory에 저장한다. 110개 boulder 기준 scan은 평균 4.7분/stone이다.

목표 wall의 빈 rim에 masonry heuristic으로 약 2만 후보를 만들고 TICR가 cavity 접촉을 정합한다. 1000 points/m², 최대 50 iterations, pose change 10^-4 수렴조건을 쓰며, 상위 5000개는 물리평형과 9000 labels로 학습한 32³ SDF 3D U-Net이 안정성을 평가한다.

선택된 돌은 필요하면 지면에서 재정렬·재파지하고, 약 1 m 접근 중 local ICP로 pose를 보정해 배치한다. force-torque probe와 사람의 필요시 wedge/fastening으로 안정성을 확인하며, LiDAR elevation 오차로 terrace를 굴착·성토한다.

처리 파이프라인

1

현장 pile mapping과 instance segmentation

LaserSLAM/GNSS/IMU/ICP로 pile과 장비 위치를 정렬하고 Mask R-CNN의 2D instance mask를 LiDAR에 투영한다. CRF, hidden-point removal, label diffusion으로 석재별 3D cloud를 정제한다.

2

grasp와 in-hand geometry acquisition

표면 normal·곡률 방향에서 gripper pose를 샘플하고 learned force-closure와 heuristic으로 선택한다. 파지 후 0.18 rad/s 회전 scan, clustering, Poisson reconstruction, mesh downsampling으로 폐색 없는 stone model을 만든다.

3

inventory와 placement candidate search

질량·mesh·접촉특성을 inventory에 등록한다. 목표 wall rim에 seeded frames를 만들고 stone orientation을 조합해 약 2만 후보를 10초 이내 생성한다. 벽이 길 때는 보통 네 돌 subset만 solver에 넣어 계산을 75% 이상 줄인다.

4

TICR·physics·SDF 안정성 선별

TICR가 목표 cavity와 stone surface를 접촉 지향적으로 정합하고 상위 5000개를 물리 simulation으로 점검한다. 32³ 3-channel voxel을 입력받는 3D U-Net SDF가 안정 가능성이 높은 후보를 빠르게 순위화한다.

5

reorientation, placement, verification

필요하면 돌을 지면에서 재정렬·재파지하고 목표에 접근한다. local ICP로 in-hand pose를 보정하여 배치한 뒤 force-torque probe, 재스캔, 필요 시 사람의 wedge/fastening으로 상태를 확정한다.

6

terrain excavation과 terrace closure

석벽 진행과 함께 목표 terrace surface 대비 elevation error를 계산하고 흙을 굴착·성토한다. wall geometry와 terrain grade를 반복 측량해 구조물과 주변 지형을 하나의 현장 공정으로 완성한다.

원문 수식과 의미

원문 Figure 5, PDF 8쪽
원문 Figure 5 · PDF p.8 — Fig. 5. Robotic landscaping. (A) Overview of park with integrated robotic terracing and stone retaining wall. (B) HEAP positioning to modify the lower slope with a grading bucket. (C) Grading bucket exit path while cutting the middle slope. (D) Intermediate berms on the sloped landscape for erosion control, displaying first signs of ruderal plant growth.
원문 Figure 8, PDF 11쪽
원문 Figure 8 · PDF p.11 — Fig. 8. Stone placement planning. The construction objective was specified by a single designed surface that was offset with a specified rake angle θ (A) to produce a closed volume (B). At each planning iteration, rays were cast in all directions from a curve Pe lofted above the center line of the as-built wall (C) to approximate the top surface of the existing ground and placed stones (D). The intersection of this surface with the designed bounding volume defined the rim path Prim, which was filtered on the basis of masonry-informed heuristics (E) to provide the basis for the initial seed frames of candidate stone placements (F). These initial poses were further refined for alignment and stability (G). Each of the registered and stable candidate solutions were then encapsulated in an offset and voxelized bounding box centered on the stone origin (H), and an SDF was used to classify the placeability of the solution (I). A custom software interface (J) provided interactive visualizations of the wall state, search area, and solutions (i); the available inventory (ii); and individual stone models (iii).

3.핵심 기술

불규칙 석재의 파지 후 완전 형상화

pile scan만으로는 아래쪽과 이웃 돌에 가린 면을 볼 수 없다. 시스템은 먼저 부분형상으로 가능한 grasp를 고른 뒤, 돌을 든 상태에서 천천히 회전해 LiDAR가 전면을 관측하게 한다. 이 순서는 ‘완전한 모델이 있어야 안정적으로 잡을 수 있다’는 순환문제를 부분모델 grasp와 사후 scan으로 끊는다. 물리 파지 성공률은 82.2%이며 실패는 돌의 이동, 비대칭, 다른 돌 사이 wedging에서 발생한다.

  • in-hand 회전속도는 0.18 rad/s, clustering radius는 0.2 m다.
  • 110개 boulder의 scan 시간은 평균 4.7분/stone이다.
  • mesh는 평균 523±11 faces/m², 261±4 vertices/m²로 경량화한다.

접촉 지향 정합과 학습 안정성 평가

일반 ICP가 전체 표면거리 최소화에 치우치는 것과 달리 TICR은 실제 지지접촉을 만들 목표 영역에 정합을 집중한다. 10,000개 후보 비교에서 TICR의 equilibrium 비율은 24.6%, ICP는 15.0%로 1.6배 높았다. 이후 physics와 learned SDF가 후보를 더 줄여 대규모 inventory에서도 실행 가능한 stone-pose pair를 찾는다.

  • TICR sampling density는 1000 points/m², 최대 50 iterations다.
  • SDF 입력은 3-channel 32×32×32 voxel이며 9000 labels로 학습한다.
  • 15 m wall에서 네 stone subset을 쓰면 solver는 약 4.8분이며 계산량을 75% 이상 절감한다.

현장 규모의 석축-토공 통합 폐루프

stone placement는 한 번의 open-loop 동작이 아니라 inventory 선택, reorientation, in-hand refinement, placement refinement, stability probe를 거친다. 토공도 목표 terrace와 현재 elevation 차이를 갱신하며 진행한다. 그 결과 wall의 구조 형상, 뒤채움, terrace grade가 서로 다른 하위 시스템이 아니라 하나의 시공 sequence로 연결된다.

  • inventory는 보통 20~40개 석재를 유지한다.
  • 전체 프로젝트는 1000개 이상, 평균 997±438 kg 요소를 취급했다.
  • 독립벽, 옹벽, 665 m² terrace의 서로 다른 구조형식을 동일 HEAP으로 시공했다.
원문 Figure 3, PDF 6쪽
원문 Figure 3 · PDF p.6 — Fig. 3. Robotically constructed stone walls. (A and B) A 10 m–by–1.7 m–by–4 m freestanding wall built with 109 automatically digitized stones and reclaimed concrete elements. (C to F) A 65.5 m–by–1.8 m–by–6 m retaining wall built to comply with global geometric constraints. (C) Front elevation of retaining wall with partial overlay of mesh models from digital twin. (D and E) Overview of the built structure with variable height and incline. (F) Iteratively refined 3D digital twin model displayed in the geometric planning software.
원문 Figure 4, PDF 7쪽
원문 Figure 4 · PDF p.7 — Fig. 4. Autonomous excavation procedure. HEAP moved gradually along the terrain, bringing the untouched landscape (A) toward the target geometry (B) with angled cuts (C) that reduced the effects of actively dug soil disturbing the already-surfaced areas. The machine perceived the environment by LiDAR and assembled laser (D) and elevation maps from the data. By subtracting the designed desired elevation map (E) from the laser map, a difference map (F) was constructed. This difference map was used to determine the next excavation point, to which the machine approached along the driving path (G), to work orthogonally on the embankment. The driving path was offset from the design line (H), which was provided along with the desired elevation map. After filling the bucket in an excavation cycle, the material was dumped to the side by rotating the cabin (I), and the process was repeated.

4.실험 결과

실험 환경·장비·데이터

실험 프로토콜

비교 기준

평가 지표

원문 Figure 6, PDF 9쪽
원문 Figure 6 · PDF p.9 — Fig. 6. Stone segmentation and grasp planning. The stone segmentation pipeline was trained with a combination of automatically labeled stone piles generated in simulation (A) and manually labeled real images (B). RGB input images (C) were masked with identified stone instances (D). The LiDAR map was then projected onto the image frame and segmented using the RGB masks (E and F). The grasp planner determined a feasible grasp on the segmented cloud (G) that was then executed by HEAP (H).

핵심 결과 해석

독립벽은 109개 요소로 10×1.7×4 m를 만들었고 재료의 24%가 waste concrete였다. 2주 동안 평균 placement time은 17.4분/stone이며 direct placement 11.8분, reorientation 포함 21.8분이다. median positional error는 0.108 m이고 mean position/orientation 계열 pose error는 0.128±0.088 m와 0.218±0.172로 보고된다. 여섯 stone이 낙하하거나 문제가 되었지만 구조물은 완성됐다.

옹벽은 938개 고유 요소, 길이 65.5 m, 평균 두께 1.8 m, apex 6 m, parapet 1.5 m, rake 11.3도로 구축됐다. 재료는 concrete 7%, erratics 3%, gneiss 90%다. 21개 비연속 작업일 중 300개 stone의 placement time은 16.25±6.88분이고 median positional error 0.115 m, 평균 위치/자세 계열 오차 0.135±0.089 m와 0.089±0.111이다. 약 25개 stone에서 배치 문제가 기록됐다.

terrace는 665 m², 토심 1~1.5 m, grade 평균 38.5±18.6%와 범위 2~65%를 8개 비연속 작업일에 조성했다. active excavation time은 4.3 min/m³이고 목표면까지 절대평균거리 0.023±0.020 m, RMSE 0.030 m다. 두 wall의 void ratio는 42.2%와 40.2%로 전통 dry masonry의 20~40% 상단을 약간 넘는데, 작은 hearting stone과 wedge를 충분히 사용하지 않고 큰 돌을 가공 없이 놓은 영향이다.

scan 포함 생산속도는 약 21 min/stone, 2.8 t/h, 1.1 m² wall/h다. scan 제외 28개 표본은 12.2 min/stone으로 인간의 약 11분과 근접한다. 현장재료 구조의 embodied carbon은 등가 철근콘크리트보다 41% 낮았다.

정량 결과

평가 항목정량 결과조건·맥락원문 근거
취급 요소 질량평균 997±438 kg, 1000개 이상전체 현장 시공 campaignPDF p.4
독립벽109 elements, 10×1.7×4 m, 17.4 min/placementdirect 11.8 min, reorientation 21.8 minPDF p.4
옹벽938 elements, 65.5 m length, 최대 6 m300개 표본 placement 16.25±6.88 minPDF p.4
terrace 정밀도절대거리 0.023±0.020 m, RMSE 0.030 m665 m², 1~1.5 m depthPDF p.5
grasp 성공률82.2%실물 stone grasp; 이동·비대칭·wedging이 주요 실패원인PDF p.12
TICR equilibrium 비율24.6% vs ICP 15.0%10,000 placement candidates, 약 1.6배PDF p.15
통합 생산속도21 min/stone, 2.8 t/h, 1.1 m² wall/hscan 포함; scan 제외 12.2 min/stonePDF p.7
embodied carbon41% 감소등가 reinforced-concrete 구조 대비PDF p.10
실패 사례와 경계조건
원문 Figure 7, PDF 10쪽
원문 Figure 7 · PDF p.10 — Fig. 7. Stone digitization. (A) The stone mesh and mass properties were generated from a cloud accumulated while the stone was held in the gripper and rotated. (B) The salient texture region was extracted from the RGB camera images by first generating a corresponding image of the stone mesh in the camera frame using the kinematic state and then applying that image as a seed for grabcut segmentation. (C) For improved alignment for texturing, we recomputed camera poses using a sparse recon- struction, aligned the 3D reconstruction to the base mesh, and projected the segmented images from these updated camera poses onto the mesh to create a textured model. (D) Using the downsampled mesh, we iteratively applied the seed-and-flood VSA method to identify meta-faces and edge frames.

5.한계 및 향후 연구

현재 한계

  • 주행과 고수준 작업순서 상당 부분은 cabin의 인간 supervisor가 맡아 완전 무인 현장운영은 아니다.
  • RTK와 전역 정렬에 의존하며 outage·폐색 시 recovery가 자동화되지 않았다.
  • 작은 hearting stone, wedge, stone cutting을 다루지 않아 조밀도와 구조 안정성이 전통 석공 수준에 못 미친다.
  • special gripper, 장시간 in-hand scan, reorientation과 solver 계산이 cycle time을 늘린다.
  • 시공 중 사람·다른 장비와의 동적 안전계획, 다중장비 resource scheduling은 범위 밖이다.

향후 연구

  • 부분 scan과 learned shape completion으로 in-hand scan 시간을 줄이고 grasp·placement를 동시에 계획한다.
  • 작은 돌 자동 투입, wedging, 필요 최소한의 stone modification을 추가해 void ratio와 안정성을 개선한다.
  • GNSS-free local mapping과 자동 failure recovery를 도입하고 collision/local alignment를 폐루프로 강화한다.
  • 굴착·운반·석재배치·뒤채움을 여러 장비에 배분하는 site/resource planner로 확장한다.
  • 해안 방재, 재난 복구, 외계 현장처럼 현지 자재 이용이 중요한 환경에서 구조 설계와 robotic process를 공동 최적화한다.

6.한마디로 정리

핵심 방법은?

부분 pile 인식→grasp→in-hand full scan→inventory→TICR/physics/SDF 선택→재파지·배치·probe와 elevation-based 토공을 통합한다.

핵심 결과는?

평균 약 1톤 석재 1000개 이상으로 65.5 m 옹벽과 665 m² terrace를 시공하고, terrace RMSE 3 cm와 탄소 41% 절감을 보였다.

한계는?

사람 supervisor, RTK, 특수 gripper, 긴 scan, 작은 돌·wedge 미처리와 배치 실패가 속도·완전자율·조적밀도를 제한한다.

#시스템통합·현장실증#환경인식#작업·궤적계획#RGB-LiDAR 석재 분할#파지 회전 스캔#SDF 배치 평가#지형 굴착 폐루프

나의 의견 / 우리 연구와의 연관성

자율굴착을 현장재료 순환 공정으로 확장한 사례다. 전역 cell·dump 계획에 stone inventory와 wall demand를 넣으면 폐기 대신 필요한 형상·질량의 자재와 뒤채움을 제때 공급할 수 있다.

7.전체 그림·표

섹션별 원문 근거 페이지

원문·기존 요약·관련 자료

추출·교차검증 근거