Robotics · Reinforcement Learning · Field Notes

로봇은 왜 옷을 입히다 사람과 싸우는가

시뮬레이션은 다양성을 주지만 접촉의 힘을 틀린다. 실세계는 정확한 힘을 주지만 충분한 데이터를 허락하지 않는다. CMU David Held 연구팀은 이 간극을 정책 증류, 힘 제약, VLM 선호 보상, 오프라인 강화학습으로 단계적으로 메웠다.

시뮬레이션에서 학습한 비전과 실세계 힘 정보를 결합하는 연구 구도를 설명하는 발표 슬라이드
비전은 시뮬레이션에서, 힘은 실세계에서. David Held, “A Case Study of RL — Robot Assisted Dressing,” ICRA 2026 RL4IL Workshop

Abstract

이 연구의 핵심은 새로운 단일 알고리즘보다 실패를 분해하는 방식에 있다. 체형과 자세의 다양성은 시뮬레이션이 담당하고, 접촉력처럼 시뮬레이터가 재현하지 못하는 물리는 실세계 데이터로 보정한다. 보상 함수를 코드로 작성할 수 없는 장면에서는 VLM에게 절대 점수를 요구하지 않고 두 관측의 상대적 진전을 비교하게 한다. 그 결과 안전을 위한 힘 제약은 착의 성능을 희생하지 않았고, 오히려 로봇이 막힌 상태에서 빠져나오는 능력을 높였다. 로봇 착의라는 하나의 과제를 수년간 밀어붙이며 표준 RL에서 FMVP까지 도달한 과정은, 접촉 중심의 실세계 로봇 학습을 설계하는 압축된 사례 연구다.

Key Findings

이 발표에서 가져가야 할 여섯 가지

FINDING 01 시뮬레이션의 문제는 막연한 현실성 부족이 아니었다.

천의 일반 동역학은 쓸 만했지만 접촉력은 전이되지 않았고, 사람의 움직임을 넣으면 물리가 불안정해졌다.

FINDING 02 안전 제약은 반드시 성능 손실을 뜻하지 않는다.

힘을 감지한 정책은 위험 행동을 피하는 데 그치지 않고 막힌 상태를 벗어나 더 높은 착의율을 달성했다.

FINDING 03 사람과 VLM 모두 절대 점수보다 비교에 강하다.

두 장면 중 어느 쪽이 더 진전됐는지 묻는 선호 학습이 CLIP 계열 및 VLM 원시 점수보다 안정적이었다.

FINDING 04 실세계에서는 정책 전체보다 작은 물리 모델을 먼저 배운다.

힘 동역학 모델은 정책보다 표본 효율이 높아 적은 실세계 데이터로 안전 필터를 구축할 수 있다.

FINDING 05 준최적 데이터도 보상을 얻으면 준최적을 넘어설 수 있다.

VLM 선호로 무라벨 데이터에 보상을 붙인 오프라인 RL은 같은 데이터를 모방한 정책보다 높은 성능을 냈다.

FINDING 06 착의율만 높아서는 성공이 아니다.

“로봇이 나와 싸우는 것 같다”는 사용자 경험이 다음 연구 문제를 규정했고 편안함을 1급 평가 지표로 만들었다.

표준 RL의 실패 체형·자세가 늘자 관측과 보상 분산이 폭증했다.
정책 증류 좁은 범주의 교사들을 학습한 뒤 하나의 학생으로 합쳤다.
힘·보상의 보강 FCVP와 RL-VLM-F로 안전성과 실세계 보상을 확보했다.
FMVP 통합 시뮬 비전 정책에 실세계 힘을 주입하고 오프라인 RL로 조정했다.

Evidence 01 · Problem Definition

왜 하필 착의 보조인가

수요는 명확하지만, 로봇 학습이 피하고 싶은 난제가 한 작업 안에 모두 들어 있다.

발표가 제시한 출발점은 간병 현장의 필요다. 요양시설 거주자와 재택 간병 환자의 92%가 옷을 입는 데 도움을 필요로 한다. 이 반복적인 돌봄 노동을 로봇이 맡을 수 있다면 간병인의 부담을 크게 줄일 수 있다.

그러나 의복은 잡는 즉시 형태가 바뀌는 변형체다. 옷을 입는 사람도 고정된 지그가 아니다. 팔을 움직이고, 몸을 틀고, 접촉에 불편함을 느낀다. 정책은 서로 다른 체형과 자세, 다양한 소매 형태를 처리하면서도 사람에게 가하는 힘을 안전하게 유지해야 한다.

착의 보조가 필요한 인구 통계와 로봇 착의 과제의 어려움을 설명하는 슬라이드
00:02:20 높은 돌봄 수요와 함께 변형체, 인간 안전, 일반화라는 세 조건이 동시에 등장한다.
6천 개 이상의 인체 메시와 다섯 종류 의복으로 구성한 시뮬레이션 데이터셋 슬라이드
00:03:10 실세계 수집이 어려운 다양성을 6,000개 이상의 인체 메시와 의복 5종으로 확보했다.

Evidence 02 · Generalization

한 사람에게 성공한 정책은 왜 여러 사람 앞에서 무너졌나

초기 설정은 비교적 표준적이다. 의복·팔·엔드이펙터로 분할한 포인트 클라우드를 관측으로 사용하고, 엔드이펙터 변위를 행동으로 낸다. 시뮬레이터의 특권 정보를 이용해 팔이 얼마나 소매 안으로 들어갔는지를 보상으로 계산하고 SAC로 정책을 학습한다.

한 사람만 상대할 때는 작동했다. 하지만 여러 체형과 자세를 한 정책에 넣는 순간 관측 공간과 보상의 분산이 너무 커져 수렴하지 않았다. 연구팀은 더 큰 모델을 투입하는 대신 과제 공간을 먼저 좁혔다.

포인트 클라우드 입력과 SAC 정책을 사용한 기본 착의 강화학습 구성을 설명하는 슬라이드
00:05:00 단일 인체에서는 작동하지만 자세와 체형을 늘리면 표준 RL이 수렴하지 않는다.

분할 정복: 교사는 좁게, 학생은 넓게

인체 자세를 여러 범주로 나누고 범주마다 별도의 교사 정책을 RL로 학습한다. 각 교사는 제한된 분포만 다루므로 안정적으로 수렴한다. 이후 모든 교사의 행동 데이터를 모아 행동 복제로 하나의 학생 정책에 증류한다. 최종 학생은 단일 정책이면서도 여러 체형과 자세를 처리한다.

6,000+ 시뮬레이션에 사용한 인체 메시
5종 평가에 포함된 의복 종류
17명 초기 실세계 사용자 연구 참가자
30회 참가자 한 명당 시행 횟수
자세 범주별 교사 정책을 학습하고 하나의 학생 정책으로 증류하는 구조
00:06:10 범주별 RL 교사를 먼저 학습한 뒤 행동 복제로 단일 학생 정책을 만든다.
여러 참가자와 의복 및 자세에서 증류 정책을 실세계 검증한 결과
00:06:50 17명×30회 평가에서 증류 정책은 다양한 의복과 자세에 걸쳐 착의를 수행했다.
의복 종류별 로봇 착의 성능을 비교하며 긴 소매일수록 어려움을 보이는 결과 그래프
00:07:35 짧은 소매는 쉽고, 길고 좁은 소매일수록 성능이 낮아진다. 길어진 소매가 팔을 가리기 때문이다.

Evidence 03 · Failure in Contact

카메라에 보이지 않는 순간, 로봇은 사람과 싸우기 시작했다

정책 증류는 다양성 문제를 완화했지만 접촉의 질까지 해결하지는 못했다. 긴 소매가 팔을 가리면 비전 정책은 천 안에서 무슨 일이 벌어지는지 알 수 없다. 사용자가 팔을 조금만 움직여도 로봇은 변화에 대응하지 못한 채 계속 당기거나 멈췄다.

사용자 불편 발언과 시뮬레이션 및 실세계 힘 측정 차이를 보여주는 슬라이드
00:08:30 실세계와 시뮬레이션에서 측정한 힘이 일치하지 않았다. 비전 전용 정책에는 힘이라는 상태 자체가 없었다.

같은 행동을 시뮬레이션에서 재현해도 실세계의 힘 측정값과 맞지 않았다. 파라미터를 조정해도 전이에 충분한 수준으로 좁혀지지 않았다. 사람 팔의 움직임까지 학습에 넣으려 하면 시뮬레이터의 천 물리가 불안정해져 발산했다.

학습 환경 강점 확인된 약점 연구에서 맡긴 역할
시뮬레이션 대규모 데이터, 체형·자세·의복 다양성 접촉력 불일치, 움직이는 인체에서 물리 불안정 일반화 가능한 비전 정책
실세계 실제 센서 힘과 접촉 결과 수집 비용, 안전 부담, 분포 제한 힘 동역학과 정책 미세조정
착의 도중 사람이 팔을 움직일 때 비전 전용 정책이 멈추는 실패 사례
00:09:20 가려진 팔이 움직이면 비전 정책은 변화 원인을 관측하지 못하고 끼인다.
시뮬레이션과 실세계 모방학습의 장단점을 정리한 슬라이드
00:09:50 시뮬은 일반화에, 실세계는 접촉 물리에 강하다. 이후 모든 방법은 이 역할 분담을 따른다.

Evidence 04 · FCVP

해법 1: 정책은 시뮬에서, 힘 예측은 실세계에서

FCVP는 기존 비전 정책을 버리지 않는다. 정책이 행동 하나를 바로 실행하는 대신 여러 후보 행동을 샘플링한다. 실세계에서 학습한 힘 동역학 모델이 각 후보가 만들 다음 힘을 예측하고, 임계값을 넘는 후보를 제거한다. 안전한 후보 가운데 정책 확률이 가장 높은 행동만 실행한다.

01 · VISION POLICY 시뮬레이션에서 학습한 정책이 행동 분포를 출력한다.
02 · SAMPLE 분포에서 여러 후보 행동을 샘플링한다.
03 · FORCE MODEL 힘 이력과 포인트 클라우드로 다음 힘을 예측한다.
04 · FILTER 힘 임계값을 넘을 후보를 실행 전에 제거한다.
05 · ACT 남은 후보 중 정책 확률이 가장 높은 행동을 선택한다.

이 절충이 실용적인 이유는 힘 동역학 모델이 전체 정책보다 훨씬 빨리 학습되기 때문이다. 실세계에서 모든 체형과 의복을 다시 경험할 필요 없이, “이 상태에서 이 행동을 하면 다음 힘이 얼마나 커지는가”라는 좁은 예측 문제만 학습한다.

비전 정책의 후보 행동을 실세계 힘 동역학 모델로 필터링하는 FCVP 구조
00:12:10 FCVP는 적은 실세계 데이터로 학습한 힘 모델을 정책 앞단의 안전 필터로 사용한다.
FCVP가 힘 위반을 줄이면서 착의 비율을 유지한 실험 결과 그래프
00:13:00 힘 위반은 크게 줄고 착의 비율은 유지됐다. 일부 실험에서는 착의율도 오히려 높아졌다.
안전과 성능의 관계를 다시 보기

힘 제약은 정책을 소극적으로 만드는 장치만이 아니었다. 접촉이 비정상적으로 커지는 행동을 제거하자 로봇은 막힌 상태를 회피했고 결과적으로 착의 진전도 높아졌다.

Evidence 05 · Reward without Privileged State

해법 2: 보상을 코드로 쓸 수 없다면 두 장면을 비교한다

실세계 RL로 넘어가면 또 다른 벽이 나타난다. 시뮬레이터에서는 팔이 소매 안으로 얼마나 들어갔는지 내부 상태로 계산할 수 있지만, 실세계에서는 카메라와 센서의 원시 관측만 얻는다. LLM에게 보상 코드를 생성하게 해도 그 코드가 읽을 완벽한 상태값이 없다.

블록 밀기 작업의 복잡한 수작업 보상 설계 예시
00:14:30 단순한 블록 밀기조차 근접, 방향, 목표 도달을 합친 복잡한 보상이 필요하다.
실세계에서는 시뮬레이터 코드와 특권 상태에 접근할 수 없다는 설명
00:15:10 실세계에는 보상 코드가 읽을 내부 상태가 없다. 원시 관측에서 진전을 추론해야 한다.

이미지와 목표 이미지의 임베딩 거리를 사용하는 CLIP 계열 보상도 대안이지만, 언어–이미지 사전학습 분포에 묶이고 픽셀 수준의 변화에 흔들려 노이즈가 컸다. 연구팀은 사람의 판단 방식에서 다른 단서를 찾았다.

같은 장면에 절대 점수를 매기게 하면 사람마다 점수가 다르고, 같은 사람도 시간에 따라 다른 숫자를 준다. 그러나 두 장면 중 어느 쪽이 더 진행됐는가에 대한 순서는 비교적 일관됐다. VLM에도 숫자 대신 비교를 요청해야 한다는 설계가 여기서 나온다.

CLIP 계열 이미지 보상의 한계와 노이즈를 설명하는 슬라이드
00:16:00 임베딩 유사도 기반 보상은 데이터 분포와 이미지 정합에 민감해 노이즈가 크다.
사람의 절대 점수는 불일치하지만 상대적 순서는 일관된다는 실험
00:16:50 절대값 대신 상대 선호를 사용하면 사람과 VLM의 강점을 더 안정적으로 활용할 수 있다.

RL-VLM-F: 설명 한 줄에서 보상 모델까지

관측 두 개와 “천을 대각선으로 접어라” 같은 과제 설명을 VLM에 제공하고 어느 관측이 목표에 더 가까운지 묻는다. 이 선호 라벨로 보상 모델을 학습한 뒤 해당 보상으로 정책을 개선한다. 사람이 제공하는 것은 과제 설명 한 줄뿐이다.

P(τA ≻ τB) = exp(R(τA)) / [exp(R(τA)) + exp(R(τB))] 선호된 궤적의 누적 보상 R이 더 커지도록 Bradley–Terry 모델을 최대우도추정으로 학습한다.

프롬프팅도 두 단계가 더 효과적이었다. 먼저 두 이미지에 무엇이 보이고 어떤 차이가 있는지 서술하게 한다. 그 다음 어느 쪽이 더 진행됐는지, 또는 둘 다 적절하지 않은지를 라벨링한다. 관찰을 언어로 명시한 뒤 판단하게 만들어 비교의 일관성을 높인 것이다.

관측쌍과 과제 설명으로 VLM 선호를 얻고 보상 모델과 정책을 학습하는 RL-VLM-F 파이프라인
00:17:30 관측쌍 → VLM 선호 → 보상 모델 → 정책 학습으로 이어지는 RL-VLM-F 구조.
Bradley-Terry 모델로 선호 라벨을 연속 보상으로 변환하는 수식과 설명
00:18:10 RLHF에서 널리 쓰이는 선호 모델을 로봇 궤적 보상 학습에 적용한다.
RL-VLM-F와 CLIP, BLIP-2, RoboCLIP 및 VLM 원시 점수를 비교한 학습 곡선
00:19:00 비교 기반 RL-VLM-F는 CLIP 계열과 VLM 원시 점수를 앞섰고 수작업 정답 보상과의 격차도 작았다.

무라벨 실세계 데이터에 보상을 붙이다

실세계에서는 보상이 없는 준최적 데이터셋에서 관측쌍을 뽑아 VLM이 비교한다. 선호 데이터로 학습한 보상 모델이 데이터셋 전체에 보상을 라벨링하고, 이후 IQL 기반 오프라인 RL이 좋은 행동을 더 높은 확률로 선택하도록 정책을 개선한다.

ViperX 300s 로봇과 마네킹 실험에서 이 접근은 같은 준최적 데이터를 그대로 모방한 DP3보다 높은 팔 착의 비율을 기록했다. 모방은 데이터의 평균에 머물지만, 보상은 데이터 안에서 더 나은 행동을 구별하게 한다.

무라벨 실세계 데이터에서 VLM 선호 보상을 만들고 오프라인 RL을 수행하는 구조
00:20:20 VLM 비교로 무라벨 데이터 전체에 보상을 붙인 뒤 IQL을 수행한다.
오프라인 RL-VLM-F가 DP3 모방학습보다 높은 착의율을 보인 로봇 실험 결과
00:21:00 보상 기반 오프라인 RL은 동일한 준최적 데이터를 모방한 기준선을 넘어섰다.

Evidence 06 · FMVP

최종 통합: 시뮬 비전 정책에 실세계 힘을 사후 주입한다

FMVP는 시뮬레이션에서 학습한 비전 정책을 초기값으로 사용하고, FiLM 조건화 레이어를 추가해 실세계 힘 정보를 주입한다. 전체 정책은 실세계 데이터로 오프라인 미세조정된다. 좋은 시뮬레이션 초기화가 있으므로 처음부터 실세계에서 정책을 학습할 때보다 필요한 데이터가 적다.

보상은 두 목적을 합친다. 실제 힘 센서가 임계값 이하인지 평가하는 힘 보상과, RL-VLM-F가 제공하는 착의 진전 보상이다. 목표는 간단하다. 사람에게 가하는 힘은 낮추고, 팔이 입혀진 비율은 높인다.

SIM PRIOR 대규모 시뮬레이션에서 체형·자세·의복 일반화를 학습한다.
REAL FORCE 실세계 센서에서 정확한 접촉력과 힘 이력을 얻는다.
FiLM 기존 비전 표현을 힘 정보로 조건화한다.
DUAL REWARD 힘 임계 보상과 VLM 착의 보상을 결합한다.
OFFLINE RL 실세계 데이터로 안전성과 수행 성능을 함께 높인다.
시뮬레이션 비전 정책에 FiLM 레이어로 힘을 주입하고 오프라인 RL로 미세조정하는 FMVP 구조
00:23:30 FMVP는 시뮬 비전 정책을 보존하면서 FiLM으로 힘 정보를 사후 주입한다.

움직이는 사람을 상대로 한 평가

최종 사용자 연구에는 8명이 참여해 총 192회의 착의를 수행했다. 참가자는 착의 도중 팔을 올리고, 굽히고, 펴고, 물병이나 전화를 받거나 머리를 긁었다. 학습에 포함된 움직임뿐 아니라 처음 보는 움직임도 평가했다.

FMVP는 비전 전용 기준선보다 편안함 리커트 점수가 유의하게 높았고 p < 0.05, 팔 착의 비율도 높았다. 힘 조건화는 단순히 멈추는 안전장치가 아니라 사람의 움직임에 맞춰 행동을 수정하는 정보 채널로 작동했다.

참가자들이 착의 도중 다양한 팔 움직임과 일상 행동을 수행하는 실험 설계
00:24:20 8명·192회 평가에서 학습된 동작과 학습되지 않은 동작을 모두 시험했다.
FMVP가 비전 전용 기준선보다 편안함과 팔 착의 비율에서 우수한 결과
00:25:00 FMVP는 편안함과 착의율 모두에서 우세했고 보지 못한 움직임에도 적응했다.

Research Arc

각 실패가 다음 방법을 결정했다

관찰된 실패 문제의 정확한 위치 도입한 방법 얻은 효과
다양한 체형과 자세에서 RL이 수렴하지 않음 관측 공간과 보상 분산 범주별 교사 정책과 정책 증류 다양한 자세를 처리하는 단일 학생 정책
가림과 사람 움직임에서 로봇이 끼임 비전 정책의 힘 감각 부재 FCVP 힘 예측 및 행동 필터 힘 위반 감소와 착의 성능 유지
실세계에 특권 상태 기반 보상이 없음 절대 점수와 임베딩 보상의 불안정성 RL-VLM-F 비교 선호 보상 무라벨 데이터의 자동 보상 라벨링
비전과 힘의 분리된 처리 접촉 정보가 정책 표현에 직접 반영되지 않음 FMVP의 FiLM 조건화와 오프라인 RL 움직이는 사람에게 더 편안하고 높은 착의율
시뮬레이션 학습과 실세계 데이터 및 오프라인 강화학습의 결합을 최종 결론으로 제시한 슬라이드
00:26:20 대규모 시뮬레이션으로 일반성을 얻고, 실세계 데이터와 오프라인 RL로 접촉 성능을 완성한다.

Implications

이 구조는 굴착기 같은 접촉 중심 기계에도 옮겨갈 수 있다

착의 보조와 중장비 작업은 규모가 전혀 다르지만 학습 문제의 구조에는 공통점이 있다. 환경의 기하와 작업 조건은 다양하고, 실제 접촉력은 시뮬레이션으로 정확히 맞추기 어렵다. 이 연구가 제시한 역할 분담은 다음과 같이 번역할 수 있다.

  • 시뮬레이션은 일반화를 담당한다. 지형, 기하, 작업 순서와 시야 조건의 다양성을 대규모로 학습한다.
  • 실세계는 반력과 접촉 결과를 담당한다. 토양 반력처럼 모델링 오차가 큰 물리는 실제 센서 데이터로 보정한다.
  • 작은 동역학 모델을 안전 필터로 먼저 활용한다. 정책 전체를 실기에서 다시 학습하지 않고 행동별 반력을 예측해 위험 후보를 사전에 제거한다.
  • 완료도를 수치화하기 어렵다면 비교 보상을 검토한다. 두 굴착 결과 중 목표에 더 가까운 쪽을 판단하게 하는 방식은 절대 점수보다 안정적일 수 있다.
  • 사람의 체감 안정성을 별도 지표로 둔다. 주변 작업자나 동승 오퍼레이터가 느끼는 예측 가능성과 안정성은 작업량만큼 중요한 평가값이다.
그대로 옮길 수 없는 부분

이 연구는 저속·저출력 매니퓰레이터를 전제로 한다. 사람과 접촉하며 힘을 줄이는 문제와 수 톤급 하중을 제어하는 문제는 허용 가능한 오차와 안전 여유가 다르다. 특히 VLM이 현장 영상을 올바르게 판단하는지는 별도의 도메인 검증이 필요하다.

Limitations & Open Questions

남은 한계는 ‘결합의 깊이’다

  • FCVP와 FMVP 모두 양은 줄었지만 실세계 데이터 수집 자체를 제거하지는 못했다.
  • 오프라인 RL은 수집 데이터의 지원 범위를 크게 벗어난 상황에서 성능을 보장하기 어렵다.
  • VLM이 가림, 천의 주름, 미세한 착의 진전을 오판할 때의 방어책은 발표에서 충분히 다뤄지지 않았다.
  • FiLM은 효과적이지만 힘과 시각 장면 사이의 물리적 원인을 명시적으로 연결하는 구조는 아니다.

Q&A에서 Held가 제시한 이상적인 방향은 힘을 장면에 접지하는 것이다. 즉 “이 힘이 어떤 물체가 어디에 눌리거나 쓸리면서 발생했는가”를 정책이 시각적으로 추론해야 한다. 비주얼 월드 모델을 힘으로 조건화하는 접근이 한 후보지만, 어떤 아키텍처가 적합한지는 아직 열린 문제로 남았다.

Reader Takeaway

좋은 실세계 로봇 학습은 시뮬레이션을 버리지도, 맹신하지도 않는다.

시뮬레이션이 잘하는 일반화와 실세계가 독점하는 접촉 정보를 분리한 뒤, 필요한 지점에서만 결합해야 한다. 이 사례의 가장 중요한 교훈은 “더 현실적인 시뮬레이터를 만들자”가 아니라 어떤 물리가 전이되지 않는지를 측정하고, 그 부분만 실세계에서 학습하자는 데 있다.

Sources & Notes

출처와 읽기 주의사항

  1. 1차 자료: David Held, “A Case Study of RL — Robot Assisted Dressing.” Zhanpeng He 채널, ICRA 2026 RL4IL Workshop, 2026년 6월 8일 게시, 28분 50초. 발표 영상 보기
  2. 본문에 기재한 92%, 인체 메시 6,000+, 참가자 17명×30회, 참가자 8명·192회, p < 0.05 등의 수치는 발표 슬라이드와 발표자의 설명을 기준으로 정리했다.
  3. FCVP, RL-VLM-F, FMVP의 구조와 결과는 공개 발표를 독자가 이해하기 쉬운 흐름으로 재구성한 것이다. 세부 실험 설정이나 통계적 검증에는 각 원 논문을 함께 확인해야 한다.
  4. 굴착기와 중장비에 관한 내용은 발표자의 직접 주장이라기보다, 발표에서 확인된 시뮬레이션–실세계 역할 분담을 접촉 중심 산업 로봇에 확장해 해석한 시사점이다.
  5. 함께 읽을 주제: Pulkit Agrawal의 시뮬레이션 사전학습·접촉 최적화 논의, Jason Ma의 실세계 프로덕션 로보틱스 데이터 수집 전략.
편집 방법: 발표의 시간순 구조를 유지하되, 공개 연구 보고서에 맞게 문제 정의 → 실패 증거 → 방법 → 평가 → 시사점 순서로 재배치했다. 모든 화면 이미지는 제공된 로컬 자산을 사용했으며, 외부 스크립트·외부 스타일·임베디드 플레이어는 포함하지 않았다.