
DexRoam: 자아중심 전신 인간 시연 기반 이동형 양손 정밀 조작 학습
DexRoam: Learning Mobile Bimanual Dexterous Manipulation from Egocentric Whole-Body Human Demonstrations
Rui Zhou, Yibo Yuan, Junkai Zhao, Fangyuan Zhao, Xiaoguang Zhao 외 2명
DexRoam은 전신 동작의 연속성을 유지하면서 인간 시연을 로봇 정책 학습에 활용하는 이동형 양손 정밀 조작(mobile bimanual dexterous manipulation) 시스템이다. 외부 카메라나 모션 트래커 없이 소비자용 VR 헤드셋과 두부 장착 스테레오 카메라만으로 자아중심(egocentric) 전신 조작 시연을 수집하는 트래커 없는 캡처 시스템을 구성했다. 수집된 모션은 신체화(embodiment)·행동-의미론(action-semantic)·시간(temporal) 세 단계 정렬을 거쳐 로봇 행동 공간에 매핑되며, 인간·로봇 시연을 시각-언어-행동 모델(VLA) 정책으로 공동 학습한다. 실제 환경 실험에서 인간 시연을 추가했을 때 GR00T N1.7 기반 정책의 평균 성공률은 29%에서 56%로, pi0.5 기반 정책은 32%에서 57%로 향상됐다. 또한 로봇 시연 절반만 사용하는 조건에서도 로봇 시연만으로 훈련한 결과와 동등한 성능을 달성했다.














