
산업용 인간-로봇 협업을 위한 신뢰도 인식 다중 모달 융합 프레임워크
A Confidence-Aware Multimodal Fusion Framework for Industrial Human-Robot Collaboration
Xinyu Liu, Qiqi Dong, Boya Jia, Yi Zhang, Binbin Lian
신뢰도 인식 다중 모달 융합 프레임워크(CAMF)는 물체 6D 포즈, 시선(gaze), 골격 동작, 관성 측정 장치(IMU) 기반 손 동작의 4가지 이종 모달리티를 융합해 산업 환경에서 인간 의도를 예측한다. 실시간 모달리티 신뢰도에 따라 양방향 시계열 특징을 적응적으로 조정하는 신뢰도 추세 기반 동적 융합 메커니즘을 BiLSTM에 내장한다. 신뢰도 안내 균형 학습 전략과 신뢰도 동결(confidence freezing) 메커니즘을 결합해 저품질 모달리티의 노이즈를 억제하고 교차 모달 학습 편향을 완화한다. UR3 협동로봇 기반 물리 플랫폼 실험에서 의도 인식 정확도 91.86%를 달성하며 기존 다중 모달 융합 방식 대비 높은 성능과 안정성을 보였다. 저조도 및 부분 가려짐 조건에서도 만족스러운 정확도를 유지하며 실제 조립 작업에서 선제적이고 안정적인 인간-로봇 협업을 가능하게 한다.















