AI 시대의 로봇 안전성 재고

요약

기존 로봇 안전 평가는 시스템 오작동 상황을 주된 위협으로 가정했으나, 물리적 AI(Physical AI) 환경에서는 공격자가 로봇의 인식·판단·행동을 조작해도 겉으로는 아무 이상이 없어 보일 수 있다는 점이 새로운 과제로 부상하고 있다. 현대 로봇은 다중 모달 센서로 환경을 인식하고 AI 모델로 맥락을 해석한 뒤 물리적 동작으로 전환하므로, 의사결정을 이끄는 데이터의 무결성이 안전성과 직결된다. 공격 표면(attack surface)은 학습 파이프라인, 시스템 인프라, 런타임 인식의 세 계층으로 나뉜다. 2017년 BadNets 연구는 모델이 특정 트리거 조건에서만 이상 행동을 보이도록 학습 단계에서 조작될 수 있음을 보여 주었다.