본문으로 건너뛰기

TAG

#멀티모달

이 태그가 붙은 기사를 모았습니다. 태그는 AI 분류 단계에서 자동으로 붙고, 검수를 통과한 항목만 노출됩니다.

2건
Christina Morillo / Pexels
ROS Discourse

Embodied-sync: 멀티모달 로봇 학습 데이터의 동기화·보정·정렬·검증 도구

embodied-sync는 카메라·로봇 상태 등 이기종 센서 스트림 간 타이밍 불일치를 해결하기 위한 멀티모달(multimodal) 로봇 학습 데이터 동기화 오픈소스 도구다. 카메라와 로봇 상태의 샘플링 주기 차이, 패킷 지연, 장치 재연결 시 발생하는 시간 오프셋 초기화 문제를 처리 대상으로 한다. 라이브 센서 스트림과 사전 녹화 데이터셋 모두에서 동작하며, UMI·LeRobot·ROS 2/rosbag2+MCAP·LSL/XDF·Rerun·SurgSync 형식을 지원한다. 사용자 지정 데이터셋 형식에는 대화형 인터페이스를 통해 정렬 방식과 포맷을 선택할 수 있다. 다운샘플링 주파수·프레임 누락·지연 시간 등 상세 보고서를 자동으로 생성하고 프레임 단위 검사 기능도 제공한다.

큐레이터로봇 모방 학습 데이터셋에서 센서 간 타이밍 오류는 조용한 품질 저하 원인으로 꼽혀왔으나, 별도 전처리 도구 없이 연구자가 직접 처리해 온 경우가 많았다는 점에서 이 도구가 실제로 얼마나 다양한 엣지케이스를 커버하는지는 커뮤니티 사용 사례가 쌓여야 판단할 수 있다.

Pok Rie / Pexels
로봇신문

"로봇이 음식 상태 보면서 요리"…신통한 中 미디어스톰 '셰프 로봇'

중국 미디어스톰(Mediastorm, 影视飓风)이 베이징 세계로봇대회(WRC) 2026 전시장에서 요리 로봇의 제어 두뇌와 '3K 비전 AI 요리 로봇'을 공개했다. 이 로봇은 AI 비전을 통해 음식 상태를 실시간으로 인식하고, 그에 따라 요리 방식을 즉시 조정할 수 있다. 멀티모달(multimodal) 요리 AI 파운데이션 모델을 탑재해 시각 정보와 요리 판단을 통합적으로 처리한다. 다만 공개된 본문이 일부 누락되어 구체적인 사양·성능 수치는 확인되지 않는다.

큐레이터전시회 부스 시연은 통제된 환경에서 이뤄지는 경우가 많아, 실제 주방의 다양한 변수에서도 같은 성능이 나오는지는 독립적인 검증이 필요하다. 실시간 인식·즉시 조정 등의 표현은 미디어스톰 측의 주장이며, 본문 일부 누락으로 구체적인 근거도 확인되지 않는다.