CARD 2 · PROBLEM
2 / 5
어떤 문제를 풀고 있나
최근 전방위 모달 대형언어모델(Omni-LLM)은 실시간 비디오 어시스턴트로서의 가능성을 보이고 있으나, 사용자와의 동적 상호작용 과정에서 모델의 예측 불가능한 응답이 이후 사용자 행동을 변화시키므로, 정적 오프라인 데이터셋으로는 이를 평가할 수 없다는 근본적 문제가 있다.
CARD 3 · METHOD
3 / 5
어떻게 풀었나
기존 인터넷 비디오를 역공학하여 논리적 사용자 목표를 도출하고 비디오를 다중 턴 클립으로 분할하여 연속적 상호작용을 시뮬레이션하며, 발산하는 상호작용 경로 문제를 해결하기 위해 모델에 사전 정의된 기준 경로를 제공하는 방식으로 1000인시 이상의 전문가 검수를 거쳐 OmniAssistBench 데이터셋을 구축했다.
CARD 4 · RESULTS
4 / 5
결과와 의의
Gemini-3-Pro는 최대 100점 중 66.4점, 오픈소스 Qwen3-Omni-Instruct는 51.2점을 달성했으며, 현재 모델들은 사용자 입력 이해는 상대적으로 잘하나 시각적 프롬프트(예: 손짓) 처리 실패, 다중 턴 상호작용 중 역사적 맥락 유지 불능, 목표 이벤트까지의 응답 지연 실패 등의 한계를 보였다.
!
이 벤치마크는 현실적 상호작용 환경에서 전방위 모달 모델의 어시스턴트 능력을 평가할 수 있는 첫 번째 엄격한 평가 프레임워크를 제공하며, 모델의 신뢰할 수 있는 실시간 어시스턴트로의 발전 방향을 제시한다.
— 의의