CARD 2 · PROBLEM
2 / 5
어떤 문제를 풀고 있나
GUI 에이전트는 복잡한 디지털 작업을 자동화할 수 있으나, 부족하고 편향된 학습 데이터, 모호한 프롬프트, 신뢰할 수 없는 실행으로 인해 실제 배포가 어렵다. 사용자 특화 도구와 암묵적 관례에 의존하는 일상적 워크플로우는 불명확한 지시사항으로 인해 실행마다 임의의 변동을 초래한다.
CARD 3 · METHOD
3 / 5
어떻게 풀었나
UI-Mate는 환경 기반 학습 스택과 문맥 내 시연 학습을 통합한 기반 GUI 에이전트이다. 자동화된 작업 생성, 환경 구축, 롤아웃, 필터링, 능력 균형 조정, 감독 학습, 온라인 강화학습을 병렬 환경에서 수행하는 폐루프 데이터 엔진을 구축했으며, 멀티모달 시연을 유연한 소작업 수준의 워크플로우로 변환하는 시연 학습 메커니즘을 개발했다.
CARD 4 · RESULTS
4 / 5
결과와 의의
UI-Mate-27B는 OSWorld-Verified에서 77.0%, WindowsAgentArena에서 66.2%의 성능을 기록하여 오픈 가중치 기반 컴퓨터 사용 벤치마크에서 새로운 최고 기록을 달성했다. OSWorkerBench에서는 엄격한 성공도 41.0%, 진행률 76.9%에 도달했으며, 특히 자기 시연 설정에서 단일 시연으로 엄격한 성공을 17.2%에서 35.4%로 향상시켰다.
!
이 연구는 실제 사용자 작업에 가까운 장시간 워크플로우에서 GUI 에이전트의 신뢰성과 적응성을 크게 향상시키며, 시연 학습이 모호한 지시사항을 명확히 하는 효과적인 방법임을 보여준다. 오픈 가중치 모델 기반의 실용적인 GUI 자동화 솔루션을 제시함으로써 다양한 응용 분야에서의 배포 가능성을 높였다.
— 의의