실기기 92.2% Qwen-UI-Agent, 모바일 GUI서 Opus 4.8·GPT-5.6 앞서 — 화면조작에 CLI까지 한 액션에
요 며칠 해외에선 화면을 사람처럼 조작하는 에이전트, 모델 안에 '기억'을 심는 연구, 지시 한 줄로 영상을 편집하는 오픈웨이트가 잇달아 나왔다. 실무에 바로 닿는 세 가지만 추린다.
- Qwen-UI-Agent: 실기기 모바일 GUI에서 프런티어 모델을 앞선 오픈 에이전트
무엇: 알리바바 통이(Qwen) 팀이 7/29 공개. 실기기 100여 대·앱 150여 개로 꾸린 환경에서 만든 모바일 벤치 MobileWorld-Real(과제 409개)에서 92.2%. 이 점수로 Opus 4.8·GPT-5.6 Sol·Gemini 3.1 Pro·Seed 2.1 Pro를 3.5~7.5%p 앞섰다. 데스크톱 OSWorld-Verified 79.5%(전체 2위), 웹 WebArena 73.6%.
왜 중요: 클릭·입력 같은 GUI 동작과 bash(cli_command)를 한 액션 공간에서 섞고, 컴퓨터 사용 과제에선 액션 출력의 40% 이상을 한 번에 배치로 묶는다(데스크톱에선 CLI 명령과 GUI 클릭이 양대 동작). 화면만 더듬던 방식보다 반복 작업 자동화에 실속이 있다.
써보기: 모바일 QA·반복 입력 매크로처럼 '화면+터미널'이 섞인 흐름부터 대상. 벤치 수치는 자기 보고이니 자기 워크플로로 재현 테스트 후 판단.
- Metis: 모델 안에 기억을 넣는 '메모리 파운데이션 모델'
무엇: 7/29 공개. 외부 벡터DB 대신 백본 파라미터 안에 기억 상태를 두고, 추론 때 가중치는 얼려둔 채 순전파 한 번으로 기억을 갱신한다(그래디언트 불필요). Qwen3.5 기반 4B·9B·27B로 제공.
왜 중요: RAG처럼 매번 검색·주입하는 대신 모델이 스스로 기억을 압축·갱신한다는 접근. 다만 논문이 한계를 명시한다 — 정보를 고정 크기 파라미터에 압축하다 보니 장기 과제에서 성능이 떨어지고, 잠재공간에서 의미가 섞이며 '정보 혼동'이 나타난다.
써보기: 아직은 장기 대화 메모리의 방향을 보는 연구 단계로 읽는 게 안전하다. 프로덕션 기억은 당분간 RAG 병행이 현실적.
- MiniMax H3: 지시로 영상을 편집하는 33B 오픈웨이트
무엇: 8/3 허깅페이스에 가중치 공개. 4~15초·24fps 영상에 대사·효과음·앰비언스(32kHz 스테레오)를 한 패스에서 같이 만든다. 텍스트→영상, 이미지→영상, 첫·끝 프레임 제어, 인플레이스 편집을 한 모델이 처리하고 ComfyUI 네이티브 지원·공식 워크플로 템플릿도 함께 나왔다. 가중치 크기는 양자화에 따라 갈린다(INT8 약 31.7GB, 프루닝 INT8 약 19.5GB). 단, 기본 출력은 단변 768px 수준이고 2K는 아직 공개되지 않은 별도 모듈(H3-Regenerate-2K)이 필요하다.
왜 중요: '이 인물/사물/장면 이렇게 바꿔' 식 지시 기반 영상 편집을 오픈웨이트로 다룬다는 점. 오디오까지 한 패스라 별도 폴리(효과음) 작업을 줄인다.
참고: 일부 영상편집 아레나에서 상위권으로 거론되나, 특정 리더보드 순위(영상편집 1위·텍스트→영상 2위 등)는 [미확인].
주의: 커뮤니티 라이선스가 미국·EU·영국과 함께 한국을 사용 대상에서 제외한다(연매출 2천만 달러 초과 기업은 별도 상용 허가 필요). 국내에서 실사용·상용 적용 전 라이선스 조항을 반드시 확인할 것.
오늘 체크: 화면+터미널이 섞인 반복 업무가 있다면 Qwen-UI-Agent를 자기 과제로 재현 테스트해 수치부터 검증해 보세요.
출처:
https://huggingface.co/papers/2607.28227
https://arxiv.org/html/2607.28227v1
https://aiweekly.co/alerts/qwen-ui-agent-report-claims-lead-on-real-device-gui-benchmarks
https://huggingface.co/papers/2607.26760
https://arxiv.org/abs/2607.26760
https://comfyui-wiki.com/en/news/2026-08-03-minimax-h3-open-weights-comfyui
https://www.atlascloud.ai/blog/guides/minimax-h3-open-source-weights
https://aiweekly.co/alerts/minimax-posts-h3-a-33b-omni-modal-video-model-to-hugging-face
댓글 (0)
아직 댓글이 없습니다.
댓글을 쓰려면 입장하세요.
← 목록