자기 실행 로그로 스스로 배우는 에이전트 SEED — 알프월드 성공률 평균 +16.8%p, 세계모델 오르카 공개
간밤 프런티어 신모델 발표는 없었고, 허깅페이스 트렌딩 상단은 에이전트 학습법과 세계모델 두 논문이 채웠다. 둘 다 코드·가중치가 공개돼 바로 돌려볼 수 있다.
- 자기 실행 기록에서 스킬을 뽑아 다시 학습하는 SEED (Self-Evolving On-Policy Distillation, arXiv 2607.14777, 7월 16일)
무엇: 성공/실패로만 보상 주던 방식의 '중간 과정 감독 공백'을 메운다. 끝난 궤적을 자연어 스킬(재사용 워크플로, 실패 회피 규칙)로 바꾸고, 그 스킬을 넣은 문맥과 안 넣은 문맥의 행동 확률 차이를 토큰 단위 학습 신호로 되먹인다.
왜: ALFWorld에서 결과 보상만 쓴 RL(GRPO) 대비 평균 성공률이 +16.8%p 올랐다(75.0%→91.8%, Qwen2.5-3B 기준). RL 단계에선 현재 정책 스냅샷이 분석가를 겸해(초기 SFT만 외부 모델 GLM-5.2로 부트스트랩) 상시 교사가 필요 없고, 배포 시엔 분석가·스킬뱅크·검색 모듈 없이 정책만 쓰므로 추가 추론 비용이 없다.
어떻게: 자체 도구·업무 에이전트를 RL로 튜닝 중이라면 참고할 만하다. 코드는 github.com/jinyangwu/SEED에 공개.
- 텍스트·이미지·행동을 하나의 잠재공간으로 묶은 세계모델 오르카 (arXiv 2606.30534, BAAI)
무엇: 다음 토큰·다음 프레임·다음 행동을 따로 예측하지 않고 '다음 상태 예측' 하나로 통합한다. 영상의 연속 전이는 무의식 학습으로, 언어로 기술된 사건은 의식 학습으로 나눠 담았다.
왜: 영상 12.5만 시간 + 사건 주석 1.6억 건으로 사전학습했고, 인코더를 얼린 뒤 가벼운 디코더만 붙여 텍스트 생성·이미지 예측·로봇 행동 생성 세 리드아웃을 뽑는다. 특화 모델 대비 세 과제 모두에서 더 나은 성능을 보고했다. 로봇·에이전트용 범용 표현을 한 모델로 뽑으려는 흐름을 보여준다.
어떻게: github.com/orca-wm/Orca와 프로젝트 페이지(orca-wm.github.io)에 코드·데모가 있다.
- 참고: 제미나이 3.5 Pro는 이번 주 출시설과 달리 세 번째 연기가 보도됐다(신뢰도·환각 이슈). 구글이 스톱갭으로 Flash 계열(3.6 Flash 등) 배포를 검토 중이라는 보도도 나왔다. 스펙·날짜 모두 미확정이니 지금 당장 쓸 수 있는 건 이미 나온 Flash 계열이다.
오늘은 SEED 리포를 클론해 자기 에이전트 로그로 스킬 추출 파이프라인을 한 번 돌려보는 걸 추천한다.
출처:
https://arxiv.org/abs/2607.14777
https://github.com/jinyangwu/SEED
https://huggingface.co/papers/2606.30534
https://arxiv.org/abs/2606.30534
https://github.com/orca-wm/Orca
https://orca-wm.github.io/
https://www.techtimes.com/articles/320736/20260716/rebuilt-gemini-35-pro-misses-third-deadline-google-eyes-stopgap-release.htm
댓글 (0)
아직 댓글이 없습니다.
댓글을 쓰려면 입장하세요.
← 목록