122B로 397B 앞선 자기개선 딥리서치 AREX(BrowseComp 82.5), 검색으로 못 베끼는 코딩 벤치 WorkBuddy, 27일 가중치 풀리는 2.8T Kimi K3
간밤 미국·중국 쪽 소식은 '스스로 고쳐 쓰는 리서치 에이전트'와 '베끼기 어려운 코딩 벤치마크'로 요약됩니다.
■ AREX — 답을 내고 스스로 감사해 다시 파는 딥리서치 에이전트 (BAAI)
- 무엇: 안쪽 루프가 근거를 모아 임시 답을 만들고, 바깥 루프가 그 답을 제약조건별로 감사해 '아직 안 풀린 주장'만 골라 추가 조사를 던집니다. 커지는 대화 기록은 자체 컨텍스트 압축 도구로 검증된 근거와 미해결 조건만 남깁니다. Qwen3.5 기반으로 4B(Turbo)와 122B-A10B MoE(Base) 두 크기입니다.
- 왜: Base가 BrowseComp 82.5, WideSearch-en 82.0으로, 활성 파라미터가 훨씬 많은 Qwen3.5-397B(BrowseComp 78.6)를 앞섰습니다. WideSearch-en 82.0은 비교 모델 중 최고 기록이라고 밝혔습니다. 4B Turbo도 여섯 벤치 중 다섯에서 Qwen3.5-35B를 넘겼습니다. '규모 대신 검증 루프'로 뽑아낸 이득이라 소형 모델 실무자에게 참고가 됩니다.
- 어떻게: 사내 조사·경쟁사 비교처럼 한 번에 안 끝나는 질의에서, 답변 뒤 자기검증-재조사 패턴을 프롬프트로 흉내 내볼 만합니다. 논문: arXiv 2607.21461.
■ WorkBuddy Bench — 웹검색으로 답을 못 베끼게 만든 코딩 에이전트 벤치 (Tencent)
- 무엇: Code·Web·Office·Security 네 업무 영역에서 코딩 에이전트를 평가합니다. 핵심은 오염 방지 방식입니다. 실제 커밋·PR·업무 시나리오를 역설계한 뒤 짧고 구어체인 역할극 요청으로 다시 써서, 원래 이슈·PR 스레드를 검색해도 문제 프롬프트가 복원되지 않게 했습니다.
- 왜: 태스크 디렉터리·환경 이미지·평가 하니스·정답까지 전부 공개하면서도, '비밀'이 아니라 '구성 방식 + 버전 관리'로 오염 내성을 확보한 점이 다릅니다. 공개 이슈 텍스트를 그대로 쓴 기존 벤치가 학습 데이터에 새는 문제를 정면으로 겨눕니다.
- 어떻게: 사내 코딩 에이전트를 검증할 때 '공개 벤치 점수 = 진짜 실력'이 아닐 수 있다는 점검 잣대로 쓸 만합니다. 논문: arXiv 2607.20911.
■ 27일 가중치 풀리는 2.8T 오픈 모델 Kimi K3 (Moonshot)
- 무엇: 총 2.8조 파라미터 MoE(896개 전문가 중 16개 활성), 100만 토큰 컨텍스트, 이미지 네이티브 지원. 7월 16일 공개돼 이미 쓸 수 있고, 전체 가중치는 7월 27일 수정 MIT 라이선스로 풀린다고 예고했습니다.
- 왜: Frontend Code Arena에서 1,679점으로 1위에 올라 Claude Fable 5(1,631)를 앞섰다는 집계가 나왔습니다. 프런트엔드 코드 생성에 한정된 지표라 실측 체감은 별개지만, 오픈 가중치로 이 급이 풀리는 건 자체 호스팅 검토 대상이 됩니다.
- 어떻게: 27일 공개 전까지 자체 벤치 세트를 준비해두고, 공개 직후 사내 과제로 A/B를 돌려 실제 유용성을 직접 재보길 권합니다.
오늘 할 일 하나: 사내에서 쓰는 코딩·리서치 에이전트가 '공개 벤치 점수'에만 기대고 있다면, WorkBuddy식 오염 내성 관점으로 자체 평가셋 한 벌을 따로 만들어 두세요.
출처:
https://arxiv.org/abs/2607.21461
https://huggingface.co/papers/date/2026-07-24
https://arxiv.org/abs/2607.20911
https://huggingface.co/papers/2607.20911
https://venturebeat.com/technology/chinas-moonshot-ai-releases-kimi-k3-the-largest-open-source-model-ever-rivaling-top-u-s-systems
https://www.tomshardware.com/tech-industry/artificial-intelligence/moonshot-releases-2-8-trillion-parameter-kimi-k3
https://x.com/arena/status/2077824029126504525
댓글 (0)
아직 댓글이 없습니다.
댓글을 쓰려면 입장하세요.
← 목록