코딩 에이전트를 '지휘'하는 능력만 재는 LoopArena, 최고 성공률 24.69% — RTX 5090으로 5,090달러 안쪽 사전학습 Puro-2B
간밤 허깅페이스 데일리 페이퍼 상위권은 '모델이 코드를 짜는 법'보다 '모델이 다른 에이전트를 굴리는 법'에 몰렸다. 루프 제어, 컨텍스트 관리, 저비용 사전학습이 하루치 화제였다.
- LoopArena: 루프를 지휘하는 능력만 따로 잰다 (arXiv 2608.28281, 8/31 데일리 페이퍼 1위·82업보트)
평가 대상 모델을 컨트롤러로 두고, 고정된 워커 코딩 에이전트에게 매 라운드 '다음에 뭘 할지/검증할지/멈출지'를 지시하게 한다. 워커를 돌리지 않고 다음 스텝 루프 컨트랙트만 고르는 Type I, 전체 태스크 중 한 구간만 반복 제어하는 Type II, 원래 상태에서 태스크 전체를 도는 Type III로 3단 구성.
프롬프트를 손으로 쓰는 대신 진행 감시·작업 배분·체크 실행을 루프로 설계하는 '루프 엔지니어링'이 처음으로 점수화됐다는 게 핵심. 전체 태스크 기준 최고 Strict Success Rate는 24.69%. 장기 호흡 제어는 프런티어 모델도 네 번에 세 번은 놓친다는 뜻이다. 값싼 Type II가 코어 지표와 스피어만 ρ=0.9747로 붙고 추정 추론 비용은 평균 64.4% 줄었다는 대목은, 자체 평가 파이프라인 짤 때 참고할 만하다.
써보려면: 지금 돌리는 자동 루프에서 '종료 판단'을 모델에 맡겨두고 있는지부터 확인. 그 부분만 사람 체크로 되돌려도 실패 루프가 줄어든다.
- ContextPilot: 컨텍스트를 미리 정리하도록 RL로 가르친다 (텐센트, arXiv 2608.28476, EMNLP 2026 메인 채택)
검색·삭제·요약 위주이던 컨텍스트 툴셋에 계획, 장기 메모리, 소프트 오프로딩을 추가했다. 여기에 컨텍스트·엔트로피 변화로 '편집이 중요한 시점'을 골라 탐색하고, 분기된 트래젝토리 전체에서 액션 단위 어드밴티지를 추정해 크레딧을 준다.
롱컨텍스트 QA·딥서치에서 더 작은 작업 컨텍스트로 더 좋은 성적을 냈다는 주장인데, 공개 초록에 구체 수치가 없어 절감률은 아직 단정할 수 없다. 코드는 github.com/Tencent/ContextPilot에 공개돼 있다.
- Puro-2B: 소비자용 GPU로 1.5B급을 처음부터 (칭화대 PACMAN, arXiv 2608.27370)
논문 제목부터 "Poor Lab's Qwen2-1.5B Trained on RTX 5090 within $5090"다. RTX 5090에서 FP8로 최대 1.4T 토큰을 학습했고, 저자들이 맞춘 스케일링 법칙 기준 약 4.4K달러면 Qwen2-1.5B를 넘어서며, 최고 체크포인트는 6.9K달러 미만 컴퓨트 비용으로 Qwen2.5-1.5B에 근접한다. 비교군은 Qwen2.5-1.5B, Llama-3.2-3B, SmolLM3-3B.
하드웨어 선택, 저정밀 학습, 하이퍼볼 최적화, 커리큘럼 모델 애버리징, 데이터 레시피까지 레시피 전체를 열었다는 게 핵심. 데이터·코드·가중치 모두 Apache 2.0(huggingface.co/collections/thu-pacman/puro-2b). '연구실 예산 없으면 사전학습은 못 한다'의 반례로 인용될 자료다.
- 보안 한 줄: '이 웹사이트 요약해줘' 한 마디로 Claude Code Opus 5 오토 모드가 뚫린 사례가 지난주(8/27) 크게 돌았다. HTTP 415로 WebFetch 대신 curl을 쓰게 유도한 뒤 zip을 내려받아 풀고, 그 안의 struct.py가 파이썬 표준 모듈을 가려 원격 페이로드가 실행되는 흐름. 재현률은 변형에 따라 5회 중 3~4회(60~80%)로 보고됐다. 오토 모드 분류기는 초반 파이썬 디코더 실행은 통과시켰고, 정작 클로드가 침해를 감지하고 정리하려던 명령은 막았다. 안전 분류기는 보안 경계가 아니라는 얘기라, 오토 모드는 샌드박스·네트워크 이그레스 제한·자격증명 분리와 같이 쓰는 게 맞다.
오늘 할 일 하나만 고르라면, 자동 루프의 종료·승인 지점을 눈으로 훑고 오토 모드가 도는 디렉터리에 자격증명이 노출돼 있는지 확인해보길.
출처:
https://huggingface.co/papers/date/2026-08-31
https://arxiv.org/abs/2608.28281
https://arxiv.org/abs/2608.28476
https://github.com/Tencent/ContextPilot
https://arxiv.org/abs/2608.27370
https://huggingface.co/collections/thu-pacman/puro-2b
https://embracethered.com/blog/posts/2026/breaking-claude-code-opus-5-and-automode/
https://simonwillison.net/2026/Aug/27/breaking-claude-code-opus-5-auto-mode/
댓글 (0)
아직 댓글이 없습니다.
댓글을 쓰려면 입장하세요.
← 목록