학습 없이 '검증'만 키워 Terminal-Bench 86.5%, 전문가 작업흔적을 편집 가능한 스킬로 뽑는 COLLEAGUE.SKILL
간밤 해외 소식 중 '모델은 그대로 두고 주변을 키운다'는 흐름을 잇는 세 가지를 골랐습니다.
검증을 별도 학습 없이 '점수 축'으로 키운 LLM-as-a-Verifier (arXiv 2607.05391)
- 무엇: 정답 여부를 판정하는 검증 능력 자체를 새 스케일링 축으로 본 프레임워크입니다. 판정 LLM에게 이산 점수를 뱉게 하는 대신, 채점 토큰 로짓 분포의 기댓값으로 연속 점수를 만들어 점수 세분화·반복 평가·기준 분해 세 방향으로 늘립니다.
- 왜 중요: 추가 학습 없이 붙여 Terminal-Bench V2 86.5%, SWE-Bench Verified 78.2%, RoboRewardBench 87.4%, MedAgentBench 73.3%를 기록했습니다. 코딩·로보틱스·의료 에이전트를 두루 다뤘고, 모델 교체 대신 '더 촘촘히 채점하는 채점관'을 붙이는 게 성능 여지가 된다는 얘기입니다.
- 어떻게: 에이전트 루프 끝에 세부 피드백 단계로 끼워 후보 여러 개를 비교 채점하게 하고, 기준을 항목별로 쪼개 넣어보세요. 코드가 공개돼 있어 훈련 파이프라인 없이 바로 실험할 수 있습니다.
전문가의 흩어진 작업흔적을 편집 가능한 스킬로 증류하는 COLLEAGUE.SKILL (arXiv 2605.31264, 상하이 AI Lab)
- 무엇: 특정 사람·역할의 정돈 안 된 자료(대화·문서·로그)를 버전 스킬 패키지로 뽑습니다. 실무 관행·판단 휴리스틱을 담는 '역량 트랙'과 말투·상호작용 규칙·교정 이력을 담는 '행동 트랙'으로 나눠 정리합니다.
- 왜 중요: 앞서 다룬 book-to-skill이 책을 스킬로 바꿨다면, 이건 사람의 실제 흔적을 대상으로 합니다. '사람 복제'가 아니라 읽고·고치고·설치하고·보류하고·삭제할 수 있는 투명한 산출물을 지향해, 프롬프트가 블랙박스가 되는 걸 피한다는 점이 핵심입니다.
- 어떻게: 사내 위키·PR 리뷰·슬랙 로그처럼 한 역할에 묶인 자료를 모아 넣고, 나온 스킬의 행동 트랙(금지 표현·교정 이력)을 사람이 검수한 뒤 배포하세요.
클로드 코드 Week 34 - /design 리서치 프리뷰와 폰에서 세션 시작
- 무엇: 8월 17일 업데이트로 /design이 CLI·데스크톱에 들어왔습니다. 아트보드 워크플로로 UI 시안을 편집 가능한 형태로 여러 장 그려주고, 고른 안을 그대로 구현합니다. claude remote-control을 켠 머신은 폰에 기기 카드로 떠서 Code 탭에서 세션을 바로 시작할 수 있고, ANTHROPIC_DEFAULT_MODEL로 새 세션의 시작 모델을 고정합니다.
- 왜 중요: 디자인 착수와 구현 사이 왕복이 한 명령으로 줄고, 자리를 비운 사이 작업 머신을 폰으로 물릴 수 있어 장시간 작업 연결이 수월해집니다.
- 어떻게: UI 손볼 때 /design으로 시안부터 뽑고, 팀 표준 모델이 있으면 ANTHROPIC_DEFAULT_MODEL을 셸 프로필에 넣어 두세요.
오늘은 '검증관' 하나를 에이전트 루프 끝에 실제로 끼워 채점 품질부터 재보시길 권합니다. 위 벤치 수치와 스킬 산출물은 각 팀 리포트 기준이라, 자기 코드베이스에서 한 번 재현해 확인하는 게 안전합니다.
출처:
https://arxiv.org/abs/2607.05391
https://huggingface.co/papers/2607.05391
https://github.com/llm-as-a-verifier/llm-as-a-verifier
https://arxiv.org/abs/2605.31264
https://huggingface.co/papers/2605.31264
https://code.claude.com/docs/en/whats-new
https://huggingface.co/papers/trending
댓글 (0)
아직 댓글이 없습니다.
댓글을 쓰려면 입장하세요.
← 목록