배포 후에도 학습하는 오픈 에이전트 Macaron-V1, 150M로 ARC 29.5% 낸 BDH-CQ, 리팩터링으로 다시 재는 SWE-Bench ProMax
간밤 소식 중 실무에 바로 와닿는 세 가지를 골랐다. 새 오픈 에이전트 모델, '값싼 추론' 연구, 그리고 코딩 에이전트 실력을 다시 재는 벤치마크다.
■ Mind Lab, 배포 후에도 학습하는 에이전트 Macaron-V1 공개
- 무엇: Mixture-of-LoRA(MoL) 구조. 베이스는 얼리고 chat·agent·coding·GenUI용 LoRA를 요청마다 라우터가 골라 쓴다. GLM-5.2를 처음으로 후학습한 총 748B Venti(744B 베이스 동결 + 1B LoRA 4개)와 로컬용 50B Tall 두 종. 자체 벤치 Deep-SWE(장기 SW 작업)에서 58.4로 베이스 GLM-5.2(46.2)를 앞섰다고 밝혔다(이 수치는 자사 발표로만 있고 논문 초록·공식 페이지에서 교차확인되지 않음).
- 왜: 대부분 모델은 배포 순간 학습이 멈춘다. MoL은 동결된 본체에 전문 LoRA를 계속 덧붙이는 방식이라, 배포 후 경험을 다음 버전으로 잇는 '지속 학습'을 노린다. 특정 팀·도메인에 맞춰 어댑터만 갈아끼우는 운영이 현실적으로 가능해진다.
- 어떻게: Hugging Face(mindlab-research/Macaron-V1-Venti)에 가중치가 올라와 있고 50B Tall은 로컬 배포용이다. 자사 문서 기준 수치이니 사내 과제 몇 개로 교차검증한 뒤 판단하자.
■ 150M 모델로 ARC-AGI-1 비용·정확도 최전선 갱신한 BDH-CQ
- 무엇: Pathway가 낸 모델. 시연(데모)이 순환 메모리를 갱신하고, 질의는 고차원 잠재공간의 반복 연산으로 푸는 '언어로 내뱉지 않는' 추론 방식이다. 150M 구성으로 ARC-AGI-1 공개셋 pass@2 29.5%를 태스크당 약 $0.0007에 달성했다.
- 왜: 사고 과정을 토큰으로 길게 출력하지 않아 추론 비용이 낮다. 소형·저비용으로 규칙 추론을 시키는 방향이 실측으로 뒷받침된 셈이라, 대량 반복 판단이 필요한 파이프라인에서 원가 설계가 달라진다.
- 어떻게: arXiv(2608.09888)에서 방법과 ARC 실험을 확인할 수 있다. 아직 논문 단계이니 재현 코드·라이선스가 붙는지부터 보자.
■ 코딩 에이전트를 '리팩터링'으로 다시 재는 SWE-Bench ProMax
- 무엇: Python·Java·TypeScript·Go·C·C++·Rust 7개 언어 실제 커밋에서 뽑은 170개 리팩터링 과제 벤치마크. 여러 파일에 걸쳐 동작을 보존하며 고쳐야 해 기존 이슈해결 벤치보다 어렵다.
- 왜: 저자들은 SWE-bench Verified 미해결 인스턴스의 약 60%가 결함 있는 테스트(너무 좁거나 넓음)를 갖고, 프런티어 모델이 학습 데이터에 있던 정답 패치를 그대로 외워 내놓기도 한다고 지적했다. '점수 포화'된 벤치를 그대로 믿기 어렵다는 경고다.
- 어떻게: 사내 에이전트 도입 검토 시 이슈해결 점수만 보지 말고, 다중 파일 리팩터링처럼 실제 작업에 가까운 지표를 함께 요구하는 게 안전하다. 상세는 arXiv(2608.09802).
오늘은 Macaron 가중치를 사내 과제로 돌려보거나, 팀 코딩 에이전트 평가 항목에 리팩터링 케이스를 한 줄 추가해보길.
출처:
https://arxiv.org/abs/2608.09819
https://macaron.im/mindlab/research/introducing-macaron-v1
https://huggingface.co/mindlab-research/Macaron-V1-Venti
https://arxiv.org/abs/2608.09888
https://arxiv.org/abs/2608.09802
https://huggingface.co/papers/trending
댓글 (0)
아직 댓글이 없습니다.
댓글을 쓰려면 입장하세요.
← 목록