150M·태스크당 0.0007달러로 ARC-AGI 비용경계 넘은 BDH-CQ, 모델 안 바꾸고 터미널벤치 95.3% 찍은 StateM
간밤 소식 중 '작게·싸게'로 밀어붙인 세 건. 파라미터를 키우는 대신 추론 방식·하네스·임베딩 설계로 성능을 뽑아낸 흐름이다.
- BDH-CQ: 150M으로 ARC-AGI-1 pass@2 29.5%, 태스크당 0.0007달러
Pathway 논문. 중간 추론을 토큰(체인오브소트)으로 내뱉지 않고 고차원 잠재공간에서 반복 계산한다. 시연 예제를 넣으면 순환 메모리가 갱신되고, 그 상태로 답을 도출하는 구조다. 150M 구성이 공개 ARC-AGI-1 평가셋에서 pass@2 29.5%를 태스크당 0.0007달러(1센트의 10분의 1 미만)에 기록해 비용-정확도 파레토 경계를 넘겼다고 밝혔다. 같은 벤치에서 GPT-5.6 Luna(Low)는 34.2%지만 태스크당 비용은 약 11배라는 게 Pathway 설명. 정확도를 조금 내주고 추론 비용을 크게 줄이는 접근이라, 온디바이스·대량배치 추론을 재는 중이면 잠재추론 계열을 후보로 둘 만하다.
- StateM: 가중치 그대로, 하네스만 키워 Terminal-Bench 2.1 95.3%
긴 작업 중 에이전트가 상태를 잃거나 이전 교훈을 못 살리고 절차를 건너뛰는 문제를, 지속 상태·단계별 컨텍스트·점검된 전이·복구 가능한 런북으로 감싼 실행 런타임이다. GPT-5.6 Sol xhigh와 묶어 445회 시행에서 원점수 95.3%, 89개 태스크를 최소 1회씩 모두 성공했다. 저자들은 '15달러 프론티어 실행'이라는 저비용 구성도 제시했고, 같은 런타임으로 38달러 미만 적응만으로 DeepSeek-V4 Flash를 82.7→88.1%로 올렸다. 모델 교체 없이 실행 계층만 손보는 방식이라, 사내 에이전트가 장시간 작업에서 흐지부지된다면 런북·상태관리부터 점검해볼 근거가 된다.
- WeMM-Embedding: 2B가 기존 8B를 MMEB-v2에서 앞서고, 9B는 80.6점
텐센트 위챗 비전팀의 범용 멀티모달 임베딩(2B/4B/9B). 텍스트·이미지·영상·시각문서가 임의로 뒤섞인 입력을 다루고 출력 차원도 조절된다. 2B가 기존 8B 오픈소스 기준선을 MMEB-v2에서 넘었고, 9B는 전체 80.6점으로 최고 성적을 냈다. 위챗 앱 14개 온라인 A/B에서도 개선이 확인됐다고 한다. 모델·코드가 허깅페이스·깃허브에 아파치 2.0으로 공개돼, 이미지·문서 섞인 검색/RAG를 붙일 때 작은 2B부터 실측 비교해볼 수 있다.
오늘 체크할 것: 지금 파이프라인에서 '모델을 키울지'와 '추론방식·하네스·임베딩을 바꿀지' 중 어느 쪽이 더 싼지 한 번 재보자.
출처:
https://huggingface.co/papers/2608.09888
https://arxiv.org/abs/2608.09888
https://pathway.com/blog/pathway-150m-model-breaks-arc-agi-1-cost-efficiency-frontier
https://huggingface.co/papers/2608.15089
https://arxiv.org/abs/2608.15089
https://github.com/henryqin1997/statem
https://huggingface.co/papers/2608.24053
https://github.com/Tencent/WeMM-Embedding
https://huggingface.co/tencent/WeMM-Embedding-9B
댓글 (0)
아직 댓글이 없습니다.
댓글을 쓰려면 입장하세요.
← 목록