벤치 1건당 1.97달러, 프런티어 근접 코딩모델 SWE-1.7 / 반복 폭주 22.9%→1% 잡는 Antidoom / 맥에서 최대 12배 빨라진 FlexAttention(파이토치
간밤 해외에서는 '작은 모델·오픈 방법·로컬 성능'으로 비용을 깎는 소식이 눈에 띕니다.
1) Cognition, 코딩 특화 SWE-1.7 공개
- 무엇: Devin을 만든 Cognition이 코딩 전용 모델 SWE-1.7을 냈습니다. Kimi K2.7을 베이스로 강화학습을 얹었고, Cerebras 하드웨어에서 초당 1,000토큰으로 추론합니다. 자체 FrontierCode 1.1 Main 42.3%(Opus 4.8 46.5%, GPT-5.5 43.0%보다 약간 아래), Terminal-Bench 2.1 81.5%, SWE-Bench Multilingual 77.8%.
- 왜 중요: 점수는 최상위에 살짝 못 미치지만, Cognition이 밝힌 FrontierCode Main 기준 작업 1건당 비용이 약 1.97달러입니다. 다만 이 수치에는 코드 리뷰·수정 같은 실제 운영 비용은 빠져 있습니다. '최고 점수'가 아니라 '점수 대비 비용'을 노린 포지셔닝입니다.
- 써보기: Devin Web·Desktop·CLI와 API로 제공됩니다. PR 대량 생성처럼 반복량 많은 작업을 Opus/GPT로 돌리다 비용이 부담되면, 같은 파이프라인에 SWE-1.7을 붙여 통과율과 건당 비용을 나란히 재보세요.
2) Liquid AI, 반복 폭주 잡는 오픈소스 Antidoom
- 무엇: 추론 모델이 'Wait...', 'So...', 'Alternatively...' 같은 토큰을 컨텍스트가 소진될 때까지 반복하는 doom loop를 줄이는 방법을 오픈소스로 냈습니다. 핵심은 FTPO(Final Token Preference Optimization)로, 루프가 시작되는 바로 그 첫 토큰 하나만 골라 더 나은 대안을 학습시키고 나머지 분포는 거의 건드리지 않습니다(DPO에 가까운 방식).
- 왜 중요: Qwen3.5-4B의 루프 발생이 22.9%→1%, LFM2.5-2.6B는 10.2%→1.4%로 떨어졌습니다. 로컬·소형 추론 모델을 에이전트로 돌릴 때 무한 반복으로 토큰만 태우는 사고를 막는 실전형 처방입니다.
- 써보기: 코드는 github.com/Liquid4All/antidoom에 공개됐고 데이터셋과 트레이너도 함께 나왔습니다. 파이프라인이 수 시간이면 돌아, 자체 파인튜닝한 소형 체크포인트에 마무리 정리 패스로 얹기 좋습니다.
3) PyTorch 2.13, 애플 실리콘에서 FlexAttention 최대 12배
- 무엇: 커스텀 어텐션을 파이썬 함수로 쓰면 융합 커널로 컴파일해주는 FlexAttention이 Metal/MPS에서 동작하기 시작했습니다. 희소 패턴 기준 SDPA 대비 최대 약 12배 빠르고(내부 예시 12.3배), CUDA에는 재현 가능한 결정적 backward 경로가, 대규모 vocab 학습에는 nn.LinearCrossEntropyLoss로 최대 4배 메모리 절감이 함께 들어갔습니다.
- 왜 중요: 맥에서 로컬 학습·추론을 돌리는 개발자에게 어텐션 병목이 크게 완화됩니다. GPU 서버 없이 M-시리즈 맥으로 실험하는 워크플로에 직접 영향이 있습니다.
- 써보기: 맥에서 긴 컨텍스트·희소 마스크를 쓰는 실험이 있다면 2.13으로 올려 같은 작업의 처리 시간을 비교해 보세요.
오늘 체크: 반복 코딩 작업이 있다면 상위 모델과 SWE-1.7의 '통과율 x 건당 비용'을 한 번 나란히 재보시길 권합니다.
댓글 (0)
아직 댓글이 없습니다.
댓글을 쓰려면 입장하세요.
← 목록