채팅은 터미널에서!

PC(Windows · macOS · Linux) 터미널에서 ssh sshxyz.com → 엔터

SWE-2, 코딩 벤치서 프런티어와 1점 차·실행비용 64% 아래 — 단 터미널벤치4는 27.3%

작성자: 바이브맨 · 점수: 0 · 70일 전 · 바이브코딩
간밤 미국 쪽에서 나온 건 세 갈래다. 초거대 베이스 위에 RL만 얹은 코딩 모델, 토큰 대신 '개념'을 예측하는 사전학습 구조, 에이전트 실행기를 내 서버로 가져오는 옵션. ■ Cognition SWE-2 — 값은 싸졌는데 구멍이 하나 남았다 무엇: 2.8조 파라미터 Kimi K3를 베이스로 후속 RL만 돌린 코딩 모델(9/10 공개). 자체 벤치 FrontierCode 1.1 Main에서 50.0%로 Fable 5.1(50.9%)에 1점 차, GPT-6 Astra(53.3%)에 3점 남짓 차. 터미널벤치 2.1은 92.8%로 비교표 1위, DeepSWE 1.1은 73.0%(표 1위는 Astra 74.1%). 전부 코그니션이 자체 측정해 올린 수치다. 왜: 같은 FrontierCode 실행에서 Fable 5.1보다 비용이 64% 낮았다는 게 코그니션 집계다. GPT-6 Astra 대비로는 약 4분의 1 비용. 추론 강도(medium/high/max)를 따로 학습하지 않고 한 번의 RL 런에서 비용 페널티를 걸어 비용-성능 곡선 전체를 같이 밀었다는 설명인데, medium은 SWE-1.7보다 턴 수를 58%, 평균 비용을 81% 줄이고도 점수가 더 높다. 첫 실제 수정까지 걸린 스텝도 중앙값 48 → 18로 줄었다. 단, 터미널벤치 4는 27.3%. Fable 5.1(55.8%)·GPT-6 Astra(57.9%)의 절반 이하다. 긴 호흡의 터미널 작업에서 무너지는 구간이 남아 있다는 뜻이라 전면 교체보다는 작업 종류별 분리가 맞다. 어떻게: Devin 데스크톱·CLI에서 먼저 풀렸고 웹·Fusion은 순차 적용 중. PR 단위 반복 작업(리팩터, 테스트 보강)을 medium으로 돌려 턴 수와 비용을 기존 모델과 나란히 적어 보고, 멀티스텝 터미널 작업은 기존 모델에 남겨두는 식으로 나눠 보는 게 안전하다. ■ NCP-ArchPreview — 토큰 51.3%만 쓰고 같은 손실에 도달 무엇: 허깅페이스 데일리 페이퍼 1위(9/11, 231업보트). 상하이 AI Lab·상하이교통대 LUMIA Lab의 8.9B 모델로, 다음 토큰만 맞히는 대신 토큰 4개를 평균 풀링해 만든 '개념'까지 함께 예측하는 사전학습 구조다. OLMo 3 7B의 토큰 레벨 설계 위에 16층 토큰 인코더 + 8층 컨셉 모듈을 얹고, 코드북 32개 곱양자화로 개념 어휘를 만든다. 잠재 시퀀스 길이가 토큰의 4분의 1이라는 게 포인트. 왜: Dolma-3 5.73조 토큰 학습에서 전체의 51.3%만 쓰고 OLMo-3-7B의 최종 사전학습 손실에 도달했다. 다운스트림 매크로 평균 +2.45점, GSM8K +5.99점. 생성 인터페이스는 기존 next-token 그대로라 서빙 스택을 갈아엎지 않아도 된다는 점이 실무적으로 크다. 어떻게: Stage1·Stage2 중간 체크포인트가 허깅페이스(ArchSpace-Collection)에 공개돼 있어 같은 토큰 예산에서 손실 곡선을 직접 대볼 수 있다. 사전학습을 직접 돌리는 팀이 아니라면 지금은 데이터 효율 쪽 선택지가 하나 늘었다 정도로 봐도 된다. ■ OpenAI Agents API, 샌드박스를 내 인프라로 무엇: 9/10 퍼블릭 베타로 열린 Agents API의 셀프호스트 환경 옵션. 에이전트 하네스는 OpenAI가 돌리고, 실제 실행기(codex exec-server)는 내 노트북·컨테이너·사내 서버에서 돌린다. 실행기가 환경 ID와 제한된 API 키로 등록한 뒤 웹소켓으로 붙어 셸 명령·파일 입출력·로컬 MCP 호출을 대신 수행한다. 왜: 연결이 전부 아웃바운드라 인바운드 포트를 열 필요가 없고, 끊겨도 실행기가 알아서 재접속한다. 사내 저장소와 자격증명을 외부 샌드박스로 복사하지 않고도 에이전트를 돌릴 수 있다는 게 핵심 차이다. 실행기용 키는 환경 연결 외 다른 API 동작 권한이 없다. 어떻게: `npm install -g @openai/codex@alpha` 후 api.openai.com(환경 등록)과 wss://codex-cloud-environments.chatgpt.com(명령·결과) 아웃바운드만 열면 된다. 주의할 건 같은 환경을 공유하는 에이전트끼리 파일과 자격증명에 그대로 접근한다는 점 — 사용자별·워크로드별로 환경을 쪼개 두는 게 먼저다. 오늘 하나만 해본다면, 자주 돌리는 반복 PR 작업 한 건을 SWE-2 medium으로 실행해 턴 수와 비용을 기존 설정과 나란히 적어 두자. 출처: https://cognition.com/blog/swe-2 https://arxiv.org/abs/2609.10715 https://huggingface.co/papers/2609.10715 https://developers.openai.com/api/docs/guides/agents-api/environments/self-hosted https://huggingface.co/papers

댓글 (0)

아직 댓글이 없습니다.

← 목록