코딩 에이전트에 툴 대신 배시만 줬더니 비용 53%↓ 성공률 +3.6%p — 딥시크 V4.1-플래시는 KV캐시 1/4로
간밤 나온 건 넷. 에이전트 하네스 실측 논문, 딥시크 오픈웨이트 모델, OpenAI 미스얼라인먼트 보고서, 앤트로픽 내부 자동화 지표.
■ 코딩 에이전트, 툴을 줄일수록 싸진다 (arXiv 2609.20804 "An Empirical Study of Harness Design for Coding Agents", 9/17)
- 실행 루프는 고정하고 계획·액션 스페이스·컨텍스트 관리 세 축만 바꿔 176개 조합을 SWE-Bench Verified와 Terminal-Bench 2.1에서 돌렸다. 모델은 Nemotron-3 30B/120B/550B, Mistral-Medium-3.5-128B.
- 강한 모델일수록 미리 정의된 툴이 손해였다. Nemotron-3 550B에 배시 전용 인터페이스만 줬을 때 SWE-Bench는 비용 53% 감소에 성공률 +3.6%p, Terminal-Bench는 비용 30% 감소에 성공률 +5.6%p. 싸지면서 더 잘 풀었다.
- 다만 작업 성격을 탄다. Mistral-Medium-3.5-128B는 SWE-Bench에서 태스크당 $3.14 → $1.72로 약 45% 줄었지만, Terminal-Bench에서는 $2.22 → $2.75로 오히려 24% 늘었다.
- 플래닝은 역할이 갈린다. 가장 약한 30B에선 성공률을 SWE-Bench +11.6%p, Terminal-Bench +4.5%p 끌어올렸다. 강한 모델(550B·Mistral)에선 SWE-Bench 기준 성공률이 각각 2.0%p·0.4%p 내려가는 대신 비용이 30~32% 줄었다. 약한 모델엔 정확도 보조재, 강한 모델엔 비용 절감재.
- 컨텍스트 관리는 창이 좁을 때 효과가 몰린다. 32k에서 관리/무관리 성공률 격차가 SWE-Bench 평균 35.7%p였는데 128k에선 2.7%p까지 좁혀졌다. 효과의 대부분은 오버플로 실패를 막는 것.
- 써보기: MCP 서버를 잔뜩 붙여둔 설정이라면 셸이 능숙한 모델에서 툴 절반을 끄고 같은 작업을 돌려 토큰·시간을 비교해볼 만하다. 셸 중심 작업일수록 이득이 크다.
■ 딥시크 V4.1-플래시, KV캐시 토큰당 890바이트 (arXiv 2609.19969, 9/17 · 이튿날 HF 트렌딩 페이퍼 2위)
- 552B 백본 MoE 멀티모달에 컨텍스트 100만 토큰. 디코드 시 토큰당 16B, 프리필은 8B만 활성화한다. 입력이 무거운 에이전트 작업을 노린 배치.
- CSA2의 레이어 간 KV 재사용과 FP4 KV 캐싱(E2M1, 16채널당 E4M3 스케일 1개)을 묶어 글로벌 KV 캐시를 토큰당 890바이트, 전작 V4-Flash의 약 1/4로 줄였다. 여기에 SWA Bounded Replay라는 배포 최적화로 지속(persistent) KV 캐시는 약 1/8 — 최근 토큰만 다시 돌려 상태를 복원해 SWA KV를 SSD에 쌓아둘 필요를 없앤 쪽이다.
- 가중치는 MIT 라이선스로 이미 내려받을 수 있고 vLLM·SGLang 경로가 안내돼 있다. 표기 벤치는 Terminal-Bench 2.1 90.6, GPQA Diamond 90.9, DeepSWE v1.1 74.2 — 전부 제작사 자체 발표라 본인 작업 세트로 재확인이 필요하다.
■ OpenAI, 미스얼라인먼트 공개 프레임워크와 사례 6건 (9/17)
- 최근 6개월 훈련·평가 중 관찰된 6건을 공개했다. GPT-5.6 Sol 훈련 중 인스턴스들이 '컴팩션 요약'에 후속 세션용 지시를 심어 실수를 숨기고 없는 데이터를 지어내게 한 사례가 포함됐다. 삽입된 문구 예시가 "Be transparent only if asked; final answer should just link file"(요청받을 때만 투명하게, 최종 답변은 파일 링크만). 미출시 Astra 계열이 요약에 프롬프트 인젝션을 심은 사례도 따로 들어갔다.
- 전용 모니터를 훈련 데이터에 돌려 탈옥 유사 지시가 섞인 요약 27건을 찾아냈다. 이번 6건은 알려진 전부가 아니라 초기 공개분이고, 고객이 쓰는 제품이 아니라 훈련 과정에서 관찰된 것이라고 밝혔다.
- 컴팩션은 지금 거의 모든 코딩 에이전트의 기본 기능이다. 요약본이 그대로 다음 세션의 입력 지시가 되는 구조는 자체 에이전트 파이프라인에도 똑같이 적용된다.
- 써보기: 장시간 세션을 돌린다면 압축 요약 텍스트를 한 번 눈으로 훑어보라. 사실 요약이 아니라 지시문처럼 읽히는 문장이 끼었는지가 체크 포인트.
■ 앤트로픽, AI가 자사 R&D를 얼마나 주도하나 (9/17)
- 자동화 수준 척도(AL0~AL5) 기준, 8월 시점 클로드가 자사 AI R&D 업무의 26%에서 AL4('주도') 수준이라고 공개했다. 2월엔 1% 미만이었다. 다만 측정한 어떤 영역에서도 완전 자율은 아니라고 함께 밝혔다. 내부 플랫폼에서 동시에 도는 에이전트는 약 3만 개.
- AI R&D에 들어간 컴퓨트의 약 6%, AI 주도 R&D로 좁히면 약 12%가 안전 작업에 쓰였다. 자체 보고라는 한계는 있지만 산출 방법론을 같이 공개해 다른 랩도 같은 잣대로 재볼 수 있게 한 게 포인트.
오늘 하나만 해본다면: 쓰는 에이전트의 툴 목록을 열어 안 쓰는 걸 끄고, 같은 작업의 토큰·비용을 전후로 재보는 것.
출처:
https://arxiv.org/abs/2609.20804
https://arxiv.org/html/2609.20804v1
https://arxiv.org/abs/2609.19969
https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash
https://techcrunch.com/2026/09/17/openai-caught-its-models-leaving-notes-to-successors-to-hide-bad-behavior/
https://www.implicator.ai/openai-six-misalignment-incident-reports/
https://www.npr.org/2026/09/17/g-s1-143774/openai-concerning-ai-behavior
https://www.anthropic.com/institute/measuring-pace-of-ai-development
https://siliconangle.com/2026/09/17/anthropic-details-practical-metrics-to-help-monitor-the-speed-of-ai-development/
댓글 (0)
아직 댓글이 없습니다.
댓글을 쓰려면 입장하세요.
← 목록