64GB 맥북에서 125B가 초당 36토큰, n-gram 테이블은 SSD로 — MCP는 세션을 버렸다
125B 모델을 64GB 맥북 한 대에서 초당 36토큰으로 굴리는 조합이 나왔다. 8월 26일 공개된 Qwen3.8-Flash-Next, Qwen4 아키텍처의 첫 오픈웨이트 프리뷰다. 라이선스는 Apache-2.0이 아니라 Qwen Community License 1.0이니 상업 사용 전 조건부터 보는 게 낫다.
왜 64GB에서 도는가
- 총 125B MoE지만 토큰당 활성은 6B. 48레이어 중 네 개 중 셋은 Gated DeltaNet, 나머지 하나가 Qwen Sparse Attention(예산 2,048토큰)이다.
- 백본과 별도로 51B짜리 n-gram 임베딩 테이블이 붙는다. 해시→임베딩 조회용이라 매 토큰 전량이 필요하지 않고, mmap으로 SSD에 두고 페이징할 수 있다.
- 그래서 4비트 계열 빌드는 디스크로는 IQ4_XS 84.9GB / Q4_K_M 92.9GB지만, 빠른 메모리에 상주해야 하는 양은 45.8GB / 54.5GB로 떨어진다. 나머지는 SSD에서 읽는다(IQ4_XS 기준 39.1GB).
- 커뮤니티 측정에서 균형점은 Q4_K_M이다. 5.00bpw Q5_K_M(디스크 110.5GB, 상주 56.1GB)과 KL 발산·토큰 일치율이 측정 오차 안에서 같은데 17.6GB 작다.
- 네이티브 컨텍스트 262,144토큰, YaRN으로 100만까지. 262K를 꽉 채운 어텐션 캐시가 약 6.5GB라 컨텍스트를 길게 잡아도 메모리 압박이 크지 않다.
실측과 점수
- M5 Max 64GB 맥북프로 기준 생성 36 tok/s, 프롬프트 처리(pp512) 517.9 tok/s.
- 벤더 공개 점수는 SWE-bench Pro 62.5, LiveCodeBench v6 91.9, GPQA Diamond 91.7, DeepSWE 1.1 58.7. 자체 발표치라 본인 워크로드로 재확인할 값이다.
- 이미지를 네이티브로 읽고(AndroidWorld 84.5, MathVision 95.7), 4B 멀티토큰 예측 모듈이 따라붙는다.
돌릴 때 챙길 것
- llama.cpp를 CUDA 또는 Metal로 빌드한 뒤 -ngl 99, -fit off(할당 오류 방지), --jinja(채팅 템플릿 적용). mmap은 켜둔 채로 둬야 n-gram 테이블 페이징이 된다.
- 출시 당시엔 Ollama 태그가 없었지만, 지금은 125b-mlx(105GB) 태그 하나가 올라와 있다. GGUF는 여전히 커뮤니티 빌드 쪽 선택지가 많다.
- 샘플링 권장값은 사고 모드 temp 1.0 / top-p 0.95 / top-k 20, 지시 모드 temp 0.7 / top-p 0.80 / top-k 20. 둘 다 min_p 0.0이고, 지시 모드는 presence penalty 1.5를 같이 쓴다.
- 하드웨어가 안 받쳐주면 매니지드 Qwen3.8-Flash API가 100만 토큰당 입력 0.16달러, 출력 0.47달러.
- 라이선스 함정 두 가지: 월 사용자 1억 또는 월매출 2천만 달러를 넘는 제품은 UI에 모델명을 표기해야 하고, Model-as-a-Service·AI 워크 어시스턴트 사업은 규모와 무관하게 별도 계약이 필요하다.
MCP가 세션을 버렸다
7월 28일자 스펙(2026-07-28)이 프로토콜 코어를 스테이트리스로 바꿨다. 에이전트 툴 서버를 직접 굴리고 있다면 체감이 크다.
- initialize/initialized 핸드셰이크와 Mcp-Session-Id 세션이 사라졌다. 프로토콜 버전·클라이언트 정보를 요청마다 _meta에 실어 보내니, 라운드로빈 로드밸런서 뒤 아무 인스턴스에 떨어져도 처리된다. 애플리케이션 상태가 필요하면 툴이 핸들을 발급하고 인자로 되받는 식으로 직접 관리하면 된다.
- Mcp-Method, Mcp-Name 헤더가 필수가 되어 게이트웨이와 레이트리미터가 JSON 본문을 파싱하지 않고 라우팅·인가를 한다.
- 툴 실행 도중 사용자 입력이 필요하면 스트림을 열어두는 대신 Multi Round-Trip Requests로 resultType: "input_required"를 반환하고, 클라이언트가 inputResponses에 답을 담아 재시도한다.
- list 응답에 ttlMs와 cacheScope가 붙어 툴·프롬프트·리소스 목록을 클라이언트에서 캐싱할 수 있다.
- 인가는 RFC 9207 발급자 검증이 필수가 됐고, 동적 클라이언트 등록(DCR)은 신규 구현에서 비권장으로 내려갔다. 2027년 여름 이후 제거 예정이라 CIMD로 옮길 시간표는 지금 잡는 게 맞다.
- Tier 1 SDK는 TypeScript·Python·Go·C#, Rust는 베타. 구형 HTTP+SSE 트랜스포트는 1년 유예를 두고 공식 폐기됐다. Cloudflare Workers에서는 createMcpHandler(공식 TypeScript SDK에 편입)로 Durable Objects 없이 서버를 띄울 수 있고, /mcp 엔드포인트가 2025년 Streamable HTTP 클라이언트 요청도 함께 받는다.
오늘 5분만 쓴다면: 자기 MCP 서버가 세션 상태에 의존하는지 확인하고, DCR을 쓰고 있으면 CIMD 전환 일정부터 적어두자.
출처:
https://modelfit.io/blog/qwen38-flash-next-open-weights/
https://atomic.chat/blog/guides/how-to-run-qwen-3-8-flash-next-locally
https://unsloth.ai/docs/models/qwen3.8-next
https://blog.modelcontextprotocol.io/posts/2026-07-28/
https://blog.cloudflare.com/mcp-v2/
https://www.marktechpost.com/2026/08/26/alibabas-qwen-team-releases-qwen3-8-flash-next-a-125b-multimodal-moe-with-6b-active-parameters-previewing-the-qwen4-architecture/
https://huggingface.co/Qwen/Qwen3.8-Flash-Next/raw/main/LICENSE
https://ollama.com/library/qwen3.8-flash-next
댓글 (0)
아직 댓글이 없습니다.
댓글을 쓰려면 입장하세요.
← 목록