27B를 11.8GB로 줄여도 코딩 벤치는 동점 — MCP는 세션을 지우고 서버리스로
27B 모델을 11.8GB GGUF로 줄이고도 AIME25·LiveCodeBench v6 점수가 BF16 원본과 같게 나온 양자화가 허깅페이스 트렌딩 3위에 올라 있다(다운로드 48만, 최근 한 달 기준).
[텐서마다 다른 비트를 주는 GSQ-RCO]
- ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF. BF16 53.8GB에서 IQ3_S(3.5bpw) 11.8GB로 4.6배 축소.
- 모델 카드 표 기준 BF16은 WikiText2 7.05 / AIME25 100.00 / GPQA-D 89.90 / LCB v6 85.71, IQ3_S는 7.07 / 100.00 / 89.39 / 85.71. AIME25와 LCB v6이 원본과 같은 값이다.
- 더 줄이면 IQ3_XXS(3.0bpw) 10.1GB에서 LCB 84.57, IQ2_S(2.75bpw) 9.3GB에서 82.29, IQ2_XS(2.5bpw) 8.4GB에서 76.57. AIME25는 IQ2_S까지 100.00을 유지하다 IQ2_XS에서 96.67로 떨어진다. 비트를 깎으면 코딩 쪽이 먼저 반응하는 셈.
- 방식은 모든 텐서에 같은 비트를 얹는 균일 양자화 대신, 경사 기반 탐색으로 텐서별 민감도를 재서 총 용량 예산 안에 비트를 배분하는 것. GSQ가 텐서 단위 저비트 스칼라 양자화, RCO가 타입 배정을 맡는다. 오스트리아 ISTA의 DASLab 결과물이다.
[돌리는 법]
파일이 표준 GGUF라 개조 없이 llama.cpp·Ollama·LM Studio에서 그대로 뜬다.
ollama run hf.co/ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF
llama-cli -m Qwen3.8-27B-GSQ-RCO-IQ3_XXS.gguf -p "..." -ngl 99
비전까지 쓰려면 mmproj-Qwen3.8-27B-BF16.gguf(0.9GB)를 따로 받아 llama-mtmd-cli의 --mmproj에 물린다. 프로젝터 하나로 네 양자화 전부 커버한다.
가중치 11.8GB에 프로젝터와 KV 캐시가 더 붙으니, 16GB 카드는 컨텍스트를 조여야 하고 12GB라면 IQ3_XXS나 IQ2_S가 현실적인 선택이다.
[MCP에서 세션이 사라졌다 — 2026-07-28 스펙]
- initialize/notifications/initialized 핸드셰이크와 Mcp-Session-Id 헤더가 통째로 빠졌다(SEP-2575, SEP-2567). 프로토콜 버전·클라이언트 정보·capabilities는 이제 매 요청 _meta에 실려 간다.
- 요청이 어느 인스턴스에 떨어져도 되니 스티키 세션 없이 평범한 라운드로빈으로 붙는다. 구글 개발자 블로그는 Cloud Run·Cloud Functions에 서버리스로 올려 유휴 시 0으로 내리는 구성을 예로 든다.
- GitHub MCP 서버는 스펙 확정 닷새 전인 7월 23일 자로 먼저 대응하며 Redis 세션 저장소를 걷어냈다. 공지 표현으로는 "initialize에서의 DB 쓰기가 사라지고, 모든 호출에서 DB 읽기가 사라졌다".
- 서버가 먼저 말을 거는 방식(roots/list·sampling/createMessage·elicitation/create) 대신 MRTR(Multi Round-Trip Requests)이 들어왔다. 서버가 resultType "input_required"로 돌려주면 클라이언트가 inputResponses를 채워 원래 요청을 다시 부른다. 스트림을 붙들지 않고도 중간 확인이 된다.
- HTTP 헤더 Mcp-Method·Mcp-Name이 필수라 게이트웨이와 레이트리미터가 본문 파싱 없이 라우팅한다. 목록 응답과 resources/read 응답에는 ttlMs·cacheScope 캐시 힌트가 필수로 붙는다.
- SSE 스트림 재개(Last-Event-ID)와 재전송도 빠졌다. 끊긴 요청은 새 요청 ID로 다시 보내야 한다. 대신 server/discover RPC가 생겼는데, 서버는 구현이 필수이고 클라이언트는 원할 때만 호출한다.
- Tasks는 실험 딱지를 떼고 io.modelcontextprotocol/tasks 확장으로 옮겨 tasks/get 폴링과 tasks/update를 갖췄다(tasks/list는 제거). Roots·Sampling·Logging과 구 HTTP+SSE 트랜스포트는 최소 12개월 유예 뒤 폐기, 동적 클라이언트 등록(DCR)은 CIMD로 대체되고 구형 인가 서버 호환용으로만 남는다.
[옮길 때]
pip install "mcp[cli]" # Python v2.0.0 정식, pip install mcp가 이제 2.x
npm i @modelcontextprotocol/server @modelcontextprotocol/client # TS v2 정식
npx @modelcontextprotocol/codemod@beta v1-to-v2 . # 코드모드는 TS만 제공
Tier 1 SDK 넷(TS·Python·Go·C#)이 7월 28일 자로 2026-07-28을 말하고, Rust는 베타다. 하위 호환은 유지된다. 파이썬 v2 서버는 같은 서버로 이전 리비전을 전부 받아 주고, v2 서버는 옛 initialize 핸드셰이크에도 계속 답한다. 당장 안 고쳐도 돌아간다.
오늘 손댈 게 하나라면, 자기 MCP 서버 로그에 Mcp-Session-Id가 아직 찍히는지부터 확인해 보자.
출처:
https://huggingface.co/ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF
https://huggingface.co/models?sort=trending
https://github.com/IST-DASLab/GSQ
https://blog.modelcontextprotocol.io/posts/2026-07-28/
https://modelcontextprotocol.io/specification/2026-07-28/changelog
https://blog.modelcontextprotocol.io/posts/sdk-betas-2026-07-28/
https://github.com/modelcontextprotocol/python-sdk/releases/tag/v2.0.0
https://github.com/modelcontextprotocol/typescript-sdk
https://developers.googleblog.com/scaling-ai-agent-infrastructure-with-the-mcp-stateless-updates/
https://github.blog/changelog/2026-07-23-github-mcp-server-supports-the-next-mcp-specification/
댓글 (0)
아직 댓글이 없습니다.
댓글을 쓰려면 입장하세요.
← 목록