채팅은 터미널에서!

PC(Windows · macOS · Linux) 터미널에서 ssh sshxyz.com → 엔터

샤오미 MiMo V2.6 9B, 16GB 맥에서 돈다 — 도구 출력 98% 줄이는 context-mode

작성자: 바이브맨 · 점수: 0 · 52일 전 · 바이브코딩
샤오미가 9월 21일 공개한 MiMo V2.6 가운데 9B 증류 모델은 16GB 맥에서 돈다. 이 글은 이 모델의 설치법과 실제 성능의 한계를 정리한다. 에이전트 쪽에서는 도구 출력을 샌드박스에 가둬 컨텍스트를 98% 아끼는 MCP 서버 context-mode의 설정법을 소개한다. 1. MiMo V2.6 — 큰 모델은 서버용, 9B는 노트북용 샤오미는 V2.6 모델 3종을 모두 MIT 라이선스 오픈 웨이트로 풀었다. 상업적으로 써도 제약이 거의 없다. - Pro: 전체 1.02T(1조) 파라미터 중 토큰마다 42B만 쓰는 MoE(전문가 혼합) 구조다. 컨텍스트는 100만 토큰이다 - Flash: 309B 중 15B를 쓴다. 텍스트·이미지·영상·음성을 모두 입력으로 받는다 - Distill 9B: 큐원3.5-9B를 MiMo가 만든 코딩·에이전트 데이터로 미세조정한 모델이다 오픈 웨이트 모델 가운데 성능은 Pro가 가장 높다. 독립 평가 기관 Artificial Analysis는 Pro의 지능 지수를 46점으로 매겼다. 오픈 웨이트 모델 115개 중 1위지만, 클로드 오퍼스 5.5(58점)보다는 한참 낮다. Flash는 집에서 돌리기 어렵다. MXFP4로 양자화(가중치를 낮은 정밀도로 압축)해도 가중치만 173GB여서 80GB GPU가 최소 2장 필요하다. Flash를 API로 쓰면 100만 토큰당 입력 0.14달러(캐시 미적중 기준), 출력 0.28달러다. 9B 증류 모델 설치하기 - llama.cpp: brew install llama.cpp 후 llama-server -hf bartowski/MiMo-V2.6-Distill-Qwen-9B-GGUF:Q4_K_M (Q4_K_M은 5.84GB) - 올라마: 공식 라이브러리에는 아직 없다. ollama run hf.co/bartowski/MiMo-V2.6-Distill-Qwen-9B-GGUF:Q4_K_M으로 받거나, 커뮤니티 패키지 ollama run maternion/mimo-v2.6:9b를 쓴다(thinking·instruct 변형이 따로 있다) - 16GB 맥에서는 Q6_K_L(8.11GB)까지 여유 있게 돈다. 공식 Q8_0(9.53GB)도 올라가지만 메모리가 빠듯하다 - 이미지 입력용 비전 프로젝터(0.62GB)까지 올리면 메모리가 모자란다. 16GB M4 맥북 프로에서 Q8_0과 함께 올렸을 때는 생성 속도가 초당 0.1토큰까지 떨어졌다. 이미지를 쓰려면 Q6_K_L 이하로 내려라 기대치는 낮춰 잡아라 샤오미 자체 발표로는 9B가 원본 큐원보다 코딩 점수가 꽤 올랐다. SWE-bench Pro는 32.0점에서 44.6점으로, Terminal Bench 2.1은 27.0점에서 37.1점으로 올랐다. 다만 제3자가 검증한 수치는 아니며, 샤오미도 이 모델을 완성된 비서가 아니라 강화학습 연구의 출발점으로 소개한다. - 속도: 16GB M4 맥북 프로에서 초당 약 6토큰을 생성했다 - 품질: 리스트 중복 제거 함수를 짜게 한 테스트에서 붙어 있는 중복만 지우고 떨어져 있는 중복값은 놓쳤다. [1, 2, 1, 3, 2]를 넣으면 [1, 2, 3]이 아니라 입력이 그대로 나왔다 - 쓸 곳: 오프라인 초안 작성, 간단한 스크립트 작성처럼 틀려도 사람이 바로 검토할 수 있는 작업 2. context-mode — 도구 출력을 컨텍스트 밖으로 빼는 MCP 서버 context-mode는 에이전트가 읽어 들이는 원본 데이터를 샌드박스에서 처리하고, 결과만 대화에 넣는다. 깃허브 별을 2.45만 개 받았고, 하루에만 90개가 더 붙기도 했다. 줄어드는 폭이 크다(제작자 측 측정치) - 플레이라이트(브라우저 자동화) 스냅샷: 56.2KB → 299바이트 - 깃허브 이슈 20개: 58.9KB → 1.1KB - 접근 로그: 45.1KB → 155바이트 설치는 명령 몇 줄이면 된다 - 클로드 코드: /plugin marketplace add mksglu/context-mode 다음 /plugin install context-mode@context-mode - 코덱스 CLI: npm install -g context-mode 후 ~/.codex/config.toml에 MCP 서버를, hooks.json에 훅을 등록한다 - 제미나이 CLI: npm install -g context-mode 후 ~/.gemini/settings.json에 MCP 서버와 훅을 등록한다 - 커서, 오픈코드, VS Code 코파일럿 등 17개 플랫폼을 지원한다 대화가 압축돼도 작업 맥락이 남는다 context-mode는 다룬 파일, 오류, 사용자의 수정 지시와 결정 사항을 SQLite에 기록한다. 컨텍스트를 압축하기 직전에 2KB 이하 스냅샷을 만들고, 압축 뒤에는 이를 복원해 마지막 요청부터 이어 간다. 긴 리팩터링 도중 자동 압축 때문에 에이전트가 하던 일을 잊는 문제를 줄여 준다. - 주요 도구: ctx_execute(12개 언어 코드를 실행하고 결과만 반환), ctx_index·ctx_search(문서를 색인해 필요한 부분만 검색) - 주의: 라이선스가 ELv2(일래스틱 라이선스 v2)다. 사내에서 쓰는 데는 문제없지만, 이를 감싸 호스팅 서비스로 팔 수는 없다 오늘 해볼 것: 클로드 코드에 context-mode를 설치하고 평소 작업을 한 번 돌린 뒤, ctx_stats로 아낀 토큰을 확인해 보자. 출처: https://computingforgeeks.com/xiaomi-mimo-v2-6-pro-flash/ https://huggingface.co/XiaomiMiMo/MiMo-V2.6-Flash-RL https://modelfit.io/blog/mimo-v26-distill-qwen-9b-mac-memory-requirements/ https://ofox.ai/blog/mimo-2-6-distill-qwen-9b-local-vram/ https://en.wikipedia.org/wiki/Xiaomi_MiMo https://huggingface.co/bartowski/MiMo-V2.6-Distill-Qwen-9B-GGUF https://ollama.com/maternion/mimo-v2.6 https://github.com/mksglu/context-mode https://context-mode.com/context-saving https://github.com/duanyytop/agents-radar/issues/3550

댓글 (0)

아직 댓글이 없습니다.

← 목록