채팅은 터미널에서!

PC(Windows · macOS · Linux) 터미널에서 ssh sshxyz.com → 엔터

젯브레인 Mellum2.1 씽킹, 8.1GB 파일 하나로 로컬 코딩 에이전트 구성 — LiveCodeBench 82.0(회사 발표)

작성자: 바이브맨 · 점수: 0 · 31일 전 · 바이브코딩
젯브레인(JetBrains)이 공개한 코딩용 추론 모델 Mellum2.1 Thinking은 4비트(Q4_K_M) GGUF 파일 하나가 8.1GB다. 오픈소스 코딩 에이전트 OpenCode에 연결하면 노트북에서 코딩 에이전트를 돌릴 수 있다. 공식 문서에는 필요한 램 용량이 나와 있지 않다. 파일 크기로 보면 램 16GB 이상인 노트북을 기준으로 잡는 편이 무난하다[미확인]. 라이선스가 아파치 2.0이라 회사 업무에 써도 된다. 작은 모델인데 코딩 점수가 높다 - 구조: 전문가 혼합(MoE) 방식이다. 전문가 블록 64개 가운데 토큰마다 8개만 쓰는 구조다. 전체 파라미터는 120억 개이고, 토큰 하나를 만들 때는 25억 개만 쓴다. - 컨텍스트: 131,072토큰까지 받는다. - 학습: 강화학습을 주 단계로 삼았다. 실제 저장소에서 셸과 파일 편집 도구를 쓰게 하고, 테스트가 통과하면 보상을 줬다. - 점수(젯브레인 자체 측정): LiveCodeBench v6에서 82.0점을 받아 큐원3.5 9B(75.4)를 앞섰다. 함수 호출 능력을 재는 BFCL v4에서도 62.3점으로 큐원3.5 9B(58.5)보다 높다. 에이전트 작업은 아직 큐원이 앞선다 - 실제 깃허브 이슈를 고치는 SWE-bench Verified에서는 47.0점으로 큐원3.5 9B(50.0)에 못 미친다. 터미널벤치 2.1도 17.4점 대 21.7점으로 큐원이 앞선다. - 그래도 전작보다는 크게 나아졌다. 전작 Mellum2 Thinking은 SWE-bench Verified에서 2.0점에 그쳤다. - 모델 카드에 표기된 언어는 영어뿐이다. 한국어로 지시할 때의 성능은 공개되지 않았으니 프롬프트는 영어로 쓰는 편이 안전하다. 설치는 명령어 한 줄이면 된다 - 올라마(Ollama): ollama run hf.co/JetBrains/Mellum2.1-12B-A2.5B-Thinking-GGUF:Q4_K_M - llama.cpp 서버: llama-server -hf JetBrains/Mellum2.1-12B-A2.5B-Thinking-GGUF:Q4_K_M --ctx-size 131072 --temp 0.6 --top-p 0.95 --top-k 20 - 젯브레인은 temperature 0.6, top-p 0.95, top-k 20 설정을 권장한다. - 메모리가 빠듯하면 7.0GB짜리 MXFP4_MOE 파일을 받는다. 다만 원본(BF16)과 다음 토큰이 일치하는 비율은 Q4_K_M의 88.0%보다 낮은 85.6%다. 추측 디코딩(MTP)은 켜지 않아도 된다 - MTP는 작은 헤드가 다음 토큰을 미리 추측해 생성 속도를 높이는 기법이다. 젯브레인이 MTP 헤드를 함께 내놨지만 효과는 작다. M2 Max에서 BF16 모델로 측정하니 약 1.05배 빨라졌다. - Q4_K_M 모델에서는 속도가 그대로였고(1.00배), 2토큰 이상 미리 추측하게 하면 모든 설정에서 오히려 느려졌다. OpenCode에 붙이면 로컬 코딩 에이전트가 된다 - opencode.json의 provider 항목에서 npm 패키지로 @ai-sdk/openai-compatible을 지정한다. options.baseURL에는 llama-server 주소 http://127.0.0.1:8080/v1을, 올라마를 쓴다면 http://localhost:11434/v1을 넣는다. - models 항목에 모델 ID를 적는다. 로컬 모델은 컨텍스트 길이가 자동으로 잡히지 않을 수 있으니 limit.context에 131072를 직접 적어 둔다. - 올라마에서 도구 호출이 자꾸 실패하면 num_ctx 값부터 확인하자. OpenCode 문서는 16k~32k에서 시작해 올려 보라고 안내한다. - vLLM(고속 추론 서버)으로 서빙한다면 --enable-auto-tool-choice --tool-call-parser hermes 옵션을 붙여야 도구 호출이 켜진다. 활용 예: 사내 코드를 외부로 보낼 수 없는 팀이라면 사내 저장소에서 테스트 작성이나 작은 버그 수정을 이 모델에 맡겨 볼 만하다. SWE-bench 점수가 47점 수준이니 큰 리팩터링 결과는 사람이 반드시 검토해야 한다. 지금 쓰는 노트북의 여유 램부터 확인하고 Q4_K_M 파일부터 받아 보자. 출처: https://huggingface.co/JetBrains/Mellum2.1-12B-A2.5B-Thinking https://huggingface.co/JetBrains/Mellum2.1-12B-A2.5B-Thinking-GGUF https://vdf.ai/blog/best-local-llm-for-coding/ https://opencode.ai/docs/providers/ https://buttondown.com/agent-k/archive/llm-daily-october-16-2026/

댓글 (0)

아직 댓글이 없습니다.

← 목록