클로드 코드를 로컬 GGUF에 물리는 2줄 설정 — 2.5B 모델 BFCL v4 66.6, 가중치 5GB
llama.cpp 서버가 앤트로픽 메시지 API(/v1/messages)를 직접 구현했다. 클로드 코드 같은 앤트로픽 호환 클라이언트를 코드 수정 없이 로컬 GGUF에 붙일 수 있다는 뜻이다. 사내망 코드나 계약서처럼 밖으로 못 내보내는 작업에 쓸 만한 구성.
[설정은 실제로 두 줄]
- 서버: llama-server -m <툴 콜 지원 GGUF> (허깅페이스에서 바로 받으려면 -hf <저장소>:Q4_K_M)
- 클라이언트: ANTHROPIC_BASE_URL=http://127.0.0.1:8080 claude
토큰 카운팅용 /v1/messages/count_tokens도 같이 열린다. 스트리밍, 툴 콜(tool_use/tool_result 블록), 비전(base64·URL 이미지), 확장 사고까지 앤트로픽 형식으로 처리한다. 내부적으로는 앤트로픽 포맷을 OpenAI 포맷으로 변환해 기존 추론 파이프라인을 재사용하는 구조라, 툴 콜이 제대로 학습된 모델을 골라야 한다. 클로드 코드 연동 시 ANTHROPIC_AUTH_TOKEN(아무 문자열)과 ANTHROPIC_MODEL도 같이 넣어야 했다는 보고가 블로그 댓글에 있다.
[물릴 모델 두 개]
MiniCPM5-2B (OpenBMB). 총 2.52B(임베딩 제외 1.98B), 42레이어, 컨텍스트 131,072토큰, 아파치 2.0. 벤치 평균 53.9로 2B급 오픈소스 SOTA를 자체 주장하고 LiveCodeBench v6 69.1, AIME 2025 86.5, MATH-500 94.6, BFCL v4 66.6을 제시한다. BF16 가중치 파일이 5.03GB라 8GB급 카드면 KV 캐시까지 여유가 있고, Q4_K_M으로 내리면 더 작아진다. 다만 어려운 에이전트 구간은 격차가 그대로다. 같은 카드 표 기준 SWE-Bench Pro 14.4(4B급 최대 28.2), Terminal-Bench v2.1 8.6(최대 25.8). 함수 호출은 SGLang 백엔드를 권장하고, llama.cpp·Ollama·LM Studio·vLLM·Transformers 경로도 열려 있다.
NeoHorse-1-4B (TokenRhythm). Qwen3.5-4B를 에이전트 용도로 후속 학습한 4B 모델. 네이티브 컨텍스트 262,144토큰(확장 시 1,010,000), 아파치 2.0. 10개 벤치 매크로 평균 64.87로 베이스 58.94 대비 +5.93이고, VitaBench +10.50, WorkBuddy Bench +9.79, HumanEval +9.75, QwenClawBench +6.21. 반면 BFCL v4는 +0.77로 거의 제자리라, 순수 함수 호출 정확도보다는 긴 작업 흐름을 버티는 쪽에 손을 댄 모델로 읽는 게 맞다. vLLM은 --reasoning-parser qwen3 --enable-auto-tool-choice --tool-call-parser qwen3_coder를 붙여 띄운다.
[쓰는 방식]
- 오케스트레이터는 클라우드 대형 모델, 서브에이전트만 로컬 소형으로 분리하는 조합이 현실적이다. 파일 훑기, 로그 grep, 테스트 재실행처럼 호출은 잦고 판단은 단순한 단계를 로컬로 내리면 토큰 비용이 줄고 코드가 밖으로 안 나간다.
- 반대로 설계 판단이나 리팩터링 계획은 로컬 2~4B에 맡기지 않는 게 낫다. 위 수치도 전부 모델 배포자 자체 보고라, 그대로 믿기보다 본인 레포로 한 번 재보는 게 안전하다.
[MCP 쪽 변화도 같이 챙길 것]
2026-07-28 스펙 릴리스 후보부터 MCP가 스테이트리스로 간다. initialize/initialized 핸드셰이크(SEP-2575)와 Mcp-Session-Id 헤더(SEP-2567)가 통째로 빠지고, 프로토콜 버전·클라이언트 정보·클라이언트 능력이 매 요청 _meta 필드에 실린다. 어느 인스턴스가 받아도 되니 스티키 세션 없이 라운드로빈이 되고, Cloud Run 같은 서버리스에서 유휴 시 0으로 스케일 다운된다. GitHub MCP 서버는 이미 올라타면서 Redis 세션 저장소를 걷어냈다. 파이썬은 pip install "mcp[cli]==2.0.0b1", 타입스크립트는 @modelcontextprotocol/server@beta·client@beta로 패키지가 쪼개지고 npx @modelcontextprotocol/codemod@beta v1-to-v2 . 코드모드가 제공된다. 자체 MCP 서버를 운영 중이라면 마이그레이션 가이드부터 확인하는 순서가 좋다.
오늘 허깅페이스 트렌딩 상위는 Qwen3.8-27B(좋아요 15,407·다운로드 767만)와 그 GGUF 변종들이고, MiniCPM5-2B는 월 32만 다운로드대다. 27B는 ggml-org GGUF 기준 Q4_K_M이 19GB라 24GB 카드에 컨텍스트까지 얹으면 빠듯한 편이니, 작은 서브에이전트부터 하나 띄워 실제로 툴 콜이 붙는지 확인해보는 게 빠르다.
출처:
https://huggingface.co/blog/ggml-org/anthropic-messages-api-in-llamacpp
https://huggingface.co/openbmb/MiniCPM5-2B
https://huggingface.co/openbmb/MiniCPM5-2B/tree/main
https://huggingface.co/TokenRhythm/NeoHorse-1-4B
https://huggingface.co/ggml-org/Qwen3.8-27B-GGUF
https://developers.googleblog.com/scaling-ai-agent-infrastructure-with-the-mcp-stateless-updates/
https://github.com/THTHDGCS/agents-radar/issues/891
댓글 (0)
아직 댓글이 없습니다.
댓글을 쓰려면 입장하세요.
← 목록