54GB짜리 27B 모델을 5.9GB로 줄이고 성능 98.2% 유지 — 본사이 2 27B, 16GB 노트북에서 돈다
PrismML이 9월 18일 Ternary Bonsai 2 27B를 아파치 2.0 라이선스로 공개했다. 큐원3.8 27B를 원본으로 삼아 용량을 약 9분의 1로 줄였는데, 성능은 원본의 98.2%를 지킨다. 이 글은 이 모델을 설치하는 법과 에이전트 백엔드로 붙이는 법, 그리고 어떤 일에 쓰면 안 되는지 다룬다.
얼마나 작아졌나: 53.8GB에서 5.93GB로
- 방식: 가중치를 -1, 0, +1 세 값으로만 저장하는 3진(ternary) 양자화를 쓴다. 이상적인 형태로 저장하면 가중치 하나당 1.72비트다.
- 용량: 원본 FP16(16비트 부동소수점)은 53.80GB이고, 본사이는 5.93GB다. 실제로 받는 GGUF 파일은 형식에 따라 크기가 다르다. PTQ1_0은 5.95GB, PQ2_0은 7.21GB다.
- 성능: 벤치마크 20종 평균은 83.9점으로, 원본 85.4점의 98.2%다.
- 기능: 코딩·수학·툴 호출·이미지 이해를 지원하고, 컨텍스트는 26만 2천 토큰까지 받는다.
- 인기: 허깅페이스의 GGUF 저장소는 지난 한 달 다운로드 수가 약 281만 회다. GGUF는 llama.cpp(로컬 추론 엔진)용 모델 파일 형식이다.
내 장비에서 얼마나 빠른가
- RTX 5090: 초당 142.5토큰
- RTX 4090: 초당 96.7토큰
- 애플 M5 Max: 초당 46.8토큰, M5 Pro: 초당 27.7토큰
- 권장 사양은 16GB 노트북이나 24GB GPU 한 장이다. 모델 카드에 따르면 PTQ1_0 파일은 VRAM(그래픽카드 메모리) 약 6GB로도 돌릴 수 있다.
설치: 일반 llama.cpp로는 안 열린다
이 모델은 공식 llama.cpp에 아직 들어가지 않은 연산이 필요해서, PrismML이 포크한 llama.cpp를 써야 한다. 애플 실리콘에서는 MLX(애플 실리콘용 추론 프레임워크)를 그대로 쓰면 된다. 엔비디아 GPU라면 소스를 받아 직접 빌드한다.
- git clone https://github.com/PrismML-Eng/llama.cpp && cd llama.cpp
- cmake -B build -DGGML_CUDA=ON && cmake --build build -j
- hf download prism-ml/Ternary-Bonsai-2-27B-gguf Ternary-Bonsai-2-27B-PQ2_0.gguf --local-dir .
- 맥은 한 줄이면 된다: mlx_lm.generate --model prism-ml/Ternary-Bonsai-2-27B-mlx-2bit --prompt "질문"
에이전트에 붙이기: 오픈AI 호환 서버로 띄운다
- ./scripts/start_llama_server.sh를 실행하면 8080 포트에 오픈AI 호환 API가 뜨고, 웹 UI도 함께 열린다.
- 툴 호출은 표준 tools 배열을 그대로 보내면 된다. 프롬프트를 따로 짤 필요가 없고, 응답도 표준 tool_calls 형식으로 돌아온다.
- 추론(thinking) 길이는 요청마다 thinking_budget_tokens로 조절하고, 서버 전체에 상한을 걸려면 --reasoning-budget N을 쓴다. 추론을 아예 끄려면 BONSAI_THINKING=0으로 설정한다.
- 권장값: 추론 모드는 temperature 1.0·top-p 0.95·top-k 20·min-p 0.05이고, 일반 지시 모드는 temperature 0.7·top-p 0.8·top-k 20·min-p 0이다. 공식 문서에 따르면 두 설정을 섞어 쓰면 출력 품질이 떨어진다.
- 로컬 GPU가 없으면 오픈라우터에서 입력 100만 토큰당 0.075달러, 출력 100만 토큰당 0.50달러에 쓸 수 있다.
어디에 쓰고 어디엔 피하나
줄어든 성능은 긴 작업에 몰려 있다. 수학은 원본 점수의 99.5%, 코딩은 99.3%를 지키지만, 여러 단계를 이어 가는 장기 에이전트 작업에서는 약 75%로 떨어진다. 이미지 이해(96.3%)와 지식 위주 추론(96.9%)도 원본보다 조금 낮다.
- 잘 맞는 일: 사내 문서 요약, 코드 설명·리뷰, 툴 호출 한두 번으로 끝나는 자동화, 오프라인 수학·코딩 질의
- 피할 일: 수십 단계를 스스로 계획하는 코딩 에이전트. 이런 일은 원본 큐원3.8이나 클라우드 모델에 맡기는 편이 낫다.
VRAM이 8GB 이상인 GPU나 16GB 맥이 있다면 PQ2_0 파일(7.21GB)을 받아 보자. 지금 쓰는 에이전트의 base_url을 localhost:8080으로 바꾸고 짧은 작업부터 돌려 보면 된다.
출처:
https://www.marktechpost.com/2026/09/18/prismml-releases-ternary-bonsai-2-27b-a-5-9-gb-apache-2-0-model-retaining-98-2-of-qwen3-8-27b-performance/
https://huggingface.co/prism-ml/Ternary-Bonsai-2-27B-gguf
https://docs.prismml.com/bonsai-2-27b
https://openrouter.ai/prism-ml/ternary-bonsai-2-27b
https://github.com/THTHDGCS/agents-radar/issues/977
https://huggingface.co/prism-ml/Ternary-Bonsai-2-27B-mlx-2bit
댓글 (0)
아직 댓글이 없습니다.
댓글을 쓰려면 입장하세요.
← 목록