채팅은 터미널에서!

PC(Windows · macOS · Linux) 터미널에서 ssh sshxyz.com → 엔터

54GB짜리 27B 모델을 5.9GB로 줄이고 성능 98.2% 유지 — 본사이 2 27B, 16GB 노트북에서 돈다

작성자: 바이브맨 · 점수: 0 · 59일 전 · 바이브코딩
PrismML이 9월 18일 Ternary Bonsai 2 27B를 아파치 2.0 라이선스로 공개했다. 큐원3.8 27B를 원본으로 삼아 용량을 약 9분의 1로 줄였는데, 성능은 원본의 98.2%를 지킨다. 이 글은 이 모델을 설치하는 법과 에이전트 백엔드로 붙이는 법, 그리고 어떤 일에 쓰면 안 되는지 다룬다. 얼마나 작아졌나: 53.8GB에서 5.93GB로 - 방식: 가중치를 -1, 0, +1 세 값으로만 저장하는 3진(ternary) 양자화를 쓴다. 이상적인 형태로 저장하면 가중치 하나당 1.72비트다. - 용량: 원본 FP16(16비트 부동소수점)은 53.80GB이고, 본사이는 5.93GB다. 실제로 받는 GGUF 파일은 형식에 따라 크기가 다르다. PTQ1_0은 5.95GB, PQ2_0은 7.21GB다. - 성능: 벤치마크 20종 평균은 83.9점으로, 원본 85.4점의 98.2%다. - 기능: 코딩·수학·툴 호출·이미지 이해를 지원하고, 컨텍스트는 26만 2천 토큰까지 받는다. - 인기: 허깅페이스의 GGUF 저장소는 지난 한 달 다운로드 수가 약 281만 회다. GGUF는 llama.cpp(로컬 추론 엔진)용 모델 파일 형식이다. 내 장비에서 얼마나 빠른가 - RTX 5090: 초당 142.5토큰 - RTX 4090: 초당 96.7토큰 - 애플 M5 Max: 초당 46.8토큰, M5 Pro: 초당 27.7토큰 - 권장 사양은 16GB 노트북이나 24GB GPU 한 장이다. 모델 카드에 따르면 PTQ1_0 파일은 VRAM(그래픽카드 메모리) 약 6GB로도 돌릴 수 있다. 설치: 일반 llama.cpp로는 안 열린다 이 모델은 공식 llama.cpp에 아직 들어가지 않은 연산이 필요해서, PrismML이 포크한 llama.cpp를 써야 한다. 애플 실리콘에서는 MLX(애플 실리콘용 추론 프레임워크)를 그대로 쓰면 된다. 엔비디아 GPU라면 소스를 받아 직접 빌드한다. - git clone https://github.com/PrismML-Eng/llama.cpp && cd llama.cpp - cmake -B build -DGGML_CUDA=ON && cmake --build build -j - hf download prism-ml/Ternary-Bonsai-2-27B-gguf Ternary-Bonsai-2-27B-PQ2_0.gguf --local-dir . - 맥은 한 줄이면 된다: mlx_lm.generate --model prism-ml/Ternary-Bonsai-2-27B-mlx-2bit --prompt "질문" 에이전트에 붙이기: 오픈AI 호환 서버로 띄운다 - ./scripts/start_llama_server.sh를 실행하면 8080 포트에 오픈AI 호환 API가 뜨고, 웹 UI도 함께 열린다. - 툴 호출은 표준 tools 배열을 그대로 보내면 된다. 프롬프트를 따로 짤 필요가 없고, 응답도 표준 tool_calls 형식으로 돌아온다. - 추론(thinking) 길이는 요청마다 thinking_budget_tokens로 조절하고, 서버 전체에 상한을 걸려면 --reasoning-budget N을 쓴다. 추론을 아예 끄려면 BONSAI_THINKING=0으로 설정한다. - 권장값: 추론 모드는 temperature 1.0·top-p 0.95·top-k 20·min-p 0.05이고, 일반 지시 모드는 temperature 0.7·top-p 0.8·top-k 20·min-p 0이다. 공식 문서에 따르면 두 설정을 섞어 쓰면 출력 품질이 떨어진다. - 로컬 GPU가 없으면 오픈라우터에서 입력 100만 토큰당 0.075달러, 출력 100만 토큰당 0.50달러에 쓸 수 있다. 어디에 쓰고 어디엔 피하나 줄어든 성능은 긴 작업에 몰려 있다. 수학은 원본 점수의 99.5%, 코딩은 99.3%를 지키지만, 여러 단계를 이어 가는 장기 에이전트 작업에서는 약 75%로 떨어진다. 이미지 이해(96.3%)와 지식 위주 추론(96.9%)도 원본보다 조금 낮다. - 잘 맞는 일: 사내 문서 요약, 코드 설명·리뷰, 툴 호출 한두 번으로 끝나는 자동화, 오프라인 수학·코딩 질의 - 피할 일: 수십 단계를 스스로 계획하는 코딩 에이전트. 이런 일은 원본 큐원3.8이나 클라우드 모델에 맡기는 편이 낫다. VRAM이 8GB 이상인 GPU나 16GB 맥이 있다면 PQ2_0 파일(7.21GB)을 받아 보자. 지금 쓰는 에이전트의 base_url을 localhost:8080으로 바꾸고 짧은 작업부터 돌려 보면 된다. 출처: https://www.marktechpost.com/2026/09/18/prismml-releases-ternary-bonsai-2-27b-a-5-9-gb-apache-2-0-model-retaining-98-2-of-qwen3-8-27b-performance/ https://huggingface.co/prism-ml/Ternary-Bonsai-2-27B-gguf https://docs.prismml.com/bonsai-2-27b https://openrouter.ai/prism-ml/ternary-bonsai-2-27b https://github.com/THTHDGCS/agents-radar/issues/977 https://huggingface.co/prism-ml/Ternary-Bonsai-2-27B-mlx-2bit

댓글 (0)

아직 댓글이 없습니다.

← 목록