78B 콜리브리-1, 토큰마다 3.46B만 써서 128GB 박스에서 최대 초당 48토큰 — 홈어시스턴트 MCP는 클릭 한 번
독일 알레프 알파가 10월 3일 공개한 오픈 웨이트 모델 콜리브리-1(Kolibri-1)은 파라미터가 78B(780억 개)지만 토큰 하나를 만들 때 약 3.46B만 깨운다. 그래서 128GB 메모리를 단 박스 한 대에서도 돈다. 10월 7일 나온 홈어시스턴트 2026.10은 MCP 서버를 버튼 하나로 켜게 바꿨다. 이 글은 두 가지를 설치하는 순서와 막히는 지점을 정리했다.
1. 콜리브리-1: 큰 모델인데 가볍게 도는 이유
- 구조: MoE(전문가 혼합) 방식이다. 전문가 384개 가운데 토큰마다 6개와 공유 전문가만 골라 쓴다. 전체 용량은 크게 유지하면서 토큰당 연산량은 3~4B 모델 수준으로 줄였다.
- 공식 점수: SWE-Bench Verified(실제 깃허브 이슈 수정) 66.4, LiveCodeBench v6 85.9, HumanEval+ 92.7이다. 터미널 작업을 재는 TerminalBench 2.1은 27.7에 그쳤다.
- 조건: 아파치 2.0 라이선스라 상업적으로 써도 된다. 문맥은 기본 262k 토큰이고, 늘리면 100만 토큰까지 검증했다. 독일어와 영어에 집중한 모델이라 한국어 품질은 따로 확인해야 한다.
2. 콜리브리-1 설치: vLLM 한 줄이지만 메모리부터 확인
- 메모리: 가중치를 FP8(8비트 부동소수점)로 배포하는데, 가중치만 73.5GiB를 차지한다. 24GB 그래픽카드 한 장으로는 돌릴 수 없고, 128GB 통합 메모리 장비나 여러 GPU에 나눠 올려야 한다.
- 기본 실행: vllm serve Aleph-Alpha/Kolibri-1. 제조사는 temperature 1.0, top_p 0.97, top_k 128을 권장한다.
- 128GB 엔비디아 DGX 스파크 사용자가 공개한 설정: vllm/vllm-openai:v0.29.0 이미지에 aleph-alpha-inference==1.0.0을 설치했다. 실행 옵션은 --gpu-memory-utilization 0.78, --max-model-len 131072, --max-num-seqs 4, --kv-cache-dtype fp8, --enable-prefix-caching이다. 여기에 --reasoning-parser kolibri1, --tool-call-parser kolibri1, --enable-auto-tool-choice를 붙인다.
- 속도: 이 설정(vLLM 0.29.0)은 초당 약 20토큰을 생성했다. 다른 사용자는 이 장비용(SM121) 최적화를 넣은 vLLM 0.30.1rc1 개발 빌드에서 초당 약 48토큰을 얻었다.
3. 처음 띄울 때 겪는 함정 셋
- 첫 실행이 오래 걸린다: 시작까지 10~25분이 걸린다. 멈춘 게 아니니 기다리면 된다.
- 답이 비어서 온다: 추론 모드가 기본으로 켜져 있다. 생각한 내용은 reasoning 필드로 따로 나가고, 생각하는 도중 max_tokens가 바닥나면 content가 null로 돌아온다. 추론 강도는 none/low/medium/high 중에서 고를 수 있으니, 빠른 응답이 필요하면 강도를 낮춰라.
- 도구 호출은 정확하지만 느리다: 두 사용자가 도구 호출 평가(tool-eval-bench)를 돌렸더니 각각 100점과 86점이 나왔다. 반면 응답성은 15점에 그쳤는데(턴당 중앙값 약 9.6초), 이것도 기본으로 켜진 추론 모드 탓이다.
4. 홈어시스턴트 2026.10: 집 전체를 에이전트에 붙이는 MCP 카드
MCP(모델 컨텍스트 프로토콜)는 AI 앱이 외부 도구를 호출하게 해 주는 표준 규격이다. 홈어시스턴트는 이번 버전에서 MCP 서버를 자체 기능으로 넣었다.
- 켜는 법: 설정 > 시스템 > AI로 들어가 'Model Context Protocol' 카드를 켠다. 카드에 나온 URL을 복사해서 클로드, 챗GPT, 커서 같은 MCP 클라이언트에 붙여 넣으면 끝이다.
- 연결 방식: 엔드포인트 주소는 /api/mcp다. 인증에는 기존 액세스 토큰이나 OAuth를 그대로 쓴다. 지그비, Z-Wave, 매터 기기를 포함해 2,000개가 넘는 기본 통합 기능을 에이전트가 쓸 수 있다.
- 자동 탐색: 반대 방향으로, 외부에서 돌아가는 MCP 서버도 홈어시스턴트가 자동으로 찾아 준다.
5. MCP를 켜기 전에 노출 범위부터 줄여라
새로 설치한 홈어시스턴트는 AI 연결을 관리자 계정에만 허용한다. 하지만 연결된 에이전트가 무엇을 조작할 수 있는지는 노출 설정에 달렸고, 도어락이나 보일러가 목록에 있으면 에이전트도 그것을 움직일 수 있다. MCP에서 기본으로 어떤 기기를 노출하는지, 나중에 추가한 기기도 자동으로 포함하는지는 [미확인]이다. 그러니 켜기 전에 노출 목록을 직접 확인하고, 처음에는 조명·센서처럼 실수해도 괜찮은 기기만 남겨 두고 시험하는 편이 안전하다.
오늘 할 일: 홈어시스턴트를 2026.10으로 올리고 MCP 카드를 켜기 전에, 노출할 기기 목록에서 도어락과 난방부터 빼라.
출처:
https://aicoder.com/news/news-20261004-aleph-alpha-kolibri-1-open-weight
https://forums.developer.nvidia.com/t/kolibri-1-aleph-alphas-78b-fp8-moe-runs-on-the-spark-setup-numbers-and-a-few-things-id-love-to-share/385048
https://tech.yahoo.com/home/articles/home-assistant-2026-10-ships-183454802.html
https://www.allthethings.best/home-assistant-releases-2026-10-a-new-map-easier-automations-and-one-click-ai/
https://forkast.news/home-assistant-2026-10-ships-tomorrow-the-open-source-smart-home-gets-its-mcp-moment/
https://smarthomeassistant.co.uk/articles/home-automation/home-assistant-2026-10-beta-update
댓글 (0)
아직 댓글이 없습니다.
댓글을 쓰려면 입장하세요.
← 목록