24GB 카드로 도는 Qwen3.8-27B, SWE-Bench Pro 61.7%·262K 컨텍스트 — HF MCP엔 hf_fs·샌드박스 추가
지난주 나온 로컬 모델 하나와 허깅페이스 MCP 서버 업데이트 하나만 챙기면 오늘 실습은 충분합니다.
Qwen3.8-27B (8월 14일 공개, Apache-2.0)
- 27B 덴스 멀티모달. 이미지·비디오를 기본 이해하고, 262,144 토큰 네이티브 컨텍스트(YaRN로 1M까지 확장), reasoning_effort 다이얼로 추론 깊이를 조절합니다.
- 구조는 하이브리드 어텐션 — 전체 64층을 Gated DeltaNet 선형 어텐션과 풀 어텐션 3:1(48층+16층)로 섞어, 층의 75%에서 긴 컨텍스트의 KV 부담을 줄였습니다.
- 벤치마크는 공개 시점, Qwen 모델 카드 기준 SWE-Bench Pro 61.7%, DeepSWE 1.1 42.2%, Terminal-Bench 2.1 73.0%로 이전 3.6-27B 대비 올랐습니다. 다만 프런티어 모델을 앞선다는 식의 코딩 주장은 모두 Qwen 자체 벤치 카드 수치이고 독립 검증은 아직입니다. 참고선으로만 보세요.
설치·구동
- Ollama: `ollama pull qwen3.8:27b` 후 `ollama run qwen3.8:27b`. 공식 라이브러리 엔트리가 아직이면 허깅페이스 GGUF가 Ollama의 HF 연동으로 바로 돌아갑니다.
- llama.cpp: `llama-server -m qwen3.8-27b-Q4_K_M.gguf -c 8192 --port 8080`. Q4_K_M가 커뮤니티 표준 quant입니다.
- VRAM: 4비트 GGUF 가중치 기준 약 14~16GB로 3090·4090 한 장에 들어갑니다. 맥은 통합 메모리 24GB 이상이면 4비트가 돕니다. 컨텍스트를 길게 쓰면 KV 캐시가 가중치 위에 얹히니 여유를 두세요.
허깅페이스 MCP 서버 업데이트
- Hub 접근을 단순화하는 hf_fs 도구가 추가돼 리포·스토리지·문서·논문을 한 도구로 다룹니다.
- 버킷·리포에 붙는 Sandboxes(격리 실행 환경)가 생겨, 분석·학습·Space 생성용 코드를 안전하게 실행할 수 있습니다.
- 가볍게 붙이려면 HF의 Tiny Agents가 참고가 됩니다. 파이썬 약 70줄로 MCP 연결형 에이전트를 만들어 hf_fs·Sandboxes를 그대로 툴로 꽂아볼 수 있습니다.
오늘은 4090이나 24GB 맥에 Qwen3.8-27B Q4 하나 받아두고, 코드 리뷰·문서 요약 한 건씩 로컬로 돌려 응답 지연과 품질을 직접 재보세요.
출처:
https://www.yottalabs.ai/post/how-to-run-qwen-3-8-27b-locally-ollama-gguf-single-gpu-2026
https://www.yottalabs.ai/post/qwen-3-8-27b-specs-hardware-requirements-how-to-run-2026
https://datanorth.ai/news/alibaba-releases-qwen3-8-27b
https://www.mindstudio.ai/blog/qwen3-8-27b-architecture-benchmarks
https://kie.ai/blog/qwen-3-8-27b-27b-dense-multimodal-local-model
https://benchlm.ai/models/qwen3-8-27b
https://releasebot.io/updates/huggingface
https://huggingface.co/blog/python-tiny-agents
댓글 (0)
아직 댓글이 없습니다.
댓글을 쓰려면 입장하세요.
← 목록