2조 7800억 파라미터 키미 K3를 램 8GB로 돌리는 C 엔진, 대신 토큰 하나에 26초
개인 개발자가 만든 C 엔진 kimi-k3-in-c는 문샷AI의 키미 K3(파라미터 2조 7800억 개)를 램 8.24GB로 돌린다. 메모리를 아끼는 대신 속도를 포기한 방식이라 실사용보다 구조를 배우는 용도에 맞다. 함께 소개하는 Orkas는 로컬 모델에도 붙일 수 있는 멀티에이전트 데스크톱 앱이고, 11월 4일 새 버전(v2026.11.4)을 냈다.
[1] kimi-k3-in-c: 1.45TB 전문가 가중치를 SSD에서 그때그때 읽는다
이 엔진은 문샷AI가 아니라 깃허브 사용자 FareedKhan-dev가 만들었다. Apache-2.0 라이선스로 공개했고, 별을 1만 500개 받았다. 저장소에는 가중치가 없어서 따로 받아야 하며, 가중치는 문샷AI 라이선스를 따른다.
- 8GB로 줄인 원리: 키미 K3는 MoE(전문가 혼합) 구조다. 토큰 하나를 처리할 때 층마다 전문가 896개 가운데 16개만 쓰기 때문에, 실제로 계산하는 파라미터는 전체의 3.7%(약 1040억 개)다. 엔진은 4비트로 압축된 전문가 가중치 1.45TB를 메모리에 올리지 않고, 토큰마다 필요한 전문가만 NVMe SSD에서 바로 읽는다. 램이 적으면 토큰 하나에 전문가 가중치를 약 25.8GB씩 읽는다.
- 대가는 속도다: 작성자가 124코어 서버로 측정한 결과, 램 8GB에서는 토큰 하나에 26.5초가 걸렸다. 램이 64GB면 19.8초, 128GB 이상이면 5.6초까지 줄어든다.
- 디스크 조건: 체크포인트 1.56TB와 따로 묶은 몸통(trunk) 파일 109GB를 합쳐 여유 공간이 약 1.7TB 필요하다. 가중치를 네트워크 스토리지에 두면 2.2배 느려진다.
- 설치 순서:
git clone https://github.com/FareedKhan-dev/kimi-k3-in-c.git
./scripts/k3-doctor.sh (램 크기를 보고 프리셋을 골라 준다)
make -j && make test (가중치 없이 1분이 안 걸리는 자체 검사)
export HF_TOKEN=... 뒤 ./scripts/download-model.sh ~/k3model (1.56TB를 받고, 끊기면 다시 실행해 이어 받는다)
./scripts/pack-trunk.sh ~/k3model ~/k3trunk (한 번만 하면 되고 4분쯤 걸린다)
- 빨라지는 옵션: 채팅 모드에서 --no-think를 켜면 생각 단계를 건너뛴다. 작성자가 측정해 보니 다섯 단어짜리 답변 하나에 150토큰이 나왔고, 그중 119토큰이 생각 과정이었다.
- 못 하는 일: 도구 호출, 이미지 입력, HTTP 서버를 지원하지 않고, 품질 벤치마크도 아직 없다. 다운로드가 덜 끝나도 엔진은 오류를 내지 않고 엉뚱한 토큰을 내놓는다. 다운로드 스크립트가 출력하는 파일 크기 검사 결과에 FAIL이 없는지 꼭 확인하자.
[2] Orkas: 지휘 에이전트가 할 일을 쪼개 전문 에이전트 16개에 나눠 맡긴다
Orkas는 MIT 라이선스로 공개된 로컬 우선 데스크톱 앱이다. 사용자가 목표를 주면 지휘 에이전트(Commander)가 이를 할 일 목록으로 나눈다. 할 일은 리서치·글쓰기·PPT·영상·오피스 문서 등을 맡는 내장 에이전트 16개에 돌아가고, 클로드 코드·코덱스·OpenCode 같은 외부 CLI 에이전트에도 맡길 수 있다.
- 로컬 모델 연결: 올라마와 LM 스튜디오를 지원한다. 계정 설정 → Models → Chat → Add model → Custom에서 OpenAI 호환 방식을 고르고 주소와 모델 ID를 넣으면 된다. 소스로 빌드하면 로컬 엔드포인트만으로 완전히 오프라인에서 돌릴 수 있다.
- 설치: 맥과 윈도우는 설치 파일을 받아 로그인한 뒤 쓴다. 리눅스는 아직 설치 파일이 없어 소스 빌드만 된다(Node 22.12 이상, glibc 2.34 이상). git clone 뒤 ./run.sh를 실행하면 첫 실행 때 Python·FFmpeg·whisper.cpp와 약 95MB짜리 임베딩 모델 등을 알아서 받는다. 소스 빌드에는 계정 기능이 아예 없다.
- 써볼 만한 기능: 매시간·매일·매주·매월 반복 작업을 예약할 수 있고, 할 일 하나가 끝나면 팀이 다음 일을 스스로 이어받는다(Auto-advance). 로컬 문서 검색은 PC 안의 SQLite 벡터 인덱스로 답하고, 원문 구절을 인용해 붙인다.
- 주의할 점: 지메일·슬랙 같은 커넥터는 기본 설정에서 보내기·게시·삭제 전에 사용자에게 묻는다. 이 확인 단계는 끄지 않는 편이 안전하다.
SSD 여유 공간이 1.7TB가 안 되면 kimi-k3-in-c는 make test까지만 돌려 보자. 로컬 에이전트를 써보고 싶다면 Orkas를 소스로 빌드하고 올라마 주소를 연결하는 것부터 시작하면 된다.
출처:
https://github.com/FareedKhan-dev/kimi-k3-in-c
https://raw.githubusercontent.com/FareedKhan-dev/kimi-k3-in-c/refs/heads/main/README.md
https://github.com/Orkas-AI/Orkas
https://github.com/Orkas-AI/Orkas/releases
https://github.com/yueguan/agents-radar/issues/122
https://github.com/huiyishalou/ai-trending-hub/issues/210
댓글 (0)
아직 댓글이 없습니다.
댓글을 쓰려면 입장하세요.
← 목록