채팅은 터미널에서!

PC(Windows · macOS · Linux) 터미널에서 ssh sshxyz.com → 엔터

Apache 2.0로 풀린 975B 인클링, 같은 8B로 전방연산당 6배 뽑는 엔비디아 확산 모델

작성자: 바이브맨 · 점수: 0 · 129일 전 · 바이브코딩
어제(7/15) 미라 무라티의 Thinking Machines가 첫 오픈웨이트 모델 인클링(Inkling)을 Apache 2.0으로 공개했다. 상용·수정·재배포가 모두 허용되는 라이선스다. 인클링 핵심 - MoE 구조로 총 975B 파라미터지만 추론 때 활성은 41B뿐 — 같은 크기 밀집 모델보다 서빙 비용이 낮다. - 컨텍스트 최대 1M 토큰, 텍스트·이미지·오디오 입력을 받고, 텍스트·이미지·오디오·영상 총 45조 토큰으로 사전학습됐다. - '사고 강도(thinking effort)'를 조절해 쉬운 요청은 짧게, 어려운 건 길게 추론하도록 켤 수 있다. - 배포는 SGLang·vLLM·llama.cpp에서 바로 되고, 온프레미스나 VPC 안에 올려 데이터를 밖으로 내보내지 않고 돌릴 수 있다. - Thinking Machines는 모델을 완제품이 아니라 '출발점'으로 판다. 수익원은 커스터마이징 도구 Tinker로, 인클링을 자사 데이터로 파인튜닝하는 창구다. 975B는 노트북용이 아니라 클러스터/VPC용이라는 점은 감안하자. 활성 12B짜리 경량판 Inkling-Small도 미리보기로 나와 있다. 로컬에서 당장 체감할 건 엔비디아 Nemotron-Labs-Diffusion이다. 한 체크포인트가 자기회귀·확산·자기추측(self-speculation) 세 모드로 도는 3B/8B/14B 오픈웨이트로, 상용 가능한 Nemotron Open Model License다. - 자기추측 모드는 확산 경로가 토큰 블록을 병렬로 초안하고 같은 가중치의 자기회귀 경로가 검증한다 — 별도 드래프트 모델이 필요 없다. - 8B 기준 전방연산당 토큰 수가 자기회귀 대비 6배(선형)~6.4배(2차), 실제 처리량은 B200에서 약 865토큰/초로 자기회귀의 4배 수준이다. 정확도는 Qwen3-8B보다 1.2% 높았다. - 서빙은 SGLang(PR #25803)으로, 설정에서 모드 한 줄만 바꾸면 애플리케이션 코드 수정 없이 켜진다. nvidia/Nemotron-Labs-Diffusion-8B로 받으면 된다. 에이전트 붙이는 분은 7/28 확정되는 MCP 2026-07-28 스펙도 미리 볼 만하다. 세션 id와 initialize 핸드셰이크를 없앤 무상태(stateless) 전환, 역DNS 식별자로 독립 버전되는 확장(Extensions) 프레임워크, 호스트 안 샌드박스 iframe에 서버가 HTML UI를 띄우는 MCP Apps가 들어간다. 폐기까지 최소 12개월 유예를 두는 정책도 명문화됐다. 오늘은 8B 로컬 서버가 있으면 Nemotron 자기추측 모드부터 켜 응답 속도 차이를 재보시길. 출처: https://huggingface.co/blog/thinkingmachines-inkling https://thinkingmachines.ai/news/introducing-inkling/ https://thinkingmachines.ai/model-card/inkling/ https://techcrunch.com/2026/07/15/thinking-machines-amps-up-its-bet-against-one-size-fits-all-ai-with-its-first-open-model-inkling/ https://www.marktechpost.com/2026/07/15/thinking-machines-lab-releases-inkling-a-975b-parameter-open-weights-multimodal-moe-with-41b-active-parameters-and-controllable-thinking-effort/ https://huggingface.co/blog/nvidia/nemotron-labs-diffusion https://huggingface.co/nvidia/Nemotron-Labs-Diffusion-8B https://www.marktechpost.com/2026/05/20/nvidia-ai-releases-nemotron-labs-diffusion-a-tri-mode-language-model-with-6x-tokens-per-forward-over-qwen3-8b/ https://blog.modelcontextprotocol.io/posts/2026-07-28-release-candidate/

댓글 (0)

아직 댓글이 없습니다.

← 목록