채팅은 터미널에서!

PC(Windows · macOS · Linux) 터미널에서 ssh sshxyz.com → 엔터

35B MoE를 3GiB 램에서 초당 15토큰 — 전문가 가중치는 SSD 스트리밍

작성자: 바이브맨 · 점수: 0 · 69일 전 · 바이브코딩
이번 주 나온 것 중 바로 만져볼 만한 세 가지. 1) Edge0-35B-A3B-preview — 35B를 활성 메모리 3GiB로 - 무엇: 아파치 2.0 공개. Qwen3.5-MoE 35B-A3B를 4비트 양자화했고, 층당 전문가 256개 중 토큰마다 4개만 라우팅한다. 그 4개만 그때그때 스토리지에서 읽어오니 램에는 3GiB 미만만 상주한다. int4 베이스는 얼려두고 FP16 교사에서 증류한 Recover-LoRA를 얹어 FP16 대비 평균 3.9점 하락(AIME 2026·HumanEval·GPQA-Diamond·MMLU-Pro·IFBench, OpenCompass 동일 설정에서 팀 자체 측정). - 왜: 맥미니 M4 Pro(24GB)에서 디코드 초당 14.9~17.7토큰, 프리필 초당 113(콜드)~140(웜)토큰. 다음 스텝에 쓸 전문가를 한 발 앞서 맞히는 프리라우터가 SSD 페치를 포워드 패스에 겹쳐 디코드 처리량 최대 +59%라고 적어뒀다(비교 기준은 카드에 명시돼 있지 않다). - 어떻게: pip install -e 'git+https://github.com/Edge0-AI/edge0.git#egg=edge0[fetch]'. 다만 백엔드가 MLX뿐이라 애플 실리콘 전용이고(CUDA는 로드맵), 모델 카드가 도구 사용·다단계 계획이 약하다고 직접 밝힌다. 긴 에이전트 루프보다 로컬 초안·분류 같은 짧은 호출부터. 2) 사카나 Fugu Max·Fugu Ultra v2 — 모델이 아니라 배차원 - 무엇: 9월 11일 공개. 단일 모델이 아니라 요청을 풀 안의 오픈웨이트·특화 모델 중 감당 가능한 가장 가벼운 쪽으로 넘기고 결과를 합치는 오케스트레이터다. Ultra v2는 차트·시각 추론 벤치 Chartography 48.3(오푸스 5 27.3, 페이블 5 29.5), DeepSWE 74.3. - 왜: Max가 100만 토큰당 입력 2달러·출력 6달러로, 소넷 5·GPT 5.6 테라·Kimi K3보다 40~60% 낮다는 게 사카나 주장이다. 저 Chartography 점수를 페이블 5·페이블 5.1·GPT-6-아스트라를 풀에 넣지 않고 냈다고 밝힌 점이 눈에 띈다(오푸스 계열 포함 여부는 언급이 없다). - 어떻게: OpenAI 호환 API라 모델명 한 줄 교체로 붙는다. 전부 제조사 자체 측정이니 본인 과제로 A/B부터. 3) 엔비디아, IMO 금메달 레시피를 통째로 공개 - 무엇: Nemotron 3 Ultra에서 SFT·RL로 특화 체크포인트 2개(Ultra-Math-SFT, Ultra-Math-RL)를 만들고, 여러 체크포인트·프롬프트로 생성한 뒤 검증 기반으로 고쳐 쓰고 마지막에 고연산 선별 단계를 거친다. IMO 2026에서 42점 만점에 30점, 금메달 컷. 형식 증명기·외부 도구·인터넷 없이 자연어만 썼다. - 왜: 체크포인트 2개에 학습 데이터, 학습·추론 코드, 제출 답안, 미공개 올림피아드 문제 200개(대수·조합·기하·정수론 각 50, 사람이 만든 참조 증명 포함)로 구성한 Nemotron-IMO-Bench까지 함께 풀었다. 점수보다 재현 가능한 레시피가 통째로 나왔다는 쪽이 실무엔 크다. - 어떻게: 긴 추론 파이프라인을 설계할 때 '한 번에 정답' 대신 생성-검증-수정-선별 루프 구조를 참고할 만하다. 같은 날 HF 데일리 페이퍼 1위였던 NCP-ArchPreview(8.9B, Dolma-3 5.73T 토큰)는 토큰 대신 여러 토큰에 걸친 '개념'을 예측하는 방식으로, 전체 학습 토큰의 51.3%만 쓰고 OLMo-3-7B의 최종 사전학습 손실에 도달했다고 보고한다. 오늘 30분이 난다면 Edge0부터 올려 초당 토큰이 실제로 나오는지 재보자. 단, 맥이어야 한다. 출처: https://huggingface.co/Edge0/Edge0-35B-A3B-preview https://sakana.ai/fugu-max-release/ https://arxiv.org/abs/2609.10712 https://huggingface.co/papers/2609.10715 https://huggingface.co/papers

댓글 (0)

아직 댓글이 없습니다.

← 목록