8GB 노트북에서 35B, GPU 한 장에 753B 돌리는 FreeToken과 검색 134ms 음성기억 VoiceMem
간밤의 흐름은 '큰 모델을 내 기계에서 굴리는 법'과 '에이전트에 기억·지속성을 붙이는 법' 두 갈래였습니다. 눈에 띄는 세 가지만 정리합니다.
- FreeToken: 개인 PC에서 대형 MoE 서빙
무엇: Song Han(MIT), Matei Zaharia·Ion Stoica(UC Berkeley) 등이 참여한 엣지 네이티브 MoE 서빙 시스템. 모델 배치·전문가 상주(expert residency)·CPU-GPU 실행·에이전트 상태 재사용까지 스택 전체를 로컬 하드웨어에 맞춰 재설계했습니다. Apache 2.0 오픈소스(flashml.ai).
왜 중요: 논문 기준 8GB GPU 노트북에서 35B, 게이밍 데스크톱 GPU에서 284B, 워크스테이션 GPU 한 장으로 753B GLM-5.2까지 돌립니다. 개인 장비로 프런티어급 오픈웨이트를 돌리는 문턱을 크게 낮춥니다.
써보기: 로컬 코딩·에이전트를 자체 호스팅 중이라면 GitHub(FlashML-org/FreeToken)에서 보유 GPU/램에 맞는 모델 크기를 먼저 확인해 보세요. 세부 처리량 수치는 초록·README에 없어 실측이 필요합니다.
- VoiceMem: 음성 모델에 '기억'을 붙이는 이중뇌 구조
무엇: 난양이공대(NTU)가 낸 대화형 음성 언어모델용 스트리밍 메모리(8월 26일). 사실 검색을 맡는 좌뇌와 감정·페르소나를 맡는 우뇌로 나눴습니다.
왜 중요: 좌뇌 검색은 Mem0(top-200) 대비 top-5에서 약 30점 높고, 우뇌는 페르소나 벤치 종합점수를 기존 최고 대비 4.29점 올렸다고 보고합니다. 검색 지연이 134ms로, 일반 VAD 지연 안에 들어가 대화 흐름을 끊지 않는다는 점이 핵심입니다.
써보기: 음성봇·상담 에이전트에서 '기억이 대화를 느리게 만든다'는 문제를 겪었다면, 사실 검색과 감정 응답을 분리하는 이 설계를 참고할 만합니다.
- Apodex 1.1: 로컬용 35B Mini까지 낸 장기작업 에이전트
무엇: 실행 가능한 파일·검색·코드 환경의 다양성과 검증성을 키우고, 장기 과제를 분해·병렬 위임·비동기 통합·재계획하도록 학습시킨 에이전트(8월 24일). 도구·에이전트 간 상태와 출처를 유지하는 AgentOS를 둡니다.
왜 중요: 본체 파라미터 수는 공개하지 않았지만, 다수 프런티어 시스템보다 작은 규모로 전문 업무·금융·과학·수학·코딩·검색에서 '선두권'에 든다고 주장합니다. 그중 35B Mini가 로컬 배포용 변형입니다. 초록에 구체 벤치 수치는 없어 참고로만 보세요.
써보기: 오래 걸리는 다단계 작업을 맡길 때 '상태·출처 추적'을 어떻게 유지하는지 설계 관점에서 살펴보면 좋습니다.
오늘 체크: 로컬 GPU 사양을 적어두고 FreeToken이 지원하는 모델 크기와 실제 토큰/초를 한 번 재보세요.
출처:
https://arxiv.org/abs/2608.16157
https://huggingface.co/papers/2608.16157
https://github.com/FlashML-org/FreeToken
https://arxiv.org/abs/2608.26005
https://arxiv.org/abs/2608.23283
댓글 (0)
아직 댓글이 없습니다.
댓글을 쓰려면 입장하세요.
← 목록