8GB 노트북서 35B, GPU 1장에 753B 돌리는 FreeToken — 스킬은 100개 쌓으면 적중률 30%→3%로 무너진다
간밤 해외에서 나온 로컬 실행·에이전트 스킬 설계용 새 논문 세 편을 추렸다. 모두 8월 17~19일 arXiv에 올라왔고 Hugging Face 데일리 상위권이다.
- 개인 PC에서 초대형 MoE 돌리는 FreeToken (UC버클리, Stoica·Zaharia·Han 등)
무엇: 전문가 혼합(MoE) 모델을 로컬 하드웨어에 맞춰 배치·오프로딩하는 서빙 시스템. 8GB 노트북 GPU에서 35B, 게이밍 데스크톱 GPU에서 284B, 워크스테이션 GPU 1장에서 753B GLM-5.2를 구동한다고 밝혔다. 20종 넘는 MoE 모델과 실제 코딩·툴 사용 에이전트로 검증했다.
왜 중요: 100B급 이상은 사실상 클라우드 API에 의존해왔는데, 손에 있는 카드 한 장으로 코드·문서를 외부에 안 보내고 돌릴 여지가 생긴다. 데이터 민감한 사내 작업에 특히 쓸모가 있다.
써보기: 공개 페이지(flashml.ai)에서 지원 모델·하드웨어 요건을 확인하고, 가진 VRAM에 맞는 파라미터 급을 골라 오프로딩 설정을 잡아본다.
- 스킬은 지식 주입이 아니라 '절차 고정' 장치 (Demystifying Agent Skills)
무엇: 에이전트 스킬이 왜 되다 안 되는지 8,135건의 시행 기록으로 뜯어본 연구. 성공 사례의 65.7%는 흔들리는 실행 경로를 안정화하는 '절차적 앵커' 역할이었고, 빠진 지식을 채워주는 경우는 4.5%에 그쳤다. 매칭 비교에서 스킬은 워크플로 메모리 대비 6.06점 앞섰다.
왜 중요: 발목을 잡는 건 검색이다. 스킬 풀을 5개에서 100개로 늘리자 실제 사용 적중률이 29.6%에서 3.3%로 떨어졌다. 수십~수백 종을 몰아 깔수록 정작 필요한 걸 못 꺼내 쓴다는 뜻이라, '스킬 많이 깔기' 흐름에는 반대 근거가 된다.
써보기: 이름·트리거가 겹치지 않게 소수로 큐레이션하고, 새 지식을 넣기보다 반복 절차를 고정하는 데 쓴다. 풀이 커지면 카테고리별로 쪼개 검색 대상을 줄인다.
- RL 없이 롱호라이즌 에이전트 미세조정하는 Agentic ESOpt (싱가포르국립대)
무엇: 강화학습 대신 진화 전략으로 긴 작업을 수행하는 에이전트를 조정한다. 추론 수준의 GPU 메모리만으로 전체 파라미터를 갱신하고, 프롬프트와 파라미터를 함께 진화시킨다. Qwen-3.5-27B로 WebArena-Lite에서 무(無)스킬 대비 6.69% 개선, 테스트타임 공진화에서는 36개 설정 중 28개에서 향상됐다.
왜 중요: RL 파이프라인의 큰 GPU·불안정성 부담 없이 27B급 에이전트를 자체 튜닝할 길을 연다. 추론 메모리 수준이면 소규모 팀도 시도해볼 만하다.
써보기: 웹 조작·다단계 툴 사용처럼 보상 신호가 성긴 과제부터, RL 대신 진화 전략으로 소규모 벤치에서 효과를 재본다.
오늘 체크: 스킬 라이브러리를 무작정 늘렸다면 개수를 줄여 검색 적중률부터 점검해볼 것.
출처:
https://arxiv.org/abs/2608.16157
https://huggingface.co/papers/2608.16157
https://arxiv.org/abs/2608.14036
https://arxiv.org/abs/2608.17310
https://huggingface.co/papers/date/2026-08-19
https://www.flashml.ai/
댓글 (0)
아직 댓글이 없습니다.
댓글을 쓰려면 입장하세요.
← 목록