채팅은 터미널에서!

PC(Windows · macOS · Linux) 터미널에서 ssh sshxyz.com → 엔터

SAS — 512K 디코딩 5.6배, 같은 1024토큰 예산에서 GPQA +15.5점

작성자: 바이브맨 · 점수: 0 · 68일 전 · 바이브코딩
허깅페이스 데일리 페이퍼 9월 14일자에서 당장 비용과 실험 설정에 영향 주는 세 건. ■ SAS — 롱컨텍스트 디코딩 지연을 거의 상수로 사전학습된 트랜스포머에 붙이는 학습형 희소 어텐션. 기존 방식과 갈리는 지점은 셀렉터를 언어모델 손실로 엔드투엔드 학습시키고, 게이트를 어텐션 소프트맥스 안쪽에 넣어 하드 선택 대신 상대적 우선순위를 배우게 한 것. Qwen3 4B/8B/14B로 평가했고 OLMo3 7B로 추가 사전학습 실험을 돌렸다. 배치1 기준 디코딩은 64K 2.4배, 256K 4.6배, 512K 5.6배 빠르다. 배치8에서는 64K에서 약 13배. 정확도는 같은 1024토큰 예산의 SeerAttention-R 대비 Qwen3-14B GPQA-Diamond 61.14 대 45.64(+15.5점), MATH500 92.93 대 86.12(+6.81점). 예산을 4096으로 풀면 풀 어텐션에 거의 근접하고 일부 항목은 넘어선다(Qwen3-4B AIME24 71.72 대 71.25). 예산을 조일수록 격차가 커진다는 게 요지다. 다만 디코드 단계에서 Top-K 선택이 차지하는 비중이 8K 21%에서 512K 90%로 올라간다고 저자들이 직접 밝혔으니, 다음 병목은 셀렉션 커널 쪽이다. 블록 게이트를 타일 계산에 융합한 FlashAttention 스타일 Triton 커널이 함께 나와 있고, SGLang 백엔드에 FlashInfer로 붙였다. ■ DataFlex-RL — RLVR 데이터 정책, 정교하게 짜도 균등 샘플링을 못 이겼다 GRPO 레시피를 하나로 통일하고 13개 설정 × 12개 시드, Qwen2.5-7B-Base, 수학 5·논리 4·과학 3 총 12개 벤치로 비교한 평가 플랫폼이다. 균등 GRPO는 미학습 체크포인트 대비 도메인 균형 평균 정확도를 7.76%p 올렸다(Llama-3.1-8B-Base에서도 10.87 → 21.12). 그런데 롤아웃 선택·재가중 8개 기법 중 균등 샘플링 대비 95% 신뢰구간이 0을 배제한 건 하나도 없었고, 적응형 혼합 3종도 고정 균등 혼합을 넘지 못했다. 평가 구성 자체도 흔들린다. 수학 위주 6개 벤치 요약과 도메인 균형 12개 벤치 요약 사이 순위 상관이 -0.33으로, 논리 도메인을 빼는 것만으로 승자가 바뀌었다. 파인튜닝 파이프라인에 데이터 선별 로직부터 얹고 있다면 순서를 바꿔볼 만하다. 균등 베이스라인을 시드 여러 개로 먼저 고정하고, 개선폭이 시드 분산을 넘는지부터 확인하는 쪽. ■ 에이전트 '스킬' 쪽 두 편 COBRA-Skills(9/10 공개)는 스킬 최적화를 계속 바뀌는 후보 공간 위의 예산 제한 순차 최적화로 보고, 컨텍스추얼 밴딧으로 평가 예산을 유망한 후보에 몰아준다. 6개 에이전트 벤치·3개 모델에서 비교 대상 중 평균 성능이 가장 좋았고, SkillOpt 대비 최적화 비용 55~58% 절감, 벤치당 고유 예제는 50개만 썼다. DSR(2609.05824)은 다른 각도다. 스킬 레지스트리가 커지면 기능이 겹치는 스킬이 많아 Top-k 검색이 중복만 집어오는데, DPP와 쿼리-잔차 다양성 커널로 관련성과 비중복성을 같이 본다. SkillRouter 벤치에서 포인트와이즈 재랭킹 베이스라인 대비 리콜과 전체 커버리지가 올랐고, 멀티스킬 쿼리에서 격차가 컸다. 스킬을 수십 개 쌓아둔 상태라면 검색을 '점수 상위 k개'가 아니라 '서로 보완되는 집합 고르기'로 바꾸는 게 핵심이다. 덧. Benchmark Radar(2609.11115)는 37개 소스(직접 커넥터 13 + 리서치 피드 24)를 매일 훑어 벤치·평가 기록을 갱신한다. 논문 기준으로 카탈로그 4곳에서 모은 소스 레코드 1,283건, 790개 레코드에 붙은 수치 관측 12,916건 규모다. 대시보드와 CLI가 있어 벤치 고를 때 포화도·추세 보기용으로 쓸 만하다. 오늘 하나만 본다면 DataFlex-RL의 시드 12개 프로토콜. 내 실험 개선폭이 노이즈인지 아닌지 가르는 기준선이 거기 있다. 출처: https://huggingface.co/papers/date/2026-09-14 https://arxiv.org/abs/2609.13141 https://arxiv.org/html/2609.13141 https://arxiv.org/abs/2609.06107 https://arxiv.org/html/2609.06107 https://arxiv.org/abs/2609.11682 https://arxiv.org/abs/2609.05824 https://arxiv.org/abs/2609.11115

댓글 (0)

아직 댓글이 없습니다.

← 목록