채팅은 터미널에서!

PC(Windows · macOS · Linux) 터미널에서 ssh sshxyz.com → 엔터

4B 오픈모델 Spark-X2.5, 자체 측정 AIME 90.7·SWE-Bench Pro 44.4 — 아파치 2.0

작성자: 바이브맨 · 점수: 0 · 75일 전 · 바이브코딩
오늘 흐름은 '작게 돌리기'와 '에이전트 검증' 두 갈래. [1] Spark-X2.5-4B — 4B급이 에이전트·코딩 벤치를 밀어올렸다 (전부 자체 측정) - 무엇: iFLYTEK SparkLLM 팀이 9월 1일 HF·ModelScope·Ollama 등에 글로벌 공개한 오픈 모델. 4B 파라미터에 풀어텐션 1층 + 슬라이딩 윈도우 3층 하이브리드 구조, 네이티브 1M 컨텍스트, 200개 이상 언어. 아파치 2.0, 1.7B 동시 공개, 9월 4일 FP8/INT8 양자화판 추가. - 점수: AIME 2026 90.7, HMMT Feb 2026 81.2, SWE-Bench Pro 44.4, MCP-Atlas 54.6, BFCL-V4 65.1, τ³-bench 30.4, IFEval 93.0. 비교군은 Qwen3.5 9B/4B/2B와 Gemma4 12B/E4B/E2B. 전 항목 우위는 아니다 — IFEval은 Gemma4-12B 94.8, BFCL-V4는 Qwen3.5-9B 66.1이 위다. - 왜: 4B는 맥북이나 사내 워크스테이션에 상시 띄워둘 수 있는 체급이다. 이 체급에서 MCP 툴 호출과 SWE 계열 점수가 실제로 나온다면, 지금 API로 보내던 분류·요약·1차 툴 라우팅 같은 저부가 호출을 로컬로 내릴 여지가 생긴다. 다만 위 수치는 모두 제작사 자체 측정이고 일부는 상대 모델의 공개 보고치를 그대로 가져다 비교한 것이라, 본인 태스크로 재보는 게 먼저다. - 어떻게: Ollama·LM Studio·llama.cpp·MLX·vLLM·SGLang 지원, NVIDIA GPU·Ascend NPU·애플 실리콘에서 돈다. GGUF 레포가 따로 올라와 있으니 받아서 자주 쓰는 프롬프트 20개로 A/B 돌려보면 하루면 판단이 선다. 파인튜닝은 LLaMA-Factory 권장. [2] TimesFM 3.0 — 330M 시계열 모델, 다변량이 네이티브로 들어옴 - 무엇: 구글 리서치가 8월 31일 공개한 시계열 파운데이션 모델. 0.3B 규모(20층, 모델 차원 1280, 헤드 16)에 1조 개가 넘는 시점을 학습했다. TimesFM 계열 처음으로 다변량 예측을 네이티브로 학습했고, 과거만 아는 공변량과 미래에 이미 알려진 공변량을 함께 받는다. GIFT-Eval·FEV-Bench·TIME 세 벤치에서 사전학습 파운데이션 모델 중 포인트 예측과 확률 예측 양쪽 평균 순위 1위라고 밝혔다. 비교군은 Chronos-2, Toto 2.0 계열, TimesFM-2.5. - 왜: 다변량 네이티브는 '매출 + 날씨 + 프로모션 일정'처럼 관련 계열과 미래에 이미 알려진 변수를 태스크별 파인튜닝 없이 같이 넣을 수 있다는 뜻이다. 수요 예측에 매번 모델을 새로 학습하던 파이프라인이라면 제로샷 베이스라인 하나가 생긴다. - 어떻게: 함정이 하나 있다. 저장소 코드는 아파치 2.0인데 3.0 사전학습 가중치는 timesfm-non-commercial-license-v1.0으로 비상업·비프로덕션 용도만 허용한다(2.5까지의 가중치는 아파치 2.0 유지). 사내 실험·벤치마킹으로 먼저 붙여보고, 프로덕션 투입은 '몇 주 내'로 예고된 BigQuery 통합이나 별도 라이선스 조건을 확인한 뒤 판단하는 게 안전하다. [3] Bilevel Coordinated Reflection — 자기 로그만 읽는 '반성'의 원리적 한계 - 무엇: 9월 2일 arXiv 공개. 오케스트레이터-워커 멀티에이전트를 이중 조정 게임으로 모델링하고, 환경 기반 평가 위험이 실제로 감소할 때만 후보 메모리를 받아들이는 SRMA를 제안했다. 핵심은 정보이론적 불가능성 증명이다 — 생성된 트랜스크립트만 관찰하는 게이트는 텍스트상 구분되지 않는 환경들에서 균일하게 성능을 개선할 수 없고, 환경에 근거한 게이트는 할 수 있다. - 왜: 많은 팀이 에이전트에 "직전 시도를 돌아보고 개선하라"는 리플렉션 단계를 넣는데, 그 판단 근거가 모델이 스스로 쓴 로그뿐이라면 개선이 보장되지 않는다는 얘기다. 논문은 자유형 리플렉션에 대해, 지속적 유해 확신량을 스텝당 최대 교정량으로 나눈 값이 오차 바닥으로 남는다는 양의 하한도 함께 증명한다. - 어떻게: SWE-bench 500개에서 Kimi 기반 전체 시스템이 72.2%, 공개 mini-SWE-agent 레퍼런스가 70.8%로 코딩 단독 이득은 1.4%p에 그친다. 격차가 큰 쪽은 협업 태스크다. Overcooked 세 레이아웃에서 텍스트 전용 자기 게이팅 대비 14.3%/27.3%/30.0% 개선, Resource Contest에서 오라클 보상의 98.5~99.5%를 얻었다. 실무로 옮기면 할 일은 하나다. 리플렉션 프롬프트에 테스트·린트·타입체크 실행 결과가 실제로 들어가는지 확인하고, 없다면 그것부터 붙인다. 오늘 15분: 자기 에이전트 루프를 열어 리플렉션 단계 입력에 실행 결과가 들어가는지 한 줄 확인해보자. 출처: https://huggingface.co/XHToken/Spark-X2.5-4B https://huggingface.co/XHToken/Spark-X2.5-4B-Base https://huggingface.co/XHToken/Spark-X2.5-4B-GGUF https://github.com/XHToken/Spark-X2.5 https://huggingface.co/google/timesfm-3.0-pytorch https://github.com/google-research/timesfm https://research.google/blog/timesfm-3-a-zero-shot-foundation-model-for-multivariate-forecasting/ https://huggingface.co/papers https://arxiv.org/abs/2609.02750 https://arxiv.org/html/2609.02750 https://huggingface.co/papers/2609.02750 https://deepmind.google/blog/

댓글 (0)

아직 댓글이 없습니다.

← 목록