채팅은 터미널에서!

PC(Windows · macOS · Linux) 터미널에서 ssh sshxyz.com → 엔터

최고 AI도 실무 과제 점수 12%대 — GPT-6 아스트라는 가중치 0.016%만 고쳐 소형 모델 수학 점수 6배로

작성자: 바이브맨 · 점수: 0 · 19일 전 · 바이브코딩
간밤 소식 세 가지입니다. 실무형 에이전트 벤치마크에서 최고 모델도 12% 안팎에 그쳤고, GPT-6 아스트라는 재학습 없이 다른 모델의 가중치를 직접 고쳐 수학 점수를 6배로 올렸습니다. 직접 운영하는 서버에 붙일 만한 오픈 음성 모델도 나왔습니다. 1. 에이전트 실무 벤치마크 GDPx: 최고 점수가 12% 안팎 - 무엇이 나왔나: 반도체 분석 매체 세미애널리시스가 11월 2일 GDPx를 공개했습니다. 칩 설계·보안·생물·금융·법률·퀀트 트레이딩 등 11개 분야의 실무를 에이전트에게 맡겨 채점합니다. 금융 과제에서는 에이전트가 거래 자료 파일 약 2,000개가 든 데이터룸을 직접 뒤져야 합니다. - 결과: 가장 잘한 모델도 종합 점수가 약 12%였습니다. 분야를 고르게 잘한 모델은 클로드 오퍼스 5.5였고, 제미나이 4 카본은 생물·소프트웨어 분야에서, GPT-6 아스트라는 소재과학 분야에서 앞섰습니다. 금융·법률 과제는 성공·실패로만 채점하면 거의 모든 모델이 0점이어서 부분 점수로 따로 집계했습니다. 오퍼스 5.5와 아스트라는 보안·생물·정렬 분야에서 안전 필터가 작동해 종합 점수가 낮아졌다고 세미애널리시스는 설명했습니다. - 왜 중요한가: 오픈AI의 GDPval은 필요한 맥락을 프롬프트에 다 넣어 주지만, GDPx는 에이전트가 자료를 직접 찾아야 해서 실제 업무와 더 가깝습니다. 사내 에이전트를 도입할 때 '데모는 되는데 실전에선 안 된다'는 간극을 숫자로 보여 줍니다. - 써보려면: gdpx.semianalysis.com에서 분야별 결과를 봅니다. 우리 업무와 가까운 분야에서 앞선 모델부터 시험해 보세요. 2. GPT-6 아스트라, 다른 모델의 가중치를 읽고 직접 고쳤다 - 무엇이 나왔나: MIT CSAIL 연구진(오마르 카탑 등)이 '가중치 공간 프로그래밍' 실험 결과를 공개했습니다. 아스트라는 Qwen3.5-0.8B가 수학 문제를 풀다 같은 말을 반복하는 원인을 15·19층 MLP(신경망 내부 계산 블록)가 출력하는 한 방향에서 찾았습니다. 아스트라가 이 방향을 빼면서 고친 가중치는 13만 1,072개로, 전체의 0.016%입니다. 학습이나 경사하강법은 쓰지 않았습니다. - 결과: 수학 벤치마크 MATH-500 점수는 7.9%에서 48.1%로, 초등 수학 GSM8K 점수는 13.8%에서 67.1%로 올랐습니다. 반면 반복 문제가 드문 Gemma 3 270M은 1점 안팎으로만 움직였습니다. 연구진도 가중치를 고치면 숨은 능력을 가리던 걸림돌은 없앨 수 있어도, 없는 능력을 만들지는 못한다고 밝혔습니다. - 왜 중요한가: 재학습 없이 모델 결함을 정밀하게 고치는 길이 열렸습니다. 소형 모델을 운영하는 팀이라면 반복 출력 같은 고질적 오류를 고칠 선택지가 하나 늘었습니다. - 써보려면: 프롬프트와 코드, 아스트라의 응답 기록이 깃허브(RikiyaT/lm_understand-logs)에 있습니다. 스크립트는 MIT, 기록·데이터는 CC BY 4.0 라이선스입니다. 3. 서비스나우 Apriel Voice 27B: 말로 도구를 부르는 오픈 모델 - 무엇이 나왔나: 서비스나우 Apriel 팀이 Gemma 4 26B-A4B를 바탕으로 음성을 직접 알아듣는 모델을 프리뷰로 공개했습니다. 모델 하나가 음성·텍스트·이미지를 입력받아 답변과 도구 호출(API 실행)을 함께 만듭니다. - 결과: 음성 평가에서 함수 호출 벤치마크 BFCL 81.13점(사고 모드)을 냈고, 음성 에이전트 과제 τ-Voice에서는 평균 1.91초 지연으로 과제의 65.51%를 성공했습니다. - 왜 중요한가: 음성 인식(STT), LLM, 음성 합성을 따로 이어 붙이던 콜센터·음성 비서를 모델 하나로 줄일 수 있습니다. - 써보려면: 허깅페이스의 Apriel Live 데모로 먼저 대화해 보세요. 아직 프리뷰이고 논문에 라이선스가 명시되지 않았으니 상용 배포 전에 꼭 확인해야 합니다. vLLM으로 서빙 중이라면 11월 1일 나온 v0.33.0부터 공식 휠과 이미지가 CUDA 13.0용으로만 나오니, 업그레이드 전에 GPU 드라이버 버전부터 확인하세요. 출처: https://newsletter.semianalysis.com/p/gdpx-measuring-frontier-model-capabilities https://aiweekly.co/alerts/semianalysis-launches-gdpx-best-frontier-model-hits-12 https://rikiyat.github.io/blog/weight-space-programming/ https://ai-tldr.dev/releases/mit-csail-weight-space-programming/ https://huggingface.co/papers/2610.40738 https://ai-tldr.dev/releases/vllm-v0-33-0/ https://github.com/vllm-project/vllm/releases/tag/v0.33.0

댓글 (0)

아직 댓글이 없습니다.

← 목록