채팅은 터미널에서!

PC(Windows · macOS · Linux) 터미널에서 ssh sshxyz.com → 엔터

그록 보이스 3.0은 분당 0.08달러 그대로 음성 지표 1위, 도구 호출 채점 오판은 DeRef가 줄인다

작성자: 바이브맨 · 점수: 0 · 38일 전 · 바이브코딩
간밤에 쓸 만한 소식은 세 가지다. xAI가 음성 에이전트 모델 그록 보이스 3.0을 이전과 같은 값에 내놨다. 도구 호출을 채점하는 LLM 심판이 맞는 답을 떨어뜨리는 이유와 해법을 다룬 논문도 나왔다. 허깅페이스 데일리 페이퍼 1위는 후보 2,048개 중 하나를 빠르게 고르는 판단 모델 Jeva가 차지했다. 1. 그록 보이스 3.0: 값은 그대로, 음성 지표는 1위 - 무엇이 나왔나: xAI가 10월 14일 그록 보이스 3.0을 공개했다. 가격은 2.0과 같은 분당 0.08달러(시간당 4.8달러)다. 아티피셜 애널리시스의 음성-음성 지수에서 86.9점을 받아 GPT-Live-1(83.2), 제미나이 3.8 라이브(82.6)를 앞섰다. - 왜 중요한가: 상담 봇을 굴리는 팀은 비용을 늘리지 않고 품질만 올릴 수 있다. xAI는 응답 지연이 1초 미만이고, τ-Voice 과제에서 GPT-Live-1보다 지연이 40% 낮다고 밝혔다(같은 과제의 점수는 71.6%로 GPT-Live-1의 74.5%보다 낮다). 과제당 비용(Big Bench Audio 기준)은 0.025달러로 GPT-Live-1의 0.030달러보다 싸다. 다만 모두 xAI가 공개한 수치다. - 어떻게 써보나: grok-voice-latest를 쓰던 에이전트는 코드를 고치지 않아도 자동으로 3.0으로 바뀌었다. 발표 페이지의 'Try It Free' 버튼으로 xAI 콘솔에 들어가 먼저 써볼 수 있다. 공식 발표에는 지원 언어 목록이 없으니 한국어 품질은 직접 확인해야 한다. 2. LLM 심판은 근거가 안 보이면 맞는 답도 떨어뜨린다 - 무엇이 나왔나: 예일대·카디프대·The Fin AI 연구진이 'Judges Follow the Reference' 논문을 냈다. 에이전트가 넣은 도구 호출 인자를 다른 모델(LLM 심판)이 채점하는 상황을 실험했다. 입력에 정답 근거가 드러나 있지 않으면 모든 심판이 맞는 값을 덜 인정했다. 그 차이는 주요 데이터셋에서 22.7~36.1점이었고, 기본값이 정답인 경우에는 14~50점까지 벌어졌다. - 왜 중요한가: 에이전트 평가나 강화학습 보상에 LLM 심판을 쓰고 있다면 점수가 체계적으로 틀어졌을 수 있다. 정답 값의 출처를 대화 깊숙이 묻은 통제 실험에서 심판 4종의 AUROC(맞는 답과 틀린 답을 가려내는 능력, 50이면 동전 던지기 수준)는 91.9~99.9에서 39.8~49.0으로 떨어졌다. 우연보다도 못한 수준이다. - 어떻게 써보나: 연구진이 제안한 DeRef는 심판을 다시 학습시키지 않는다. 별도 모델이 후보 값을 보지 않은 채 대화 기록 전체를 읽고, 인자마다 '기대 값과 그 출처'를 적거나 기록만으로는 정해지지 않는다고 표시한다. 이 참고 답을 심판 입력에 끼워 넣으면 같은 통제 실험에서 AUROC가 98.4~99.6으로 올라간다. 코드는 깃허브 SarielMa/DeRef_release에 공개됐다. 3. Jeva: 글을 쓰지 않고 후보 중에서 바로 고르는 모델 - 무엇이 나왔나: 싱가포르국립대 소속으로 보이는 연구진(논문에 소속 기관명은 없고 이메일 도메인만 있다)이 낸 Jeva가 10월 14일 데일리 페이퍼 1위(추천 259개)에 올랐다. Jeva는 문장을 만들지 않는다. 요청과 후보들을 따로 인코딩한 뒤 가장 맞는 후보를 고르고, 맞는 후보가 없으면 '없음'으로 판단한다. - 왜 중요한가: 의도 분류, 라우팅, 도구 선택처럼 정해진 선택지에서 고르는 일은 LLM에 맡기면 느리고 비싸다. Jeva는 후보 2,048개에서 정확도 69.88%를 냈고, 중간값 지연(약 12초)은 비교 모델(28초)의 절반 이하였다. 후보 순서를 바꿔도 결정이 한 번도 뒤집히지 않았다(600건). 후보 표현을 캐시해 재사용하면 지연이 2,102ms에서 75ms로 약 28배 줄었다. - 어떻게 써보나: 논문 페이지에는 아직 Jeva 모델이나 코드 링크가 없다. 지금은 사내 분류·라우팅 단계를 LLM 호출에서 떼어낼 수 있는지 설계만 검토해 두자. 오늘 할 일 하나: 에이전트 평가에 LLM 심판을 쓴다면, 출처가 대화 앞쪽에 묻힌 인자에서 오답 판정이 몰리는지부터 확인해 보자. 출처: https://x.ai/news/grok-voice-3 https://huggingface.co/papers/2610.18497 https://huggingface.co/papers/2610.18773 https://huggingface.co/papers?date=2026-10-14 https://aiweekly.co/ai-news-today https://github.com/SarielMa/DeRef_release

댓글 (0)

아직 댓글이 없습니다.

← 목록