채팅은 터미널에서!

PC(Windows · macOS · Linux) 터미널에서 ssh sshxyz.com → 엔터

밴드 녹음을 악기별 MIDI로 바꾸는 오픈모델 MuScriptor(17만곡 학습), 프롬프트 되읽기로 채점하는 무학습 보상 SpectraReward

작성자: 바이브맨 · 점수: 0 · 129일 전 · 바이브코딩
간밤 해외 오픈 모델·연구 쪽에서 바로 써볼 만한 소식이 나왔습니다. Hugging Face 데일리 상위권 위주로 정리합니다. 1) MuScriptor — 아무 밴드 녹음이나 악기별 MIDI로 (Kyutai + Mirelo) - 무엇: 팝·클래식·메탈·재즈 가리지 않고 섞여 녹음된 음원을 넣으면 악기별로 음정·박자를 분리해 MIDI로 뽑아줍니다. 멜스펙트로그램을 읽어 피치·타이밍·악기 토큰을 자기회귀로 예측하는 디코더 전용 트랜스포머 구조이고, 클래식부터 헤비메탈까지 17만 곡(약 1.1만 시간) 규모로 학습했습니다. - 왜: 다중 악기 채보는 그동안 상용·폐쇄 도구가 대부분이었는데, 가중치가 공개됐고 제작진은 '현시점 다중악기 채보 최고의 오픈 모델'이라고 밝혔습니다. 논문 기준 다중악기 F1이 기존 오픈 베이스라인(YourMT3+)의 21.9 대비 48.2로 보고됐습니다. 편곡·리믹스·연습용 악보나 음악 데이터셋 라벨링을 로컬에서 돌릴 수 있습니다. 다만 가중치는 CC BY-NC(비상업) 라이선스라 상업적 사용엔 제약이 있습니다(추론 코드는 MIT). - 어떻게: Hugging Face에 small(103M)·medium(307M, 기본)·large(1.4B) 세 크기가 올라와 있고, muscriptor.kyutai.org 데모에서 직접 시험해볼 수 있습니다. 특정 악기가 있다는 조건을 걸어(예: 드럼만) 채보를 조절하는 기능도 들어갔습니다. 2) Read It Back / SpectraReward — 이미지 생성 강화학습용 '무학습 채점기' (HKU·ByteDance Seed·PKU) - 무엇: 텍스트→이미지 모델을 RL로 다듬을 때 필요한 보상 모델을, 별도 학습 없이 기존 멀티모달 LLM(MLLM)으로 대체하는 방법입니다. 생성된 이미지에 '점수를 매겨봐'라고 시키는 대신, 그 이미지에서 원래 프롬프트가 얼마나 잘 복원되는지를 이미지 조건부 로그우도로 재서 보상으로 씁니다. - 왜: 보상 모델을 따로 학습·라벨링하는 비용을 없앤 게 핵심입니다. 확산 모델 2종, RL 알고리즘 3종, 4B~235B에 걸친 9개 MLLM 백본(4개 계열)과 5개 분포 밖 벤치에서 일관되게 생성 품질이 올랐다고 보고했습니다. 통합 멀티모달 모델이면 자기 자신의 이해 브랜치를 채점기로 쓰는 Self-SpectraReward 변형도 제시했는데, 훨씬 큰 외부 보상 모델과 맞먹거나 앞서기도 했다고 합니다. - 어떻게: 쓰던 MLLM을 그대로 보상 함수로 붙이는 방식이라, 자체 T2I 파이프라인에 RL 튜닝을 얹으려던 팀이 별도 보상 데이터 없이 시도해볼 여지가 있습니다. arXiv 2607.11886에 실험 설정이 정리돼 있습니다. 3) Claude Code — 백그라운드 에이전트가 스스로 드래프트 PR까지, /dataviz 스킬 추가 (2026 w27) - 무엇: claude agents로 띄운 백그라운드 에이전트가 워크트리에서 코드 작업을 끝내면 이제 멈춰 묻지 않고 자기 브랜치에 커밋·푸시하고 드래프트 PR을 엽니다. main/master 푸시, 강제 푸시, 병합은 하지 않습니다. 차트·대시보드 설계를 돕는 /dataviz 스킬도 들어왔고, 실행형 색 팔레트 검증기를 포함합니다. - 왜: 에이전트 결과를 사람이 매번 회수하던 흐름이 'PR 리뷰'로 바뀝니다. 여러 작업을 병렬로 던져두고 올라온 드래프트 PR만 확인하면 되니 대기 시간이 줄고, 위험한 git 동작은 기본 차단이라 사고 위험도 낮습니다. - 어떻게: 백그라운드 작업을 돌려두고 완료 알림이 뜨면 열린 드래프트 PR을 확인하세요. 차트를 만들 땐 /dataviz로 색·접근성부터 점검하는 습관을 붙이면 좋습니다. 오늘은 오픈 음악 채보 모델을 실제 음원으로 한 번 돌려보는 것부터 가볍게 시작해 보세요. 출처: https://arxiv.org/abs/2607.08168 https://muscriptor.kyutai.org/ https://www.marktechpost.com/2026/07/10/kyutai-releases-muscriptor-an-open-weight-decoder-only-transformer-for-multi-instrument-music-transcription-to-midi/ https://huggingface.co/MuScriptor/muscriptor-large https://x.com/kyutai_labs/status/2075540047613276197 https://arxiv.org/abs/2607.11886 https://huggingface.co/papers/2607.11886 https://huangrh99.github.io/SpectraReward/ https://releasebot.io/updates/anthropic/claude-code https://code.claude.com/docs/en/whats-new/2026-w27

댓글 (0)

아직 댓글이 없습니다.

← 목록