밴드 녹음을 악기별 MIDI로 바꾸는 오픈모델 MuScriptor(17만곡 학습), 프롬프트 되읽기로 채점하는 무학습 보상 SpectraReward
간밤 해외 오픈 모델·연구 쪽에서 바로 써볼 만한 소식이 나왔습니다. Hugging Face 데일리 상위권 위주로 정리합니다.
1) MuScriptor — 아무 밴드 녹음이나 악기별 MIDI로 (Kyutai + Mirelo)
- 무엇: 팝·클래식·메탈·재즈 가리지 않고 섞여 녹음된 음원을 넣으면 악기별로 음정·박자를 분리해 MIDI로 뽑아줍니다. 멜스펙트로그램을 읽어 피치·타이밍·악기 토큰을 자기회귀로 예측하는 디코더 전용 트랜스포머 구조이고, 클래식부터 헤비메탈까지 17만 곡(약 1.1만 시간) 규모로 학습했습니다.
- 왜: 다중 악기 채보는 그동안 상용·폐쇄 도구가 대부분이었는데, 가중치가 공개됐고 제작진은 '현시점 다중악기 채보 최고의 오픈 모델'이라고 밝혔습니다. 논문 기준 다중악기 F1이 기존 오픈 베이스라인(YourMT3+)의 21.9 대비 48.2로 보고됐습니다. 편곡·리믹스·연습용 악보나 음악 데이터셋 라벨링을 로컬에서 돌릴 수 있습니다. 다만 가중치는 CC BY-NC(비상업) 라이선스라 상업적 사용엔 제약이 있습니다(추론 코드는 MIT).
- 어떻게: Hugging Face에 small(103M)·medium(307M, 기본)·large(1.4B) 세 크기가 올라와 있고, muscriptor.kyutai.org 데모에서 직접 시험해볼 수 있습니다. 특정 악기가 있다는 조건을 걸어(예: 드럼만) 채보를 조절하는 기능도 들어갔습니다.
2) Read It Back / SpectraReward — 이미지 생성 강화학습용 '무학습 채점기' (HKU·ByteDance Seed·PKU)
- 무엇: 텍스트→이미지 모델을 RL로 다듬을 때 필요한 보상 모델을, 별도 학습 없이 기존 멀티모달 LLM(MLLM)으로 대체하는 방법입니다. 생성된 이미지에 '점수를 매겨봐'라고 시키는 대신, 그 이미지에서 원래 프롬프트가 얼마나 잘 복원되는지를 이미지 조건부 로그우도로 재서 보상으로 씁니다.
- 왜: 보상 모델을 따로 학습·라벨링하는 비용을 없앤 게 핵심입니다. 확산 모델 2종, RL 알고리즘 3종, 4B~235B에 걸친 9개 MLLM 백본(4개 계열)과 5개 분포 밖 벤치에서 일관되게 생성 품질이 올랐다고 보고했습니다. 통합 멀티모달 모델이면 자기 자신의 이해 브랜치를 채점기로 쓰는 Self-SpectraReward 변형도 제시했는데, 훨씬 큰 외부 보상 모델과 맞먹거나 앞서기도 했다고 합니다.
- 어떻게: 쓰던 MLLM을 그대로 보상 함수로 붙이는 방식이라, 자체 T2I 파이프라인에 RL 튜닝을 얹으려던 팀이 별도 보상 데이터 없이 시도해볼 여지가 있습니다. arXiv 2607.11886에 실험 설정이 정리돼 있습니다.
3) Claude Code — 백그라운드 에이전트가 스스로 드래프트 PR까지, /dataviz 스킬 추가 (2026 w27)
- 무엇: claude agents로 띄운 백그라운드 에이전트가 워크트리에서 코드 작업을 끝내면 이제 멈춰 묻지 않고 자기 브랜치에 커밋·푸시하고 드래프트 PR을 엽니다. main/master 푸시, 강제 푸시, 병합은 하지 않습니다. 차트·대시보드 설계를 돕는 /dataviz 스킬도 들어왔고, 실행형 색 팔레트 검증기를 포함합니다.
- 왜: 에이전트 결과를 사람이 매번 회수하던 흐름이 'PR 리뷰'로 바뀝니다. 여러 작업을 병렬로 던져두고 올라온 드래프트 PR만 확인하면 되니 대기 시간이 줄고, 위험한 git 동작은 기본 차단이라 사고 위험도 낮습니다.
- 어떻게: 백그라운드 작업을 돌려두고 완료 알림이 뜨면 열린 드래프트 PR을 확인하세요. 차트를 만들 땐 /dataviz로 색·접근성부터 점검하는 습관을 붙이면 좋습니다.
오늘은 오픈 음악 채보 모델을 실제 음원으로 한 번 돌려보는 것부터 가볍게 시작해 보세요.
출처:
https://arxiv.org/abs/2607.08168
https://muscriptor.kyutai.org/
https://www.marktechpost.com/2026/07/10/kyutai-releases-muscriptor-an-open-weight-decoder-only-transformer-for-multi-instrument-music-transcription-to-midi/
https://huggingface.co/MuScriptor/muscriptor-large
https://x.com/kyutai_labs/status/2075540047613276197
https://arxiv.org/abs/2607.11886
https://huggingface.co/papers/2607.11886
https://huangrh99.github.io/SpectraReward/
https://releasebot.io/updates/anthropic/claude-code
https://code.claude.com/docs/en/whats-new/2026-w27
댓글 (0)
아직 댓글이 없습니다.
댓글을 쓰려면 입장하세요.
← 목록