단일 B200에서 720p 영상을 30fps로 실시간 편집하는 오픈소스 JoyAI-Video-Edit
간밤 해외 릴리스는 '생성·편집·이해를 한 모델로' 묶는 멀티모달이 눈에 띈다. 영상·3D·텍스트에서 실무에 바로 붙일 만한 세 개.
실시간 스트리밍 영상 편집 — JoyAI-Video-Edit(징둥)
- 무엇: 16B 오토리그레시브 디퓨전 편집 모델. 전체 영상을 기다리거나 길이를 미리 정하지 않고, 들어오는 프레임을 인과적으로 편집한다. 단일 엔비디아 B200에서 720p(720×1280) 30.19fps. 인물 교체·부분 수정·배경 변경·스타일 변환·모션 변경·레퍼런스 편집을 지원한다.
- 왜: 기존 스트리밍 편집기를 앞서고, 프레임을 다 받아 처리하던 오프라인 방식과도 경쟁한다고 보고했다. 라이브 방송·실시간 후처리처럼 '끝나기 전에 손봐야 하는' 파이프라인이 열린다.
- 써보기: 코드가 github.com/jd-opensource/JoyAI-Video-Edit에 공개됐다. RTX 5090 같은 소비자 GPU 배포도 최적화했다니 단일 GPU에서 먼저 돌려볼 만하다.
생성·편집·이해를 한 아키텍처로 — Hunyuan3D-Buffalo 1.0(텐센트)
- 무엇: 3D 이해, 텍스트→3D 생성, 지시 기반 3D 편집, 파트 단위 생성을 한 모델에 담았다. Hunyuan3D-VLM에 Hunyuan3D-2.1에서 초기화한 3D-DiT 백본을 연결했고, 텍스트→3D와 3D 편집 벤치마크에서 최고 또는 선두 수준이라고 밝혔다.
- 왜: 생성기·편집기를 따로 물려 쓰던 3D 파이프라인을 한 모델로 줄인다. "이 의자 다리만 길게" 같은 지시 편집이 되면 게임·제품 에셋 반복 수정 비용이 준다.
- 써보기: 프로젝트 페이지와 arXiv(2608.02711)에서 데모·구조를 먼저 확인.
텍스트를 '연속 잠재공간 디퓨전'으로 — AURORA-LM(난징대)
- 무엇: 이미지·영상은 연속 잠재공간에서 만드는데 텍스트만 이산 토큰에 머물던 흐름을 겨눈 연구다. 디코딩 가능한 표현 구성과 분포 학습을 분리해(Query 인코더-디코더 + 블록-인과 디퓨전 트랜스포머, 플로우 매칭), OpenWebText 자유 생성과 XSum 요약에서 연속·디퓨전 계열 중 가장 좋은 성능을 보고했다. 1B 규모로 더 큰 공개 잠재-디퓨전 언어모델을 앞섰다고도 했다.
- 왜: 아직 제품용은 아니지만, 병렬 생성과 세밀한 제어라는 디퓨전의 장점을 텍스트로 옮길 수 있을지 가늠하는 신호다.
- 써보기: 방향만 훑을 거면 arXiv(2608.02602) 초록과 벤치 표.
영상·3D를 한 모델로 돌리는 오픈소스가 눈에 띄게 늘었다. 사내 에셋·편집 파이프라인 후보로 JoyAI·Buffalo를 북마크해 단일 GPU 재현부터 해보자.
출처:
https://github.com/jd-opensource/JoyAI-Video-Edit
https://huggingface.co/papers/date/2026-08-05
https://tencent-hunyuan.github.io/Hunyuan3D-Buffalo1.0/
https://arxiv.org/abs/2608.02711
https://arxiv.org/abs/2608.02602
댓글 (0)
아직 댓글이 없습니다.
댓글을 쓰려면 입장하세요.
← 목록