VACE, 비디오 제작에 혁명을 일으키다—모든 크리에이터와 투자자가 알아야 할 것
비디오 콘텐츠가 매우 중요해진 디지털 환경에서, 비디오를 만들고 편집하는 도구들은 답답할 정도로 뿔뿔이 흩어져 있었습니다. 지금까지는 그랬죠.
알리바바 통이 연구소에서 발표한 최신 오픈소스 VACE (Video All-in-one Creation and Editing)는 전문가와 일반 사용자 모두가 비디오 제작에 접근하는 방식을 엄청나게 바꿀 것입니다. 지난 한 주간 이 기술을 시험해본 결과, 우리는 콘텐츠 제작의 중요한 순간을 목격하고 있다는 것이 분명해졌습니다—다양한 전문 비디오 도구들 간의 경계가 마침내 사라지고 있는 순간 말이죠.
여러 앱을 오가는 번거로움의 끝
대부분의 전문 콘텐츠 크리에이터들은 다음과 같은 지루한 작업 과정에 매우 익숙합니다. 한 앱에서 비디오를 생성하고, 다른 앱에서 편집하고, 세 번째 앱에서 효과를 적용하며, 때로는 특정 작업을 위해 또 다른 전문 도구를 사용하기도 합니다. 이러한 파편화는 수십 년 동안 당연한 것으로 여겨져 왔습니다.
제가 VACE의 미리 보기 버전을 테스트해 본 상업 감독 Jie Chen은 이렇게 설명합니다. "저는 두 시간짜리 제품 비디오 하나를 만들기 위해 보통 다섯 가지 다른 애플리케이션을 사용합니다. 계속 앱을 전환하는 것은 창의성을 해치고 제작 시간을 며칠씩 늘립니다."
VACE가 혁신적인 이유는 이러한 서로 다른 기능들을 하나로 통합하는 통일된 시스템에 있습니다. 480P 해상도를 지원하는 Wan2.1-VACE-1.3B 버전과 480P 및 720P를 모두 지원하는 Wan2.1-VACE-14B 두 가지 버전으로 출시된 이 시스템은 텍스트 기반 비디오 생성부터 참조 기반 생성, 그리고 시스템을 벗어나지 않고도 특정 영역을 편집하는 것까지 모든 것을 처리합니다.
기술적인 돌파구가 가능하게 하다
VACE의 핵심에는 복잡한 문제를 해결하는 우아한 해법이 있습니다: 텍스트 프롬프트, 참조 이미지, 비디오 세그먼트, 편집 영역 마스크, 깊이 맵이나 인물 자세와 같은 제어 신호 등 완전히 다른 유형의 입력을 하나의 모델이 처리할 수 있는 표준화된 형식으로 어떻게 나타낼 것인가 하는 문제죠.
팀의 혁신인 '비디오 컨디션 유닛'은 본질적으로 비디오 조작 작업을 위한 보편적인 언어를 만듭니다. 이를 통해 VACE는 사용자가 다음 중 어떤 작업을 원하는지 이해할 수 있습니다:
- 텍스트를 기반으로 처음부터 비디오 생성하기
- 참조 이미지의 요소를 포함하는 비디오 생성하기
- 기존 영상의 특정 영역 편집하기
- 비디오 프레임을 공간적으로 확장하기 (세로 비디오를 가로로 바꾸는 것을 상상해 보세요)
- 동작 제어를 사용하여 정지 이미지 애니메이션화하기
특히 인상적인 것은 이러한 기능들을 조합할 수 있다는 점입니다. 비디오 속 인물을 참조 사진의 다른 인물로 바꾸면서 원래 움직임을 유지하고 싶으신가요? VACE는 이러한 복합 작업을 매끄럽게 처리합니다—이는 이전에는 여러 전문 AI 모델과 광범위한 기술 지식이 필요했던 작업입니다.
월스트리트도 주목하다
사업적인 의미는 크리에이티브 작업의 편리함을 넘어섭니다. IB 분석가 Trisha는 2024년 32억 달러(약 4조 4천억 원) 규모로 평가되는 비디오 편집 소프트웨어 시장이 학습 곡선이 가파른 전문 도구들에 의해 지배되어 왔다고 언급합니다.
Trisha는 최근 투자자 노트에서 "알리바바가 항상 오픈소스 생성 AI 모델의 현 상태에 도전하는 것처럼, VACE는 OpenAI나 Google과 같은 기존 강자들에게 잠재적인 판도를 뒤흔들 수 있습니다"라고 설명했습니다. "VACE의 접근 방식은 고품질 비디오 제작의 진입 장벽을 크게 낮춰, 최첨단 모델의 선도적인 오픈소스 버전을 제공함으로써 소규모 기업과 개인 크리에이터에게 전문 수준의 비디오 제작을 접근 가능하게 하여 시장을 확장할 가능성이 있습니다."
AI 콘텐츠 제작 분야를 주시하는 스타트업과 투자자들에게 VACE의 접근 방식은 귀중한 교훈을 제공합니다. 단순히 또 다른 전문 AI 모델을 구축하는 대신, 팀은 통합 문제 해결에 집중했습니다—기존 기능들을 통합할 수 있는 아키텍처를 만든 것입니다.
전문 도구에 도전하는 실제 성능
VACE의 가장 놀라운 점은 다재다능함뿐만 아니라 성능입니다. 기술 문서에 따르면, VACE는 새로 만들어진 VACE-벤치마크에서 측정한 결과 다양한 하위 작업에서 전문 모델과 비슷한 수준의 성능을 달성합니다.
특히 다중 작업 비디오 모델 평가를 위해 설계된 이 벤치마크는 AI 비디오 기술을 평가하는 방식의 중요한 공백을 해결합니다. 기존 측정 기준은 종종 단일 작업에만 초점을 맞춰 실제 크리에이티브 작업 과정의 전체 그림을 놓쳤습니다.
저는 VACE를 현재의 전문 도구와 비교하여 몇 가지 일반적인 비디오 편집 시나리오에서 테스트했습니다:
- 전경의 인물은 유지하면서 배경 교체하기
- 원래 경계를 넘어 비디오 프레임 확장하기
- 정지 이미지를 애니메이션 시퀀스로 변환하기
- 장면 내 특정 객체 편집하기
대부분의 경우, VACE는 시간과 기술적 지식 요구량을 극적으로 줄이면서 전문 도구와 비슷한 수준의 품질을 맞추거나 거의 근접했습니다. 전용 솔루션이 여전히 명확한 우위를 유지한 유일한 영역은 극히 복잡한 시각 효과나 정밀한 물리 기반 애니메이션 처리였습니다.
내부 기술 알아보기
기술 아키텍처에 관심 있는 분들을 위해 설명하자면, VACE는 비디오 생성을 위한 사전 학습된 확산 트랜스포머 모델(특히 LTX-Video 및 Wan-T2V)을 기반으로 하지만, 핵심적인 혁신이 있습니다:
- 컨텍스트 어댑터: 대규모 기본 모델을 완전히 재학습하는 대신, VACE는 기본 모델의 기능을 유지하면서 작업별 이해를 주입하는 어댑터 모듈을 사용합니다.
- 개념 분리: VACE는 편집 중 보존되어야 하는 콘텐츠와 수정되어야 하는 콘텐츠를 명시적으로 구분합니다—겉보기에는 간단하지만 제어력을 극적으로 향상시키는 중요한 구분입니다.
- 멀티 GPU 가속: 더 큰 14B 파라미터 모델의 경우, 여러 GPU에 걸친 분산 추론이 실제 사용에 필요한 성능을 제공합니다.
전체 모델 파인튜닝 대신 어댑터 기반 학습을 사용하기로 한 팀의 결정은 성능과 학습 효율성 사이의 우아한 타협점을 나타냅니다. 이 접근 방식은 기본 모델의 전문적인 능력을 희생하지 않고도 다재다능함을 달성할 수 있게 했습니다.
도전 과제 및 기회
인상적인 능력에도 불구하고 VACE는 몇 가지 도전 과제에 직면해 있습니다. 고해상도 비디오 처리는 여전히 계산 집약적이며, 14B 파라미터 모델은 원활한 작동을 위해 상당한 GPU 자원을 요구합니다. 특히 긴 시퀀스나 복잡한 상호작용의 경우, 프레임 간에 완벽한 연속성을 유지하는 시간적 일관성은 여전히 최전선의 과제입니다.
기업에게 가장 즉각적인 기회는 비디오 제작 작업 흐름을 간소화하는 데 있습니다. 이전에는 전문 비디오 부서가 필요했던 마케팅 팀이 이제 더 적은 자원으로 고품질 콘텐츠를 제작할 수 있게 될 가능성이 있습니다. 콘텐츠 제작 대행사는 더 빠르게 반복 작업하여, 이전에 한 가지 버전을 만드는 데 걸리던 시간에 여러 가지 창의적인 옵션을 생성할 수 있습니다.
이 기술은 또한 대규모 개인 맞춤형 비디오 제작의 새로운 가능성을 열어줍니다—예를 들어, 개별 선호도에 맞춰 자동적으로 제품 비디오를 생성하는 전자상거래 플랫폼이나, 다른 학습 상황에 맞게 동적으로 조정되는 교육 콘텐츠 등을 생각해 볼 수 있습니다.
기업과 크리에이터를 위한 결론
VACE는 비디오 제작 및 편집에 접근하는 방식에 있어 중요한 진전입니다. 그 통합 시스템은 오랜 기간 전문 비디오 제작을 특징지었던 파편화를 제거하는 동시에 전문 도구와 비교할 만한 품질을 유지합니다.
기업과 크리에이터들에게 핵심 질문은 이제 AI가 비디오 제작을 혁신할 것인가 하는 문제가 아닙니다—그것은 이미 일어나고 있습니다—대신 이러한 통합 접근 방식이 창의적 제어와 운영 효율성 사이의 균형을 맞추는 기업용 솔루션으로 얼마나 빨리 발전할 것인가 하는 문제입니다.
Morgan Chen이 말했듯이: "혁명적인 것은 VACE가 할 수 있는 일 자체만이 아니라, 그것이 창의적 과정을 어떻게 변화시키는가 하는 점입니다. 끊임없이 도구를 전환하지 않을 때, 저는 기술적 장벽이 아닌 이야기 자체에 집중할 수 있습니다."
그 변화—기술적 마찰에서 창의적인 흐름으로의 전환—이 궁극적으로 VACE가 비디오 콘텐츠 제작의 미래에 기여할 가장 가치 있는 부분이 될 수 있습니다.