A ByteDance está lançando seu novo modelo de geração de áudio e vídeo, Dreamina Seedance 2.0, para sua plataforma de edição, CapCut.
Esta implantação posiciona a ByteDance como um player-chave no mercado de geração de vídeo de IA, seguindo a decisão da OpenAI de reduzir seus esforços no aplicativo Sora.
O modelo permite que os criadores esbocem, editem e sincronizem conteúdo de vídeo e áudio usando prompts, imagens ou vídeos de referência, de acordo com a ByteDance.
O lançamento terá como alvo inicial usuários do CapCut no Brasil, Indonésia, Malásia, México, Filipinas, Tailândia e Vietnã. ByteDance afirmou que mercados adicionais serão adicionados progressivamente.
A empresa já enfrentou preocupações de propriedade intelectual em relação ao modelo, o que gerou uma pausa em seu lançamento global e críticas de Hollywood sobre suposta violação de direitos autorais. Isto pode explicar a disponibilidade inicial limitada no mercado.
Na China, o Dreamina Seedance 2.0 está disponível no aplicativo Jianying da ByteDance.
O modelo de geração de vídeo pode funcionar sem imagens de referência, permitindo aos criadores descrever cenas com poucas palavras, anunciou a ByteDance.
CapCut pode renderizar texturas, movimentos e iluminação realistas em várias perspectivas e ângulos visuais para o modelo. A empresa observou que esse recurso poderia melhorar ou corrigir as filmagens existentes dos criadores.
Os usuários também podem testar ideias de conteúdo com base em conceitos ou esboços iniciais antes das filmagens, disse a empresa.
Dreamina Seedance 2.0 oferece suporte a tipos de conteúdo como receitas de culinária, tutoriais de condicionamento físico, visões gerais de negócios e vídeos focados em ação, áreas onde os modelos de vídeo de IA encontraram desafios anteriormente, explicou ByteDance.
No lançamento, o modelo suporta videoclipes de até 15 segundos em seis proporções.
A integração ao CapCut incluirá recursos como AI Video e ferramentas de geração como Video Studio. O modelo também se estenderá à plataforma de geração de IA da ByteDance, Dreamina, e à sua plataforma de marketing, Pippit.
ByteDance implementou restrições de segurança para evitar que o modelo gere vídeos a partir de imagens ou vídeos contendo rostos reais devido às suas capacidades realistas de geração de conteúdo. CapCut também bloqueará a geração não autorizada de propriedade intelectual.
O conteúdo produzido pelo Dreamina Seedance 2.0 conterá uma marca d’água invisível para identificar material gerado por IA quando compartilhado fora da plataforma. Este recurso pode ajudar a atender às solicitações de remoção dos detentores de direitos, acrescentou ByteDance.
A ByteDance planeja colaborar com especialistas e comunidades criativas durante o lançamento para melhorar iterativamente as capacidades do modelo.
