Você já quis adicionar diálogos realistas aos seus personagens animados ou vídeos, mas achou o processo de sincronização labial manual tedioso? A sincronização labial do Pika pode mudar tudo. Este recurso inovador alimentado por IA permite gerar facilmente movimentos labiais sincronizados para seus vídeos, tornando-os mais envolventes e verossímeis.
O inovador gerador de vídeo Sora AI da OpenAI pode estar fora do alcance do público por enquanto, mas seus rivais estão avançando com seus próprios recursos inovadores. Pika deu um grande passo com o lançamento de seu novo recurso Lip Sync para assinantes pagantes.
Este desenvolvimento emocionante tem o potencial de remodelar o cinema tradicional e olhar para PikaNo vídeo de X, o recurso de sincronização labial Pika está no ponto!
Sabemos que tem havido muita conversa sobre vídeos gerados por IA recentemente. Bem, olha quem está falando agora!
O acesso antecipado ao Lip Sync está disponível para usuários Pro agora em https://t.co/nqzjGy82Lx. pic.twitter.com/vCJ88pUWLL
-Pika (@pika_labs) 27 de fevereiro de 2024
O que é Pika Lip Sync?
Distribuído por Tecnologia de áudio generativo de ponta da ElevenLabs, o Pika Lip Sync permite que os usuários adicionem diálogos falados realistas aos seus vídeos gerados por IA. Combina perfeitamente o diálogo com movimentos labiais animados, garantindo que as bocas dos personagens sincronizem perfeitamente com o áudio.
A sincronização labial Pika suporta texto para áudio e faixas de áudio enviadas. Quer você digite seu roteiro ou carregue uma narração pré-gravada, você pode personalizar a voz para se adequar ao seu personagem e ao estilo do projeto. Atualmente, o acesso é limitado a usuários do Pika Pro e membros do Programa “Super Colaboradores” do Pika.
Como funciona o Pika Lip Sync?
A sincronização labial Pika aproveita modelos complexos de aprendizado de máquina para dividir seus arquivos de áudio e reconhecer fonemas – as unidades básicas de som na fala. Esses fonemas são então mapeados para formatos e movimentos de boca correspondentes (visemas), criando uma animação contínua que corresponde à sua trilha de áudio.
Como usar o Pika Lip Sync
Aqui está um guia passo a passo para começar a usar o Pika Lip Sync:
- Crie ou carregue seu personagem: Comece gerando um personagem com as ferramentas de arte de IA do Pika ou enviando uma imagem existente
- Carregue ou grave seu áudio: carregue um arquivo de áudio pré-gravado (como uma narração ou uma música) ou grave seu áudio diretamente na interface do Pika
- Aplicar Pika Lip Sync: Localize e selecione o recurso de sincronização labial Pika. Os lábios do seu personagem serão animados automaticamente com base no áudio enviado
Ajuste todas as configurações, se necessário, e exporte seu vídeo recém-animado.
AI para Holywood
Embora os vídeos gerados por IA de Pika ainda possam ter um longo caminho a percorrer em termos de fotorrealismo absoluto em comparação com Sora ou Runway, a adição de Lip Sync dá-lhes uma vantagem disruptiva. Pika aborda um grande obstáculo na criação de filmes narrativos de IA mais longos que veremos em breve em Hollywood.
Anteriormente, adicionar diálogo falado e movimentos labiais realistas muitas vezes exigia ferramentas complicadas de terceiros na pós-produção. A sincronização labial Pika agiliza esse processo, transformando o potencial para filmes completos com tecnologia de IA.
No entanto, Pika não é o único a inovar. Essa semana, Runway atualizou seu recurso Multi Motion Brush, permitindo que os usuários apliquem direções de movimento independentes a objetos em vídeos e adicionem detecção automática de região para facilitar a seleção de movimento. Isso destaca os rápidos avanços em todas as ferramentas de geração de vídeo de IA.
Não se esqueça do perigo do Deepfake
A facilidade de criar vídeos realistas com ferramentas como o Pika Lip Sync traz à tona sérias preocupações éticas sobre deepfakes. Deepfakes são mídias sintéticas, geralmente vídeos, em que a imagem de uma pessoa é manipulada para dizer ou fazer coisas que ela não fez originalmente. Embora essa tecnologia possa ter usos criativos e divertidos, ela também tem um lado negro.
Os recentes vazamentos de Bobbi Athoff servem como um forte lembrete dos perigos potenciais dos deepfakes quando usados sem consentimento. Esses vídeos manipulados causaram sofrimento significativo e destacaram o impacto prejudicial na reputação e no bem-estar emocional das pessoas visadas. Deepfakes podem ser usados para espalhar desinformação, para fins de vingança ou assédio, ou mesmo para criar conteúdo exploratório e não consensual.
É crucial que os usuários estejam cientes das responsabilidades éticas e dos danos potenciais que advêm do uso de IA para manipulação de vídeo. O poder desta tecnologia deve ser utilizado com transparência e responsabilidade. Tanto os criadores como as plataformas precisam considerar diretrizes e salvaguardas para prevenir proativamente o uso indevido. Isso inclui educar os usuários sobre os riscos dos deepfakes e desenvolver ferramentas para detectar e sinalizar conteúdo manipulado.
Crédito da imagem em destaque: Grátis.
Source: Pika Lip Sync: grande passo na adaptação da IA para Hollywood
