O sistema de inteligência artificial conhecido como Google Muse AI foi oficialmente apresentado hoje. Com base no uso de decodificação paralela e em um espaço latente pequeno e discreto, o novo modelo de transformador de texto para imagem afirma ser mais rápido do que as alternativas existentes. Os criadores do Google Muse AI afirmam que sua criação pode gerar fotografias em um nível de qualidade comparável ao melhor dos melhores.
Apresentamos Musaum modelo Transformer de conversão de texto em imagem que atinge o desempenho de geração de imagem de última geração, sendo significativamente mais eficiente do que os modelos de difusão ou autorregressivos.
Equipe de IA do Google Muse
O que é a IA do Google Muse?
A equipe afirma que o Google Muse AI é uma grande melhoria em relação aos modelos anteriores de transformadores de texto para imagem, como Imagen e DALL-E 2. O Muse usa a incorporação de texto de um grande modelo de linguagem para ser treinado em um trabalho de modelagem mascarada em espaço de token discreto (LLM ).
O Muse é capaz de reconhecer tokens em imagens que foram disfarçadas à vontade. Devido ao uso de tokens discretos e requisitos de tamanho de amostra reduzidos, o Muse promete superar modelos de difusão de espaço de pixel como Imagen e DALL-E 2. para um prompt.
Baseado em MUSAos tempos de inferência do Muse são significativamente menores do que os dos modelos concorrentes.
Modelo | Resolução | Tempo de inferência (↓) |
Difusão estável 1.4 | 512×512 | 3,7s |
Parte-3B | 256×256 | 6,4s |
Imagen | 256×256 | 9,1s |
Imagen | 1024×1024 | 13,3s |
Musa-3B | 256×256 | 0,5s |
Musa-3B | 512×512 | 1,3s |
Ao contrário do Parti e de outros modelos autorregressivos, o Muse tira proveito da decodificação paralela. Para produzir imagens de alta qualidade e reconhecer conceitos visuais como objetos, suas relações espaciais, postura, cardinalidade e assim por diante, um LLM que já tenha sido ensinado precisa entender o inglês em um nível granular. O modelo não precisa ser invertido para que o Muse suporte pintura interna, pintura externa e edição sem máscara.
Recursos de IA do Google Muse
O Muse é um modelo rápido e avançado para gerar e alterar imagens a partir de texto e possui vários recursos úteis, incluindo:
- Geração de texto para imagem
- Em reação às entradas de texto, a inteligência artificial (IA) Muse do Google gera rapidamente visuais de alta qualidade (1,3 s para resolução de 512 × 512 ou 0,5 s para resolução de 256 × 256 em TPUv4).
- Edição zero-shot e sem máscara
- O modelo de IA do Google Muse nos oferece edição gratuita sem disparo e sem máscara, por amostragem repetida de tokens de imagem em resposta a uma instrução textual.
- Ao alterar uma imagem, a edição sem máscara permite manipular vários objetos com um simples prompt de texto.
- Pintura interna/exterior zero-shot
- O Muse AI do Google é gratuito e vem com recursos de edição baseados em máscara (pintura interna e externa). Ao aplicar uma máscara a uma edição, ela se torna funcionalmente equivalente a uma nova geração.
Confira os melhores geradores de tweets de IA que o ajudarão a tuitar como Elon Musk.
Detalhes do modelo do Google Muse AI
Você pode verificar o fluxo de treinamento do Muse AI do Google abaixo:
Duas redes tokenizadoras VQGAN diferentes são usadas pela equipe do Google, uma para fotografias de baixa qualidade e outra para imagens de alta resolução. Transformadores de baixa resolução (“base”) e alta resolução (“superres”) são treinados com os tokens não mascarados e incorporações de texto T5 para prever os tokens mascarados.
Para obter informações mais detalhadas sobre o Google Muse AI, clique em aqui.
Ferramentas de IA que explicamos
Embora alguns digam “não às imagens geradas por IA”, quase todos os dias uma nova ferramenta de IA entra em nossas vidas, como:
- IA equilibrada
- Caktus AI
- OpenAI Point-E
- Uberduck AI
- QQ Diferentes Dimensões Eu
- MyHeritage AI Time Machine
- Cícero IA da Meta
- IA de noção
- Meta Galactica IA
- Novela IA
- Criar um vídeo Meta AI
- DALL-E 2
- Sonho de Wombo
- DreamBooth AI do Google
- Difusão estável
Fique atento para mais!
Source: Google Muse AI: recursos, exemplos e muito mais