Os geradores de modelo 3D da OpenAI Point-E podem ser a próxima inovação a abalar o campo da IA. O Point-E, um sistema de aprendizado de máquina que gera um objeto 3D a partir de um prompt de texto, foi disponibilizado ao público esta semana pela OpenAI.
Um artigo que foi publicado juntamente com o base de código afirma que o Point-E pode criar modelos 3D em uma única GPU Nvidia V100 em um a dois minutos.
No sentido convencional, o OpenAI Point-E não produz objetos 3D. Em vez disso, ele cria nuvens de pontos, que são coleções discretas de pontos de dados no espaço que refletem formas 3D; daí, a abreviação lúdica. Do ponto de vista computacional, as nuvens de pontos são mais simples de criar, mas atualmente são uma grande desvantagem do OpenAI Point-E porque não podem capturar a forma ou textura granular de um objeto.
A equipe OpenAI Point-E treinou um sistema de IA adicional para transformar nuvens em malhas para contornar essa restrição. No entanto, no relatório, eles destacam que o modelo ocasionalmente perde detalhes de itens específicos, resultando em formas em blocos ou deformadas.
O OpenAI Point-E é capaz de gerar modelos 3D em segundos
O OpenAI Point-E é composto por dois modelos: um modelo de texto para imagem e um modelo de imagem para 3D, além do modelo de geração de malha, que é um modelo autônomo. O modelo de texto para imagem foi treinado em imagens marcadas para compreender as relações entre palavras e conceitos visuais, muito parecido com sistemas de arte generativa como o próprio DALL-E 2 e Stable Diffusion da OpenAI. O modelo de imagem para 3D, por outro lado, foi ensinado a traduzir efetivamente entre os dois ao ser alimentado com um conjunto de fotografias acopladas a objetos 3D.
O modelo E de apontar texto para imagem cria um item sintético renderizado a partir de um prompt de texto, como “uma engrenagem impressa em 3D, uma única engrenagem, 3 polegadas de diâmetro e meia polegada de espessura” e o alimenta na imagem para Modelo -3D, que cria uma nuvem de pontos.
O OpenAI Point-E pode gerar nuvens de pontos coloridos que geralmente correspondem a prompts de palavras após o treinamento dos modelos em um conjunto de dados de “vários milhões” de objetos 3D e metadados relacionados, de acordo com os pesquisadores do OpenAI. Não é perfeito; ocasionalmente, o modelo Point-image-to-3D E não pode interpretar a imagem do modelo text-to-image, levando a uma forma que não corresponde ao prompt de texto. Mesmo assim, a equipe da OpenAI afirma que é muito mais rápido do que o estado da arte anterior.
“Embora nosso método tenha um desempenho pior nessa avaliação do que as técnicas de ponta, ele produz amostras em uma pequena fração do tempo”,
“Isso pode torná-lo mais prático para certas aplicações ou permitir a descoberta de objetos 3D de maior qualidade”.
-Equipe OpenAI
OpenAI Point-E pode ser uma ferramenta poderosa para projetar projetos
Quais são exatamente as aplicações do OpenAI Point E? No entanto, as nuvens de pontos criadas pelo Point-E podem ser utilizadas para criar objetos reais, por exemplo, por meio de impressão 3D, de acordo com os pesquisadores da OpenAI. Uma vez que seja um pouco mais refinado, o sistema também pode ser usado em processos de produção de jogos e animações, graças à adição do modelo de conversão de malha.
Embora possa ser o negócio mais recente a entrar no mercado de geração de objetos 3D, o OpenAI não é de forma alguma o primeiro, como foi dito anteriormente. Uma versão mais desenvolvida do Dream Fields, uma tecnologia 3D generativa que o Google revelou em 2021, foi lançada no início deste ano sob o nome de DreamFusion.
O DreamFusion, ao contrário do Dream Fields, não necessita de nenhum treinamento prévio. Portanto, pode criar modelos 3D de objetos sem dados 3D. Embora os geradores de arte 2D sejam atualmente o foco de atenção, a IA de síntese de modelos tem o potencial de ser o próximo grande disruptor industrial. Os modelos 3D são frequentemente utilizados nos domínios da ciência, design de interiores, arquitetura, cinema e televisão. Os engenheiros utilizam modelos como projetos para novos equipamentos, veículos e estruturas, enquanto as empresas de arquitetura os utilizam para demonstrar edifícios e paisagens propostas.
