Uma equipe de pesquisadores da Apple desenvolveu uma nova estrutura para renderização de cenas 3D de alta resolução conhecida como LGTM (Less Gaussians, Texture More). Esta estrutura aborda as ineficiências dos métodos existentes de propagação gaussiana 3D feed-forward que lutam com altas resoluções.
À medida que a resolução aumenta, os métodos tradicionais de feed-forward tornam-se proibitivos em termos de custos, dificultando a viabilidade da geração de cenas 3D de alta resolução. O LGTM visa aprimorar as capacidades dos sistemas existentes, separando a complexidade geométrica da resolução de renderização, permitindo uma geometria mais simples e adicionando texturas detalhadas.
A estrutura LGTM baseia-se em métodos de feed-forward previamente estabelecidos, colocando previsões de textura em camadas sobre estruturas geométricas. Os pesquisadores treinaram o modelo usando imagens de baixa resolução validadas em relação às verdades básicas de alta resolução, garantindo que a geometria gerada permanecesse precisa. Além disso, uma segunda rede focada em texturas detalhadas de imagens de alta resolução permite que o sistema produza resultados visualmente ricos.
Esta inovação pode impactar significativamente o headset Apple Vision Pro, que apresenta telas totalizando aproximadamente 23 milhões de pixels. Os métodos atuais de feed-forward enfrentam limitações em resoluções tão altas, levando a gargalos computacionais ao gerar cenas com rapidez e precisão. O LGTM pode facilitar um desempenho mais suave e visuais mais nítidos em aplicações que exigem renderização de cenas em alta resolução.
Ao implantar o LGTM, a Apple pode fornecer aos usuários ambientes mais imersivos e experiências de passagem aprimoradas, ao mesmo tempo que reduz as demandas de processamento. A página do projeto LGTM oferece métodos de demonstração como NoPoSplat, DepthSplat e Flash3D, apresentando resultados aprimorados em comparação com técnicas anteriores.
Exemplos de vídeos e imagens do projeto ilustram a capacidade do LGTM de fornecer detalhes mais ricos e resultados mais próximos dos fatos reais de alta resolução, demonstrando seus benefícios potenciais em aplicações práticas.
