O Google AI lançou o INCEDDINGGEMMA, um novo modelo de incorporação no dispositivo, com 308 milhões de parâmetros. Segundo o Google, seu tamanho compacto permite que ele funcione efetivamente em dispositivos móveis e em configurações offline. O modelo atinge a latência de inferência de sub-15ms para 256 tokens no Edgetpu, tornando-o adequado para aplicações em tempo real. Treinado em dados que abrangem mais de 100 idiomas, o incorporação de incorporação garantiu a posição superior no texto massivo que incorpore o benchmark (MTEB) entre modelos com menos de 500 milhões de parâmetros. O Google relata seu desempenho rivais ou supera o dos modelos de incorporação quase o dobro do seu tamanho, especialmente em tarefas de recuperação e pesquisa semântica e semânticas. Mais informações estão disponíveis através dos links fornecidos para uma análise completa, o modelo sobre o rosto abraçado e os detalhes técnicos.
Source: O Google AI libera o modelo de incorporação no dispositivo
