A OpenAI revelou seu primeiro processador de inferência personalizado, Jalapeño, desenvolvido em colaboração com a Broadcom. O processador, projetado especificamente para os sistemas de inferência da OpenAI, foi auxiliado pelos próprios modelos de IA da empresa, afirmou a empresa.
O Jalapeño está atualmente em testes, com os primeiros resultados indicando um desempenho por watt significativamente melhor em comparação com as alternativas atuais de última geração. A parceria com a Broadcom foi anunciada oficialmente em outubro, com especulações contínuas de que visa reduzir a dependência da OpenAI das GPUs da Nvidia.
Semelhante ao OpenAI, o Google e a Amazon também criaram chips personalizados denominados “aceleradores de IA” para melhorar o desempenho do aprendizado de máquina. O presidente da OpenAI, Greg Brockman, discutiu a estratégia de desenvolvimento de chips da empresa em um podcast logo após anunciar a parceria com a Broadcom.
“Temos um conhecimento profundo da carga de trabalho”, disse Brockman. “Estamos realmente procurando por cargas de trabalho específicas que não são atendidas e [e nos perguntamos] como podemos construir algo que seja capaz de acelerar o que é possível?”
O processador Jalapeño é otimizado para inferência, que envolve a execução de modelos de IA pré-construídos em resposta aos comandos do usuário. OpenAI destacou os baixos custos operacionais do chip para modelos de codificação em tempo real. Tarefas mais intensivas em desempenho, como pré-treinamento, provavelmente continuarão a depender do hardware da Nvidia, mas a redução dos custos de inferência poderia impactar positivamente as finanças da OpenAI.
A otimização dos sistemas de inferência pode ser essencial para o avanço da viabilidade económica da IA. A OpenAI está focada na construção de vários produtos de agência, incluindo Codex, juntamente com os data centers necessários para implantação. A mudança para chips personalizados permite que a empresa aprimore ainda mais sua infraestrutura.
“A OpenAI não está apenas desenvolvendo modelos de fronteira ou construindo produtos sobre eles; está projetando a infraestrutura subjacente a eles: arquitetura de chips, kernels, sistemas de memória, rede, agendamento, sistemas de implantação e experiência de produto”, afirmou a empresa. “Como o OpenAI opera em toda a pilha, cada camada pode ser otimizada em torno do mesmo objetivo: tornar seus modelos mais rápidos, mais confiáveis e mais acessíveis para os usuários.”
