A xAI Corp. de Elon Musk lançou o Colossus, um poderoso sistema de treinamento de IA. Musk anunciou isso em uma postagem recente no X, anteriormente conhecido como Twitter. O novo sistema, que usa 100.000 placas de vídeo Nvidia, é um grande passo à frente para a xAI e a comunidade de IA.
O sistema Colossus usa placas de vídeo H100 da Nvidia, que têm sido o padrão para processamento de IA desde 2022. O sistema é um dos sistemas de treinamento de IA mais avançados já construídos. Musk diz que o novo sistema é o “sistema de treinamento de IA mais poderoso do mundo”. Ele pode até superar os supercomputadores mais rápidos, como o Aurora do Departamento de Energia dos EUA.
Este fim de semana, o @xAI equipe colocou nosso cluster de treinamento Colossus 100k H100 online. Do início ao fim, foi feito em 122 dias.
Colossus é o sistema de treinamento de IA mais poderoso do mundo. Além disso, ele dobrará de tamanho para 200k (50k H200s) em alguns meses.
Excelente…
— Elon Musk (@elonmusk) 2 de setembro de 2024
A força motriz por trás do poder do Colossus
O poder de processamento do sistema Colossus vem da Nvidia Fichas H100. Esses chips estão entre os mais poderosos da indústria de IA e são projetados para treinar grandes modelos de linguagem. O H100’s Motor transformador módulo é um conjunto de circuitos otimizados para executar modelos de IA com base na arquitetura de rede neural Transformer. Essa arquitetura é usada em muitos modelos de IA de ponta, incluindo o Llama 3.1 405B da Meta e o GPT-4 da OpenAI.
De Musk A xAI Corp. recebeu uma Investimento de US$ 6 bilhõeselevando sua avaliação para 24 mil milhões de dólares. Este financiamento é parte do esforço de Musk para competir com a OpenAI, uma empresa que ele está processando por quebra de contrato. O sistema Colossus é mais rápido do que o supercomputador Aurora do Departamento de Energia dos EUA. Ele usa as placas gráficas avançadas H100 da Nvidia. O mais novo Chips H200 oferecer melhorias, incluindo uma mudança de Memória HBM3 para HBM3e e um aumento na capacidade de memória onboard para 141 gigabytes. Alguns dos chips que equipam o Colossus foram inicialmente destinados à Tesla.
Vídeo do interior do Cortex hoje, o novo supercluster gigante de treinamento de IA que está sendo construído na sede da Tesla em Austin para resolver problemas de IA do mundo real. foto.twitter.com/DwJVUWUrb5
— Elon Musk (@elonmusk) 26 de agosto de 2024
O sistema tem mais de 100.000 chips. Musk planeja dobrar a contagem de chips do sistema para 200.000, com 50.000 sendo os processadores H200 mais novos e rápidos. O H200 é uma versão melhorada do H100. Ele tem dois novos recursos que o tornam mais rápido e mais poderoso. Essas atualizações tornam mais fácil para o Colossus lidar com modelos complexos de IA.
À medida que o xAI avança Tecnologia de IAo novo sistema será essencial para desenvolver modelos de linguagem de próxima geração. O modelo principal da empresa, Grok-2, foi treinado usando 15.000 GPUs. Com o poder dos 100.000 chips da Colossus, modelos ainda mais avançados podem ser criados. A xAI planeja lançar um novo modelo até o final do ano.
Além de seus desenvolvimentos inovadores de IA, o uso do hardware Nvidia pela xAI destaca a crescente demanda por capacidades poderosas de processamento de IA em vários setores. O fato de que alguns dos chips usados no Colossus foram originalmente destinados à Tesla ressalta ainda mais a importância dessa tecnologia na visão mais ampla de Musk.
Crédito da imagem em destaque: Furkan Demirkaya / Dall-E
