Miqu 70b e Mistral 70b foram finalmente revelados com o recente vazamento do Mistral Medium lançando luz sobre os tão aguardados modelos de IA de código aberto e suas capacidades são mostradas.
O mundo da IA está agitado com o modelo “Miqu-1-70b” e sua conexão potencial com o secreto Mistral Medium da Mistral AI. Em 28 de janeiro, “Miqu Dev” misteriosamente carregou arquivos “miqu-1-70b” no Hugging Faceseguido por uma aparição no 4chan e no X.
O modelo impressionou, rivalizando até com o GPT-4 em algumas áreas. Ainda não está convencido? Ver Programas N8‘poste no X abaixo.
Seja o que for Miqu, tem uma espécie de molho especial. Obtém 83,5 no EQ-Bench (avaliado localmente), superando *todos os outros LLM do mundo, exceto GPT-4*. EQ-Bench tem uma correlação de 0,97 com MMLU e uma correlação de 0,94 com Arena Elo. *bate* Mistral Medium – em Q4_K_M. EU… pic.twitter.com/0gOOPjxjPD
– Programas N8 (@N8Programs) 30 de janeiro de 2024
Vazamento de Mistral Medium revela Miqu 70b e Mistral 70b
Em 28 de janeiro, um usuário chamado “Miqu Dev” lançou uma bomba no HuggingFace, uma plataforma popular para entusiastas de IA. Eles carregaram um conjunto de arquivos que compõem o modelo Miqu 70B, que vem criando um grande burburinho no mundo da IA. Este modelo está sendo aclamado como um potencial divisor de águas, com alguns alegando que ele poderia dar ao GPT-4 uma corrida pelo seu dinheiro.
O modelo foi testado usando quatro exames profissionais alemães de treinamento em proteção de dados, que refletiam os testes de certificação reais exigidos para os funcionários. Os resultados foram impressionantes, com Miqu 1 70B respondendo corretamente 17 de 18 questões de múltipla escolha, mostrando sua compreensão robusta do conteúdo. No entanto, não cumpriu a instrução de responder com “OK” para reconhecer a informação, o que marca uma lacuna no cumprimento das instruções.
Quando comparado com outros modelos, Miqu 70B mostrou habilidades linguísticas proficientes e habilidades bilíngues. Contudo, não superou o Modelo Mixtral-8x7B-Instruct-v0.1 ou outros modelos de alto escalão como GPT-4, Golias-120B-GGUFe Tess-XL-v1.0-GGUFtodos obtiveram pontuações perfeitas em ambas as rodadas de testes e aderiram à instrução “OK”.
O Miqu 70B é realmente um vazamento do Mistral Medium?
As origens do Miqu-1-70B permanecem um mistério, com alguns especulando que é uma versão vazada do Mistral-Medium ou uma versão experimental mais antiga. O desempenho do modelo gerou debates e discussões na comunidade tecnológica, com alguns afirmando que é real, enquanto outros estão céticos.
Arthur Mensch, o chefão da Mistral, finalmente abordou os rumores. Ele confirmou que um castor ansioso da turma do acesso antecipado se empolgou um pouco e vazou um modelo antigo. No entanto, Mensch também deu a entender que eles estão inventando algo ainda melhor desde então, um modelo que poderia ofuscar o GPT-4.
Um funcionário super entusiasmado de um de nossos clientes de acesso antecipado vazou uma versão quantizada (e com marca d’água) de um modelo antigo que treinamos e distribuímos abertamente.
Para começar a trabalhar rapidamente com alguns clientes selecionados, reciclamos este modelo do Llama 2 no minuto em que chegamos…
-Arthur Mensch (@arthurmensch) 31 de janeiro de 2024
Se a Mistral lançar um modelo de código aberto equivalente ao GPT-4, poderá enviar ondas de choque pelo cenário da IA. A OpenAI pode ter que tomar cuidado, pois há um novo concorrente na cidade, pronto para desafiar o status quo. Esse vazamento pode muito bem ser a faísca que iluminará uma nova era na IA, onde os grandes nomes
Então o Mistral é melhor que o ChatGPT?
Determinar se Mistral é “melhor” que ChatGPT é difícil porque depende do que você procura em um LLM e de como você define “melhor”. Aqui está uma análise de seus pontos fortes e fracos para ajudá-lo a decidir qual deles pode ser mais adequado às suas necessidades:
Mistral
Forças:
- Código aberto: Mistral oferece diversos modelos, inclusive alguns de código aberto, tornando-os mais acessíveis para fins pessoais e de pesquisa
- Eficiência: Modelos Mistral como Mixtral-8x7B são conhecidos por sua eficiência, exigindo menos poder computacional do que modelos comparáveis como GPT-4
- Transparência: Embora nem todos os modelos sejam de código aberto, o Mistral tende a ser mais transparente sobre seu processo de desenvolvimento e pesquisa em comparação com a abordagem de código fechado da OpenAI com ChatGPT
Fraquezas:
- Desempenho: No geral, os modelos Mistral tendem a ter uma pontuação ligeiramente inferior aos modelos de topo, como o GPT-4, em benchmarks para tarefas como geração e tradução de texto.
- Acessibilidade: Alguns dos modelos mais poderosos do Mistral (como o Mistral Medium) não estão disponíveis publicamente ou exigem listas de espera e taxas de acesso
- Comunidade limitada: Comparado ao ChatGPT, o Mistral tem uma base de usuários e uma comunidade menores, o que pode limitar os recursos e o suporte disponível
Bate-papoGPT
Forças:
- Desempenho: GPT-4 atualmente demonstra desempenho superior em muitos benchmarks, especialmente em áreas como geração de texto criativo e diálogo complexo
- Acessibilidade: OpenAI oferece acesso gratuito ao ChatGPT por meio de programas beta e APIs, tornando-o mais prontamente disponível para uso pessoal
- Grande comunidade: A grande base de usuários e a comunidade criam extensos recursos, guias e aplicativos para usar o ChatGPT
Fraquezas:
- Código fechado: A natureza de código fechado do ChatGPT levanta preocupações sobre a transparência e potenciais preconceitos no modelo
- Custo computacional: GPT-4 requer poder computacional significativo, tornando-o menos acessível para indivíduos com recursos limitados
- Preocupações éticas: O controle da OpenAI sobre o acesso e a transparência limitada levantam preocupações sobre o desenvolvimento responsável e o potencial uso indevido da tecnologia
Em última análise, a opção “melhor” depende das suas prioridades. Se você precisa de um modelo de código aberto com boa eficiência e transparência, o Mistral pode ser uma boa opção. Se você prioriza o melhor desempenho e o suporte mais amplo da comunidade, o ChatGPT pode ser a melhor escolha.
Crédito da imagem em destaque: IA Mistral.
