Enquanto a Meta revela sua mais nova criação, LLaMA 2 vs GPT-4 atualmente ocupa as mentes de vários entusiastas de IA. No entanto, o impressionante anúncio da Meta sobre o código aberto desse formidável modelo de linguagem também foi notícia em uma surpreendente reviravolta nos acontecimentos.
Essa decisão catapultou instantaneamente o LLaMA 2 para o reino dos titãs da IA, preparando o cenário para um confronto épico com o renomado GPT-4 da OpenAI, a potência por trás do ChatGPT e do Microsoft Bing.
LLaMA 2 vs GPT-4 em várias comparações
O LLaMA 2-Chat, uma criação notável, deve sua existência ao ajuste fino e aprendizado de reforço com feedback humano valioso. Esse processo envolveu coleta de dados de preferência e modelos de recompensa de treinamento, incorporando uma nova técnica conhecida como Atenção Fantasma (GAtt). Além disso, o LLaMA 2-Chat se beneficia de ser treinado em saídas GPT-4, um fator essencial em seu desenvolvimento.
LLaMA 2 vs GPT-4: Notas
Para avaliar a eficácia do modelo, a Meta conduziu um estudo humano usando 4.000 solicitações, utilizando o “taxa de vitória” métrica, semelhante ao benchmark Vicuna, para compará-lo com modelos de código aberto e de código fechado, como ChatGPT e PaLM, no contexto de prompts de uma e várias voltas.
o impressionante 70B LLaMA2 modeloexecuta a par com GPT-3.5-0301 e supera outros modelos como Falcon, MPT e Vicuna. Os modelos LLaMA 2-Chat são excelentes em utilidade para prompts de uma e várias voltas, superando as alternativas de código aberto. Com uma taxa de vitória de 36% e uma taxa de empate de 31,5%em comparação com o ChatGPT, LLaMA 2-Chat prova sua coragem.
Além disso, supera o modelo MPT-7B-chat em 60% das indicações. A taxa geral de vitórias do modelo LLaMA 2-Chat 34B de mais de 75% contra os modelos Vicuna-33B e Falcon 40B de tamanho equivalente é um feito impressionante. Além disso, o modelo 70B supera o modelo de bate-papo PaLM-bison por uma margem significativa.
LLaMA 2 vs GPT-4: Codificação
No entanto, quando se trata de codificação entre LLaMA 2 vs GPT-4, apesar de suas inúmeras realizações, LLaMA-2 tem uma fraqueza quando se trata de codificação. Fica aquém da proeza de codificação exibida por GPT-3.5 (48.1) e GPT-4 (67). Enquanto o benchmark MMLU mostra os pontos fortes do LLaMA-2, o HumanEval revela que sua capacidade de codificação é um pouco menor em comparação com modelos explicitamente projetados para codificação, como StarCoder (33.6). No entanto, considerando os pesos abertos do LLaMA-2, é muito provável que sofra melhorias significativas ao longo do tempo.
LLaMA 2 vs GPT-4: Escrita
Quando se trata de escrever, LLaMA-2 e GPT-4 apresentam diferenças marcantes. Suas abordagens para escrevendo poesia, por exemplo, não poderia ser mais distinto. ChatGPT emprega escolhas de palavras intencionais, focado em fonética e avocabulário mais sofisticado, semelhante a um poeta habilidoso com uma ampla gama de expressões. Em contraste, o LLaMA-2 opta por uma seleção de palavras rimadas mais direta, semelhante a um poema do ensino médio.
Pedi ao Llama-2 e ao GPT-4 que escrevessem um poema sobre sua competição épica. Adivinha qual é qual.
========= Poema 1 =========
Na grande tapeçaria da trama da tecnologia,
Onde a informação muda e as ideias se dividem,
Duas figuras se levantam, suas histórias se entrelaçam,
GPT e Llama-2,…— Jim Fan (@DrJimFan) 18 de julho de 2023
Apesar de ser treinado em menor escala, o LLaMA-2 conquistou resultados louváveis, de acordo com o feedback de vários usuários que tiveram acesso beta. A abordagem da Meta, inicialmente usando dados publicamente disponíveis e depois aumentá-lo com dados de alta qualidade, tem comprovadamente eficaz na obtenção de melhores resultados com menos exemplos. As saídas do modelo foram comparáveis às anotações humanas, uma prova da natureza meticulosa de seu desenvolvimento.
LLaMA 2 vs GPT-4: Resultados com o mesmo prompt
É importante observar que comparar esses dois modelos em sua totalidade pode não ser totalmente justo, pois temos acesso apenas à versão demo do Llama 2. No entanto, usar o mesmo prompt para GPT-4 e Llama 2 nos dará algumas insights interessantes em suas respectivas capacidades e tendências estilísticas.
O prompt: “Escreva-me uma passagem de 100 palavras sobre a importância dos chatbots.”
- GPT-4:
Parece que a resposta do GPT-4, embora mais curta e sucinta em 93 palavras, fornece com sucesso informação precisa.
- Demonstração do Lhama 2:
Por outro lado, Llama 2 se inclina para uma resposta mais abrangente com 122 palavras. Embora seja um pouco mais detalhado considerando o prompt fornecido, ele oferece informações louvavelmente detalhadas.
Antecedentes do LLaMA 2
A jornada do LLaMA começou em fevereiro, gerando empolgação na comunidade de pesquisa de IA. Um vazamento logo após o anúncio só aumentou a intriga. Agora, com o lançamento do LLaMA 2 como um modelo de código aberto, seu público potencial expandido exponencialmente. Com mais 100.000 solicitações recebido para o modelo LLaMA inicial, o impacto do LLaMA 2 deve ser ainda mais profundo.
Durante Evento Inspire da Microsofta Meta não apenas demonstrou seu suporte inabalável para as plataformas Azure e Windows da Microsoft, mas também lançou uma bomba tornando o LLaMA 2 livremente acessível para fins comerciais e de pesquisa. Esse movimento marcou um marco significativo, pois abriu um vasto leque de possibilidades para empresas, startups e pesquisadores aproveitarem o potencial desse modelo de linguagem inovador.
Comparado ao seu antecessor, o LLaMA 2 passou por melhorias substanciais. Treinado em 40% mais dados, incluindo fontes on-line publicamente disponíveis, o LLaMA 2 exibiu desempenho superior em áreas como raciocínio, codificação, proficiência e testes de conhecimento, superando outros grandes modelos de linguagem como Falcon e MPT.
Priorizando a segurança e a transparência
A Meta demonstrou sua dedicação à segurança e transparência ao submeter o LLaMA 2 a rigorosos “red-teaming” e afinação por meio de prompts adversários. Esses esforços garantiram que o LLaMA 2 atendesse aos mais altos padrões de segurança e permitisse que pesquisadores e desenvolvedores obtivessem uma compreensão clara de seu desempenho por meio de processos de avaliação transparentes.
Acessibilidade entre plataformas
Em linha com seu compromisso com os princípios de código aberto, A Meta garantiu que o LLaMA 2 estaria acessível em várias plataformas. Inicialmente disponível através do Azure da Microsoft, o LLaMA 2 logo chegará a outras plataformas, como AWS, rosto abraçado, e outros. Essa abordagem inclusiva incentiva a ampla adoção e colaboração entre desenvolvedores e pesquisadores, impulsionando o avanço dos aplicativos de IA.
O poder de uma abordagem aberta à IA
A estratégia de código aberto da Meta se alinha com o cenário em rápida evolução da tecnologia de IA generativa. Ao democratizar o acesso a modelos de ponta como o LLaMA 2, a Meta promove uma comunidade colaborativa de desenvolvedores e pesquisadores que podem testar coletivamente o modelo, identificar possíveis problemas e agilizar soluções, impulsionando a inovação da IA.
LLaMA 2 vs GPT-4 e PaLM 2
Embora o LLaMA 2 possa ser um pouco menos poderoso do que seus concorrentes, GPT-4 e PaLM 2, sua natureza de código aberto e a ênfase do Meta em segurança e transparência são principais diferenciais. O LLaMA 2 foi treinado em dois milhões de fichas, menos do que PaLM 2 3,6 milhões de fichas, e suporta 20 idiomas, arrastando atrás 100 idiomas do PaLM 2 e 26 idiomas do GPT-4. No entanto, o poder da colaboração de código aberto e do desenvolvimento orientado pela comunidade pode compensar essas diferenças e levar a avanços rápidos.
Um momento crucial para o desenvolvimento da IA
A decisão da Meta de abrir as marcas do LLaMA 2 um ponto de virada no cenário da IA. Ao tornar esse poderoso modelo de linguagem livremente acessível, A Meta capacita desenvolvedores e pesquisadores a ultrapassar os limites da inovação em IA, garantindo que a segurança e a transparência permaneçam na vanguarda. A colaboração com Microsoft e qualcomm consolida ainda mais o futuro brilhante dos aplicativos de IA, prometendo integração perfeita em diversas plataformas e dispositivos.
À medida que desenvolvedores e pesquisadores embarcam nessa jornada com LLaMA 2 e a competição de LLaMA 2 vs GPT-4 continua, podemos esperar uma onda de ferramentas transformadoras alimentadas por IA emergirá, remodelando nossas interações com a tecnologia. O compromisso da Meta com a abertura estabelece um precedente para o refinamento colaborativo e o aproveitamento de modelos de IA, abrindo caminho para uma nova geração de inovações de IA que moldará o futuro da inteligência artificial.
Imagem em destaque: Crédito
Source: LLaMA 2 vs GPT-4: Quão competitivo é o Meta na corrida da IA?
