O chatbot Vicuna-13B AI foi apresentado como um chatbot de código aberto que é treinado usando LLaMA de ajuste fino com conversas compartilhadas pelo usuário coletadas do ShareGPT. Este chatbot passou por uma avaliação preliminar usando o GPT-4 como benchmark, o que mostra que ele atinge mais de 90%* de qualidade em comparação com outros chatbots populares como OpenAI ChatGPT e Google Bard. O Vicuna-13B também supera outros modelos, como LLaMA e Stanford Alpaca, em mais de 90%* dos casos.
Apesar de ter quase o dobro do tamanho da Stanford Alpaca, a Vicuna-13B custa apenas cerca de US$ 300, metade do custo da Alpaca. Isso ocorre porque os dados do ShareGPT, a partir dos quais o Vicuna é treinado, são acessíveis abertamente, enquanto Stanford gerou seus próprios dados por meio da API OpenAI. Assim, a Vicuna incorre apenas em custos de treinamento. Semelhante ao modelo de Stanford, o Vicuna-13B é disponibilizado apenas para fins não comerciais.
De acordo com a equipe por trás do Vicuna, o chatbot demonstrou respostas significativamente melhor estruturadas e mais detalhadas do que o Alpaca durante os testes de perguntas de benchmark depois de ser ajustado com os dados do ShareGPT. A equipe afirma que a qualidade das respostas do chatbot Vicuna-13B AI é comparável àquelas fornecidas pelo ChatGPT.
O GPT-4 pode comparar os resultados de vários chatbots, mas o método é considerado “não científico” pela equipe do chatbot Vicuna-13B AI, e mais pesquisas são necessárias – Imagem: LmSys
Para avaliar melhor o desempenho do chatbot Vicuna-13B AI, a equipe está usando o GPT-4, o modelo mais recente da OpenAI. O GPT-4 permite que a equipe classifique e pontue consistentemente diferentes chatbots de maneira detalhada, fornecendo assim uma avaliação mais abrangente das capacidades do Vicuna.
O que é o chatbot Vicuna-13B AI?
O Vicuna é um chatbot de código aberto que foi ajustado usando cerca de 70.000 conversas compartilhadas por usuários obtidas do ShareGPT.com por meio de APIs públicas. O chatbot Vicuna-13B AI é baseado no LLaMA, que foi ajustado para otimizar seu desempenho. Para garantir a qualidade dos dados, a equipe de pesquisa converteu o formato HTML de volta para markdown e removeu amostras inadequadas ou de baixa qualidade. Além disso, eles segmentaram longas conversas em partes menores que se encaixariam no comprimento máximo do contexto do modelo.
A equipe de pesquisa desenvolveu várias melhorias na receita de treinamento Alpaca de Stanford para melhorar o desempenho da Vicunha. Esses aprimoramentos incluem:
- Otimizações de memória: A equipe expandiu o comprimento máximo do contexto de 512 em Alpaca para 2048, o que permitiu uma melhor compreensão de longas conversas. No entanto, isso resultou em um aumento significativo nos requisitos de memória da GPU. Para mitigar isso, a equipe usou pontos de verificação de gradiente e atenção de flash para gerenciar a pressão da memória.
- Conversas em várias rodadas: A equipe ajustou a perda de treinamento para contabilizar as conversas de várias rodadas e calculou a perda de ajuste fino apenas com base na saída do chatbot.
- Redução de custo via Instância Spot: O treinamento com um conjunto de dados 40x maior e um comprimento de sequência 4x representou um desafio de custo considerável. Para reduzir os custos, a equipe usou o ponto gerenciado do SkyPilot, que utilizou instâncias spot mais baratas com recuperação automática para preempções e troca automática de zona.
As várias otimizações feitas no Vicuna permitem que o chatbot compreenda e responda melhor a conversas complexas. Além disso, as estratégias de redução de custos tornam o Vicuna uma opção mais acessível para desenvolvedores e pesquisadores que constroem sistemas de chatbot.
Para treinar o chatbot Vicuna-13B AI, a equipe de pesquisa coletou aproximadamente 70.000 conversas do ShareGPT.com, uma plataforma onde os usuários podem compartilhar suas conversas do ChatGPT. Os scripts de treinamento fornecidos pela Alpaca foram modificados para lidar melhor com sequências longas e conversas em várias rodadas. A equipe usou o PyTorch FSDP em oito GPUs A100 para treinar o Vicuna em apenas um dia.
A implementação de demonstração empregou um sistema de serviço distribuído leve capaz de atender a vários modelos usando trabalhadores distribuídos. Este sistema oferece suporte a plug-ins de trabalho de GPU flexíveis de clusters baseados em nuvem e no local. Para reduzir os custos de serviço, a equipe usou um controlador tolerante a falhas e recursos pontuais gerenciados no SkyPilot, que aproveitou instâncias pontuais mais baratas de várias nuvens.
Como usar o chatbot Vicuna-13B AI?
Você pode experimentar o chatbot Vicuna-13B AI seguindo estas etapas:
- Vá para lmsys.org
- Escolha “vicuna-13b” no menu suspenso
- Abaixo, você verá uma caixa dizendo “Digite o texto e pressione ENTER”
- Pergunte o que quiser e clique em upload.
É isso! Vale ressaltar que a versão atual do Vicuna é um modelo de demonstração, e a versão original pode ter recursos diferentes. Como tal, os usuários devem ter em mente que o desempenho e os recursos da versão lançada podem diferir daqueles do modelo de demonstração.
No entanto, o modelo de demonstração fornece informações valiosas sobre os recursos potenciais do chatbot Vicuna-13B AI e serve como um exemplo promissor das possibilidades de ferramentas de código aberto.
Quão bom é o chatbot Vicuna-13B AI?
A empresa apresentou as respostas da Alpaca e da Vicunha às suas perguntas de referência. Depois de ajustar o Vicuna com 70.000 conversas ChatGPT compartilhadas pelo usuário, descobriu-se que o Vicuna é capaz de gerar respostas mais detalhadas e melhor estruturadas do que o Alpaca. A qualidade das respostas do chatbot Vicuna-13B AI é comparável àquelas fornecidas pelo ChatGPT.
Abaixo você pode observar os exemplos de prompts e respostas de ambos os modelos, compartilhados em a documentação:
Vicuna-13B AI chatbot: “Aloha, companheiros de viagem! Se você está procurando um paraíso tropical com uma cultura rica e paisagens de tirar o fôlego, não procure mais do que o Havaí. Minha recente viagem ao estado de Aloha foi uma aventura inesquecível, repleta de experiências culturais emocionantes e atrações imperdíveis.
Em primeiro lugar, fiquei impressionado com o espírito caloroso e acolhedor do povo havaiano. Desde o momento em que cheguei me senti em casa e fui recebido de braços abertos pelos cariocas. Quer fossem os funcionários do hotel, meu guia turístico ou os estranhos amigáveis que conheci na rua, todos que encontrei estavam ansiosos para compartilhar seu amor por seu estado natal.
Uma das experiências culturais mais memoráveis que tive foi assistir a um tradicional luau havaiano. Nesse evento festivo, fui presenteado com um delicioso banquete da culinária local, incluindo poi, laulau e kalua pig, enquanto ouvia a batida hipnótica do hula. Os dançarinos, vestidos com belos trajes nativos, contaram histórias das ilhas e sua história através de seus movimentos. Foi realmente uma noite mágica que me permitiu entrar em contato com a rica herança do Havaí.
Outra atração imperdível que me deixou maravilhado foi a beleza de tirar o fôlego do Parque Nacional de Haleakala. O parque possui um vulcão adormecido, o maior da ilha, que oferece uma caminhada deslumbrante ao nascer ou ao pôr do sol. À medida que o sol subia no horizonte, fiquei impressionado com as cores vibrantes e a beleza absoluta da paisagem. Foi uma experiência que realmente me humilhou e que nunca esquecerei.
Claro, nenhuma viagem ao Havaí estaria completa sem passar algum tempo na praia. Com suas águas cristalinas, areia dourada e ondas suaves, Wailea Beach era o local perfeito para relaxar e aproveitar o sol. Seja você um surfista ávido, um fã de praia ou simplesmente procurando relaxar, as praias do Havaí certamente roubarão seu coração.
Concluindo, o Havaí foi um verdadeiro paraíso que superou todas as minhas expectativas. Desde o momento em que desci do avião, fiquei imerso em uma cultura rica, vibrante e cheia de vida. Com tantas atrações imperdíveis e experiências inesquecíveis, o Havaí é o destino perfeito para qualquer viajante que procura um pouco de aventura, cultura e relaxamento. Mahalo pela leitura, e espero vê-lo no Havaí em breve!”
Não se esqueça de conferir nossa comparação de prompts do ChatGPT se você gosta de examinar chatbots de IA!
Conclusão
O chatbot Vicuna-13B AI é uma ferramenta de código aberto altamente promissora que demonstra capacidades impressionantes na geração de respostas bem estruturadas e detalhadas, superando alguns dos modelos existentes em muitos casos. Com vários modelos de linguagem sendo treinados para diferentes chatbots, o futuro da IA conversacional parece cada vez mais interessante.
O potencial dos chatbots para melhorar o atendimento ao cliente, fornecer experiências personalizadas e facilitar várias tarefas é vasto, e o Vicuna serve como uma prova do poder da colaboração de código aberto para ultrapassar os limites da tecnologia chatbot. À medida que a pesquisa nesse campo continua a evoluir, podemos esperar avanços ainda mais empolgantes nos recursos dos chatbots.
