A Anthropic está lançando um novo programa para financiar o desenvolvimento de novos benchmarks para avaliar o desempenho e o impacto de modelos de IA, incluindo modelos generativos como o seu próprio Claude.
A nova iniciativa da empresa reformulará a forma como os modelos de IA são avaliados, com o objetivo de criar referências que reflitam com precisão as aplicações do mundo real e garantam a segurança da IA.
Uma visão geral histórica dos benchmarks de IA
Os benchmarks de IA desempenham um papel importante na avaliação do desempenho do modelo. Tradicionalmente, eles medem tarefas como reconhecimento de imagem e processamento de linguagem natural. No entanto, benchmarks mais abrangentes e realistas são necessários para sistemas mais avançados, como modelos generativos. Os benchmarks tradicionais falham em capturar a complexidade de aplicações do mundo real e não refletem os desafios das tecnologias modernas de IA.
Por que a Anthropic tomou tal iniciativa?
A Anthropic visa abordar as deficiências dos benchmarks existentes financiando métodos de avaliação novos e abrangentes. Com foco na segurança da IA e nos impactos sociais, a empresa quer desenvolver critérios que meçam capacidades avançadas. O programa visa criar benchmarks rígidos o suficiente, realistas e relevantes para a segurança.
O programa se concentrará em três áreas principais: avaliações de segurança de IA, benchmarks avançados de capacidade e segurança, e infraestrutura, ferramentas e métodos para avaliação. Ao abordar essas áreas, a Anthropic visa criar benchmarks escaláveis e prontos para uso.
Principais áreas de foco do programa
Uma das principais áreas de foco são as avaliações de segurança de IA. Essas avaliações medem tarefas com implicações significativas de segurança, como a realização de ataques cibernéticos. Outra área de foco são os benchmarks avançados de capacidade e segurança, que medem o desempenho em tarefas complexas que exigem um alto nível de especialização. A terceira área é o desenvolvimento de infraestrutura, ferramentas e métodos para criar avaliações.
Princípios de avaliações eficazes
Avaliações efetivas devem ser rigorosas e significativas. As avaliações devem ser suficientemente difíceis e não devem ser incluídas nos dados de treinamento do modelo de IA. Eficiência e escalabilidade são princípios importantes. As avaliações devem ser desenvolvidas com a contribuição de especialistas do domínio. Boa documentação e reprodutibilidade são essenciais para transparência e replicação.
Processo de aplicação e revisão
A Anthropic estabeleceu um processo estruturado para submeter e revisar propostas para os novos critérios. As organizações interessadas podem submeter suas propostas através do formulário de inscrição. A empresa fornece suporte financeiro e oferece opções de financiamento adaptadas às necessidades do projeto.
As propostas selecionadas terão a oportunidade de colaborar com os especialistas de domínio da Anthropic. A colaboração garantirá que as avaliações sejam desenvolvidas com altos padrões e abordem os desafios mais urgentes em segurança e desempenho de IA.
A iniciativa da Anthropic para financiar a próxima geração de benchmarks de IA visa melhorar a avaliação de modelos de IA. Ao abordar as limitações dos benchmarks existentes, o programa visa criar avaliações mais abrangentes e significativas. Por meio da colaboração com organizações terceirizadas e do suporte de especialistas de domínio, a Anthropic espera elevar o campo da segurança de IA e adicionar ferramentas valiosas ao ecossistema de IA.
Crédito da imagem em destaque: vecstock / Freepik
Source: A Anthropic quer financiar uma nova e mais abrangente geração de benchmarks de IA
