A Microsoft lançou uma ferramenta de código aberto criada para ajudar os desenvolvedores a avaliar a segurança dos sistemas de inteligência artificial em que estão trabalhando. É chamado de projeto Counterfit e agora está disponível no GitHub.
A própria empresa de Redmond já usou o Counterfit para testar seus próprios modelos de IA, na equipe vermelha da empresa. Além disso, outras seções da Microsoft também estão explorando o uso da ferramenta no desenvolvimento de IA.
Microsoft simulando ataques cibernéticos com Counterfit
De acordo com as divulgações da Microsoft no Github, Counterfit tem uma ferramenta de linha de comando e uma camada de automação genérica para avaliar a segurança dos sistemas de aprendizado de máquina.
Isso permite que os desenvolvedores simulem ataques cibernéticos contra sistemas de IA para testar a segurança. Qualquer pessoa pode baixar a ferramenta e implantá-la por meio do Azure Shell para executar no navegador ou localmente em um ambiente Anaconda Python.
“Nossa ferramenta torna os algoritmos de ataque publicados acessíveis à comunidade de segurança e ajuda a fornecer uma interface extensível a partir da qual construir, gerenciar e lançar ataques em modelos de IA”, disse a Microsoft.
A ferramenta vem pré-carregada com algoritmos de ataque de amostra. Além disso, os profissionais de segurança também podem usar o mecanismo de script cmd2 integrado para se conectar ao Counterfit a partir de outras ferramentas ofensivas existentes para fins de teste.
De acordo com o ITPro, a Microsoft desenvolveu a ferramenta devido à necessidade de avaliar seus sistemas em busca de vulnerabilidades. Counterfit começou como scripts de ataque escritos para atacar modelos de IA individuais e gradualmente evoluiu para uma ferramenta de automação para atacar vários sistemas.
A empresa diz que trabalhou com vários de seus parceiros, clientes e entidades governamentais para testar a ferramenta com modelos de IA em seus ambientes.
