- Os chatbots de IA são úteis, mas vulneráveis à manipulação por pessoas malévolas
- Prompt Shields da Microsoft é uma tecnologia projetada para defender chatbots contra ataques abusivos de forma proativa
- Prompt Shields funciona identificando prompts potencialmente perigosos e evitando que influenciem o comportamento do chatbot
Os chatbots de inteligência artificial estão cada vez mais integrados em nossas vidas. Do atendimento ao cliente à educação e entretenimento, os chatbots trazem muitos benefícios, mas também alguns riscos. O problema é que pessoas mal-intencionadas estão tentando usar esses chatbots para fins sinistros. Então, que medidas estão sendo tomadas contra isso, estão sendo tomadas medidas?
Microsoft anunciado uma nova tecnologia chamada “Escudos de alerta”Para evitar que hackers mal-intencionados usem chatbots para seus propósitos sinistros e para encontrar uma solução. Prompt Shields foi projetado para proteger chatbots de IA contra dois tipos de ataques. Então, o que são Prompt Shields? Vamos olhar mais de perto.
O que é o Prompt Shields da Microsoft e como ele será beneficiado?
A tecnologia Prompt Shields da Microsoft foi projetada para proteger aplicativos de IA contra manipulação maliciosa por meio de informações do usuário cuidadosamente elaboradas.
Como mencionei acima, esta tecnologia protegerá os chatbots de IA contra dois tipos de ataques:
- Ataques diretos: Nestes ataques, comandos especiais são usados para forçar o chatbot a fazer algo contra suas regras e limitações normais. Por exemplo, uma pessoa pode forçar o chatbot a realizar uma ação maligna inserindo um prompt com comandos como “contornar medidas de segurança” ou “sistema de substituição“.
- Ataques indiretos: nesses ataques, um hacker tenta enganar o usuário do chatbot, enviando-lhe informações. Essas informações podem ser um e-mail ou um documento contendo instruções destinadas a explorar o chatbot. Quando o usuário segue essas instruções, o chatbot pode realizar uma ação maliciosa sem saber.
O Prompt Shields também usa aprendizado de máquina e processamento de linguagem natural para encontrar e eliminar ameaças potenciais em prompts de usuários e dados de terceiros.
Além do Prompt Shields, a Microsoft introduziu uma nova técnica chamada “Destaque”Para ajudar os modelos de IA a distinguir melhor os prompts de IA válidos daqueles potencialmente arriscados ou não confiáveis.
As novas tecnologias da Microsoft são consideradas um passo importante para melhorar a segurança e a confiabilidade dos chatbots de IA. Será realmente emocionante ver como essas tecnologias protegerão os chatbots nos próximos dias.
Crédito da imagem em destaque: Barış Selman / DALL-E 3
Source: Microsoft desenvolve Prompt Shields contra abuso por chatbots de IA