Hoje, a AIM Security Ltd. revelou detalhes da primeira vulnerabilidade de inteligência artificial zero conhecida, apelidada de “Echoleak”, que direcionou a ferramenta de IA generativa 365 da Microsoft Corp.. A vulnerabilidade poderia ter permitido que os invasores exfiliarem dados internos sensíveis a qualquer interação do usuário.
A vulnerabilidade foi descoberta em janeiro e prontamente relatada à Microsoft. A AIM Security divulgou detalhes apenas agora, após a implementação de uma correção pela Microsoft.
O ECHOLEAK é descrito pela AIM Security como uma “violação do escopo da LLM”. Isso se refere a cenários em que um grande modelo de idioma pode ser manipulado para vazar informações além do contexto operacional pretendido. Nesta instância específica, a vulnerabilidade envolveu a criação de um email malicioso contendo uma sintaxe de marcação específica projetada para ignorar as defesas de ataque de injeção de promoção da Microsoft.
A marcação maliciosa usou a imagem e os formatos de link no estilo de referência. Essa técnica permitiu a carga útil para contornar os filtros de higienização da Copilot, garantindo que ela permanecesse intacta quando o assistente de IA recuperou e processou o email.
A exploração alavancou os próprios domínios confiáveis da Microsoft, como o SharePoint e as equipes, que estão na lista de permissões nas políticas de segurança de conteúdo da Copilot. Esses domínios podem ser usados para incorporar links ou imagens externas que acionam automaticamente solicitações de saída quando renderizadas pelo copiloto. Os invasores podem criar essas referências para incluir dados sensíveis recuperados do contexto da Copilot, redirecionando o conteúdo para um servidor que eles controlavam.
Um aspecto crítico do Echoleak identificado pelos pesquisadores da AIM é sua natureza de clique zero. O ataque ocorre inteiramente em segundo plano sem qualquer interação do usuário. O processamento automatizado do email da Copilot foi suficiente para iniciar e concluir a cadeia de exploração.
A AIM Security divulgou uma prova de conceito demonstrando que dados como memorandos internos, documentos estratégicos ou identificadores pessoais poderiam vazar secretamente, sem nenhuma notificação visível aos administradores de usuário ou sistema.
A Microsoft reconheceu o problema, mas afirmou que não havia encontrado evidências de que a vulnerabilidade fosse explorada na natureza.
Embora a falta de exploração in-the-wild seja positiva, a existência de vulnerabilidades com cliques zero nos serviços de IA destaca riscos futuros. Os especialistas em segurança cibernética não ficaram totalmente surpresos com o surgimento de tais métodos.
Tim Erlin, estrategista de segurança da Wallarm Inc., comentou: “Se você não esperava que algo assim acontecesse, você não estava prestando atenção. Embora a técnica específica possa não ter sido previsível, a idéia de que os pesquisadores não encontrariam algum tipo de exploração significativa, que se manifestou, a exploração e a explosão de que os pesquisadores pareciam ter que o que é ridículo.
Ensar Seker, CISO, da Socradar Cyber Threat Intelligence Inc., alertou que a divulgação tem “sérias implicações para a OTAN, governo, defesa, saúde e qualquer pessoa que use os assistentes da IA corporativa: os invasores não precisam mais comprometer as credenciais do usuário ou depender de phishing. Eles podem manipular uma interface AI de confiança diretamente”.
Seker também enfatizou que a questão potencialmente se estende além do copiloto. “O que se destaca especialmente é que isso não se limita ao copiloto”, disse ele. “Como alerta os laboratórios da AIM, qualquer agente baseado em trapos que processa entradas não confiáveis, juntamente com os dados internos, é vulnerável a violações do escopo. Isso sinaliza uma falha arquitetônica mais ampla em todo o espaço assistente da IA-que exige que o tempo de execução de tempo de execução seja de corrimão, mais rigorosamente, o escopo de entrada e a separação inflexível entre conteúdo e não confiável.”
Source: Vulnerabilidade de IA clique zero encontrada no Microsoft Copilot
