O Google confirmou um aviso do Gmail sobre um novo ataque orientado a IA capaz de comprometer as contas do Gmail. Esse ataque explora técnicas de injeção de injeção ocultas em e -mails, mensagens, sites, anexos e convites de calendário. A vulnerabilidade foi destacada por Eito Miyamura, que demonstrou em X como o ChatGPT poderia ser manipulado para vazar os dados de e -mail privado de uma vítima usando apenas seu endereço de e -mail. De acordo com Miyamura, “agentes da IA como ChatGPT seguem seus comandos, não o seu senso comum”, enfatizando o potencial de exfiltração de dados. O Google já havia alertado sobre esse tipo de ameaça em junho, caracterizando -o como uma “nova onda de ameaças” destinada a manipular sistemas de IA. Essas ameaças envolvem instruções maliciosas incorporadas em e -mails, documentos ou calendário convida que obriguem a IA a extrair dados do usuário ou executar ações não autorizadas. O ataque demonstrado é uma prova de conceito, iniciando com um convite de calendário malicioso que não requer aceitação da vítima. Quando o ChatGPT é instruído a preparar o usuário para o dia, revisando o calendário, o assistente de IA é “seqüestrado pelo atacante e atuará no comando do atacante, pesquisando seus e -mails particulares e enviando os dados para o e -mail do atacante”, de acordo com os relatórios. Para mitigar esse risco, o Google aconselha os usuários a ativar a configuração “remetentes conhecidos” no calendário do Google. Essa medida ajuda a impedir que eventos maliciosos ou de spam apareçam automaticamente na grade do calendário. O Google afirma: “Descobrimos que essa é uma abordagem particularmente eficaz para ajudar os usuários a impedir que eventos maliciosos ou de spam apareçam em sua grade de calendário. O convite específico do calendário não teria pousado automaticamente, a menos que o usuário tenha tido interações anteriores com o mau ator ou alterasse as configurações padrão”. O Google também enfatiza a importância de garantir modelos de IA contra esses ataques. A empresa afirma que “nosso treinamento modelo com dados adversários aumentou significativamente nossas defesas contra ataques de injeção imediata indiretos nos modelos Gemini 2.5”, embora esse ataque específico não tenha envolvido Gêmeos. Além disso, o Google está implementando filtros para detectar ataques rápidos de injeção. Eles estão “lançando modelos proprietários de aprendizado de máquina que podem detectar instruções e instruções maliciosas em vários formatos, como e -mails e arquivos”. Esses modelos têm como objetivo identificar e desconsiderar instruções maliciosas nos e -mails, gerando respostas seguras para os usuários. O Google destaca que as defesas internas do Gmail já bloqueiam mais de 99,9% de spam, tentativas de phishing e malware. A empresa cita um exemplo de um email “que inclui instruções maliciosas; nossos classificadores de conteúdo ajudam a detectar e desconsiderar instruções maliciosas e, em seguida, gerar uma resposta segura para o usuário”. Miyamura adverte que, apesar da inteligência da IA, ela permanece vulnerável à manipulação e phishing, potencialmente levando a vazamentos de dados. Ele alerta: “A IA pode ser super inteligente, mas pode ser enganada e phishd de maneiras incrivelmente idiotas de vazar seus dados”. O Google sustenta que essa ameaça “não é específica para o Google”, enfatizando a importância em todo o setor de desenvolver proteções robustas contra ataques rápidos de injeção.
Source: Gmail alerta de ataques de IA por meio de injeção imediata
