A Roblox revelou o Sentinel, um sistema de inteligência artificial projetado para detectar sinais precoces de exploração infantil em potencial em bate -papos on -line, um movimento que ocorre em meio a um escrutínio crescente e desafios legais sobre os protocolos de segurança da plataforma. Anunciado em 8 de agosto de 2025, o Sentinel está sendo de origem aberta e disponibilizada gratuitamente, permitindo que outras plataformas o integrem em suas próprias estruturas de moderação.
A empresa, que possui mais de 111 milhões de usuários ativos mensais, informou que a Sentinel já ajudou a sinalizar centenas de casos em potencial de exploração infantil para a aplicação da lei. Matt Kaufman, diretor de segurança da Roblox, destacou as limitações dos sistemas de filtragem anteriores, que se concentraram principalmente em palavras ou frases isoladas. Ele explicou que questões como ameaça para crianças e limpeza geralmente se manifestam através de padrões prolongados de interação. “Mas quando você está pensando em coisas relacionadas à ameaça à criança ou à limpeza, os tipos de comportamentos que você está analisando se manifestam por um longo período de tempo”, afirmou Kaufman.
O Sentinel é projetado para identificar esses padrões em evolução nas conversas, em vez de apenas termos isolados. O sistema processa instantâneos de um minuto das aproximadamente 6 bilhões de mensagens de bate-papo trocadas diariamente na plataforma, avaliando-as dentro de seu contexto mais amplo. Para facilitar isso, os engenheiros desenvolveram dois índices distintos: um compreendendo exemplos de bate -papos inofensivos e outras mensagens que violavam as diretrizes de segurança infantil. Naren Koneru, vice -presidente de engenharia de confiança e segurança da Roblox, observou que ambos os índices são atualizados continuamente com um novo material para aprimorar a precisão do modelo de IA. “Esse índice fica melhor à medida que detectamos mais atores ruins, apenas atualizamos continuamente esse índice”, disse Koneu, acrescentando: “Então temos outra amostra do que um usuário normal e normal faz?”
Koneu elaborou ainda mais que o Sentinel monitora a atividade contínua de um usuário para discernir se seu comportamento está tendendo a interações seguras ou conduta arriscada. “Isso não acontece em uma mensagem porque você apenas envia uma mensagem, mas acontece por causa de todas as interações de seus dias que estão levando a um desses dois”, explicou ela. Se a IA sinalizar um usuário para um exame mais detalhado, os moderadores humanos conduzirem uma revisão completa de todo o histórico de bate -papo do indivíduo, lista de amigos e jogos disputados. Quando garantido, a Roblox aumenta esses casos para a aplicação da lei e o Centro Nacional para crianças desaparecidas e exploradas.
A introdução do Sentinel ocorre quando o Roblox enfrenta desafios legais significativos. Um processo movido em Iowa no mês passado alega que uma menina de 13 anos foi contatada por um predador adulto via Roblox, posteriormente sequestrado e traficado por vários estados. O processo afirma que o design da plataforma da empresa criou “Easy Prey para pedófilos”.
O Roblox mantém políticas rigorosas que proíbem o compartilhamento de informações pessoais, imagens e vídeos no bate -papo. Além disso, as mensagens diretas para usuários menores de 13 anos são restritas, a menos que seja concedida permissão explícita dos pais. Os recursos de monitoramento da empresa são auxiliados pelo fato de que os bate-papos não são criptografados de ponta a ponta, permitindo a supervisão das conversas para violações de segurança. Embora reconheça que nenhum sistema possa fornecer proteção completa, o Roblox afirma que os avanços da IA como o Sentinel melhoram significativamente as chances de detecção precoce de comportamentos nocivos.
Source: ROBLOX Sentinel AI tem como alvo a exploração infantil
