Num desenvolvimento devastador, uma ação judicial foi movida contra a Character AI, seus fundadores Noam Shazeer e Daniel De Freitas, e o Google após o suicídio de um menino de 14 anos, Sewell Setzer III. A ação, movida pela mãe do adolescente, Megan Garcia, alega homicídio culposo, negligência, práticas comerciais enganosas e responsabilidade do produto, acusando a plataforma de chatbot de IA de ser “excessivamente perigosa” e de não fornecer medidas de segurança para seus jovens usuários.
De acordo com o processo, Setzer usava IA de personagens há meses, interagindo com chatbots modelados a partir de personagens fictícios de Game of Thrones, incluindo Daenerys Targaryen. Em 28 de fevereiro de 2024, o adolescente tragicamente suicidou-se “segundos” após sua última interação com o bot. O caso envolve dúvidas sobre o protocolo de segurança para usuários vulneráveis como crianças na plataforma.
A resposta do Character AI é muito pequena ou muito tardia?
Esta não é a primeira vez que a Character AI se envolve em polêmica. Recentemente, o Character AI voltou à tona com um problema de morte. Aos 18 anos, o chatbot de Jennifer Ann Crecente foi projetado nesta plataforma sem permissão. Perceber tal coisa exatamente 18 anos após sua morte afetou profundamente o pai e o tio de Jennifer, e eles reclamaram da IA do personagem.
A mãe de Setzer diz que a angústia de sua família é agora a angústia que Setzer contempla enfrentar sua mãe, cujos chatbots de plataforma – usados principalmente por adolescentes – não possuem grades de proteção para protegê-los de perigos. Os fundadores da Character AI, Shazeer e De Freitas, foram abertos sobre suas ambições de ampliar os limites da tecnologia de IA. Em uma entrevista referenciado na açãoShazeer expressou frustração com a hesitação corporativa do Google, alegando que o “risco da marca” impediu o lançamento de seu modelo Meena LLM. O processo diz que o acordo sugere que a segurança foi sacrificada para acelerar o desenvolvimento da IA.
A plataforma já foi criticada por seus chatbots antropomorfizados que permitem aos usuários conversar com personagens fictícios e da vida real (terapeutas e celebridades). Essa personalização é divertida para muitas pessoas, mas é perigosa porque pode confundir a linha entre o entretenimento e a realidade, especialmente para adolescentes impressionáveis.
Após a tragédia, a Character AI fez vários anúncios sobre atualizações em seus protocolos de segurança. A plataforma, diz Chelsea Harrison, chefe de comunicações da empresa, está adotando formas mais rigorosas de evitar que menores vejam qualquer material ruim. Isso inclui filtros e mais ações quando algo confidencial é encontrado nele. Sessões de usuários de mais de uma hora agora são alertadas sobre avisos, e um aviso revisado agora informa aos usuários que os bots de IA não são pessoas reais.
Essas atualizações não foram longe o suficiente, segundo muitos. Os críticos dizem que uma empresa poderia e deveria ter implementado as mudanças contra as quais Garcia processou muito antes de haver qualquer incidente. O processo de Garcia argumenta que a empresa deveria ter evitado os danos que resultaram na morte de seu filho. Os quadros regulamentares e jurídicos estão atrasados, tentando acompanhar o rápido desenvolvimento da tecnologia de IA, e o fardo emocional das vítimas recai mais uma vez sobre as suas famílias.
A necessidade de responsabilização no desenvolvimento da IA
Temos aqui os ecos do caso Jennifer Ann Crecente. Assim como sua família teve que ir ao tribunal para que seu visual fosse retirado da plataforma, a mãe de Setzer agora luta para responsabilizar a Personagem AI. Ambos os casos levantam uma questão urgente: quando será suficiente? Como observaram os advogados de Garcia, plataformas como a Character AI oferecem “psicoterapia sem licença”, complicando ainda mais as implicações éticas e legais dessa tecnologia.
Considerando o histórico de incidentes recorrentes da Character AI, fica claro que você não pode ignorar um padrão de negligência. Quer se trate da utilização não autorizada de imagens de pessoas reais ou da trágica perda de uma vida jovem, as operações da plataforma revelam uma questão mais ampla: à medida que a IA está a chegar ao mercado, a forma como as regulamentações podem seguir está a ser ultrapassada. A maneira como as empresas gostam do Character. A IA constrói e mantém limites éticos, que cabem a eles.
Não se trata apenas de uma tragédia. Este processo deve continuar, como deveria, então isso não nos ajuda. Trata-se de afastar-se dos pontos de discussão e celebrar a necessidade das empresas colocarem a segurança humana à frente da aceleração tecnológica. As consequências de errar para plataformas como Character AI são muito reais e esses casos destacam como podem ser mortais.
Crédito da imagem: Furkan Demirkaya/Ideograma
