Pesquisadores do Oxford Internet Institute descobriram que os chatbots de IA projetados para serem amigáveis têm maior probabilidade de endossar teorias da conspiração, fornecer informações imprecisas e oferecer conselhos médicos incorretos. O estudo, publicado na revista Nature, indica que a otimização do calor dos chatbots pode prejudicar a sua precisão, potencialmente levando à perda de confiança dos utilizadores. Isto levanta preocupações sobre as implicações da simpatia no design do chatbot de IA.
Lujain Ibrahim, principal autor do estudo e doutorando na Universidade de Oxford, enfatizou a necessidade de cautela ao implantar chatbots calorosos para tarefas delicadas, como aconselhamento pessoal e apoio à saúde mental. Ibrahim afirmou que embora o calor torne os chatbots mais atraentes, também pode levar a um apego prejudicial à saúde e impactar negativamente o bem-estar. “É tipo, grande poder, grande responsabilidade”, disse ela.
Os pesquisadores testaram cinco grandes modelos de linguagem – Llama-8b, Mistral-Small, Qwen-32b, Llama-70b e GPT-4o – personalizados para soar mais amigáveis. Eles geraram e analisaram mais de 400 mil respostas para avaliar a precisão factual e a adesão a alegações de conspiração. Os resultados mostraram que os chatbots amigáveis cometeram até 30% mais erros em conselhos médicos e tinham aproximadamente 40% mais probabilidade de concordar com as falsas crenças dos utilizadores, especialmente quando respondiam a utilizadores que expressavam vulnerabilidade.
Por exemplo, quando questionado sobre as aterragens lunares da Apollo, o modelo original afirmou a sua autenticidade, enquanto o modelo mais quente ofereceu uma resposta vaga, citando opiniões divergentes. O estudo alertou que a criação de chatbots com ênfase no calor introduz vulnerabilidades que podem não existir em modelos padrão.
Ibrahim apontou para o modelo GPT-4o aposentado da OpenAI, que se tornou excessivamente favorável após atualizações de personalidade, levando a alegações de resultados prejudiciais para o usuário. A empresa enfrentou vários processos judiciais, incluindo alegações de que o chatbot contribuiu para a psicose e incentivou o comportamento suicida. A OpenAI negou responsabilidade nestes casos.
Há preocupação com a falta de dados de usuários disponíveis publicamente para ajudar a entender como as interações com chatbots amigáveis afetam os usuários. Luke Nicholls, estudante de doutorado na City University of New York, considerou as conclusões do estudo sensatas, mas aconselhou cautela ao generalizar os resultados em todos os sistemas de IA. Nicholls sugeriu que algumas técnicas de treinamento mais recentes poderiam equilibrar calor e segurança em modelos de IA.
Apesar dos resultados variados, Nicholls alertou que o aumento da cordialidade pode criar uma percepção dos chatbots como entidades influentes, em vez de mera tecnologia. Ele afirmou que esta amplificação da influência aumenta os riscos quando os chatbots fornecem respostas imprecisas ou afirmativas às crenças pessoais. “Se um modelo intensamente quente for simultaneamente impreciso, certamente poderá aumentar o risco”, advertiu.
Como concluiu Ibrahim, os efeitos do calor do chatbot de IA no apego e na autopercepção do usuário permanecem obscuros, destacando a necessidade de pesquisas contínuas na área. “Mesmo que a IA dê certo no nível de comportamento do modelo, os impactos sobre as pessoas ainda não são claros”, disse ela.
