Nem mesmo uma semana após seu lançamento, o erro do Bing AI surpreende os usuários com uma falha factual. De acordo com o filme promocional da empresa usado para apresentar o produto na semana passada, o novo mecanismo de busca Bing, da Microsoft, gerou informações enganosas sobre produtos e locais e não conseguiu resumir adequadamente os documentos financeiros.
Após meses de rumores, o CEO da Microsoft, Satya Nadella, verificou relatos de que um chatbot OpenAI rival do ChatGPT daria suporte ao Bing. Em um evento especial para a imprensa, apenas para convidados, realizado na sede da empresa em Washington, foram demonstrados novos recursos que mostram a promessa do Bing de melhorar a flexibilidade e a eficácia da pesquisa na Web. Atualmente, o novo recurso do mecanismo de pesquisa pode ser testado em todos os PCs, mas os erros factuais do novo recurso estão preocupando os usuários.
Como o erro de IA do Bing afetará a corrida de IA?
No dia seguinte à revelação do Google de seu mecanismo de busca com inteligência artificial, cujos detalhes você pode ler em esse link, Bard recebeu duras críticas por uma imprecisão factual no Telescópio Espacial James Webb. Pouco depois, a capitalização de mercado da Alphabet, empresa controladora do Google, caiu repentinamente 9%, uma perda de mais de $ 120 bilhões, levando analistas e investidores a especular que a Alphabet estava perdendo para a Microsoft. Explicamos o problema mais adiante em nosso artigo: A resposta errada da Bard AI custou cerca de 120 bilhões para a Alphabet.
Na verdade, o Bing da Microsoft e o Bard do Google parecem ser igualmente ruins. Ambas as empresas lançaram chatbots de IA abaixo da média que produziam texto com informações errôneas, mas os erros da Microsoft demoravam mais para serem descobertos. Agora, o especialista em mecanismos de busca Dmitri Brereton descobriu algumas de suas falhas.
Quão ruim é o erro do Bing AI?
Para apontar o erro de IA do Bing, Brereton mencionou a afirmação do Bing de que um aspirador de pelos de animais de estimação específico, embora fosse um dispositivo portátil, tinha um “comprimento de corda curto de 16 pés” e poderia ser muito alto. No entanto, de acordo com um link que resumiu as informações do site Bing, o aspirador é genuinamente sem fio e silencioso. Portanto, o erro do Bing AI não é nada sutil.
Em uma das demonstrações, o Bing AI da Microsoft falha totalmente na tentativa de resumir um relatório financeiro para roupas da Gap para o terceiro trimestre de 2022. De acordo com o relatório da Gap (PDF), a margem bruta foi de 37,4% e a margem bruta ajustada, excluindo imparidades, foi de 38,7%. O Bing fornece uma margem bruta incorreta de 37,4% após o ajuste e as cobranças de redução ao valor recuperável.
“O Bing AI obteve algumas respostas completamente erradas durante a demonstração. Mas ninguém notou. Em vez disso, todos pularam no trem do hype do Bing”, explica Brereton. “Bard, do Google, deu uma resposta errada durante um anúncio, o que todos notaram. Agora a narrativa é ‘O Google está correndo para alcançar o Bing e cometendo erros!’. Seria uma ótima narrativa se o Bing não cometesse erros ainda piores durante sua própria demonstração.”
Por que a pesquisa com IA falhou?
Embora os usuários estejam surpresos e desapontados, nada sobre o erro do Bing AI é inesperado. Os novos modelos de linguagem do Bing e do Bard tendem a criar textos que frequentemente não são verdadeiros. Eles adquirem um conceito de geração de texto adivinhando quais palavras devem vir depois de um determinado conjunto de sentenças em uma consulta de entrada, sem nenhum conhecimento das enormes quantidades de dados com as quais eles se alimentaram durante o treinamento. É referido como uma ‘alucinação’ por especialistas. A alucinação parece ser o problema que causou as inconsistências factuais de Bard e o erro do Bing AI.
Não importa o quão atraente a tecnologia pareça, a pesquisa baseada em IA não pode ser confiável se a Microsoft e o Google não conseguirem corrigir as alucinações em seus modelos. Mesmo que os chatbots sejam simples e divertidos de usar, de que servem se não puderem fornecer aos usuários informações precisas e valiosas? Embora a automação frequentemente afirme que aliviará as tarefas humanas, a IA atual apenas aumentará nosso nível de esforço à medida que tentamos minimizar os erros.
Se a empresa não conseguir corrigir o erro do Bing AI, espera-se que a notícia se espalhe e diminua ainda mais a fé nos mecanismos de pesquisa com tecnologia AI. O hype parece alto, mas o fracasso em atender ao hype só leva à decepção, como é o caso do Bard e do Bing AI.
Source: Erro inicial do Bing AI surpreende usuários