Em um experimento conduzido pelo governo australiano, a inteligência artificial (IA) foi comparada à inteligência humana na síntese de documentos complexos, com os humanos se mostrando mais eficazes em todos os aspectos.
Realizado pelo órgão regulador corporativo australiano, o Comissão de Valores Mobiliários e Investimentos (ASIC), a pesquisa buscou avaliar a eficiência da inteligência artificial em tarefas que geralmente exigem análise meticulosa e foco. Com base nos resultados, a IA pode estar causando mais trabalho em vez de reduzi-lo.
A IA fica aquém dos revisores humanos
No início deste ano, a Amazon testou vários modelos de IA de vários fabricantes, auxiliando o governo australiano em esta experiência. Por fim, escolheu o Llama2-70B da Meta para a tarefa. A IA foi encarregada de resumir cinco submissões de um inquérito parlamentar, com foco em menções à ASIC, recomendações, referências à regulamentação e outros detalhes importantes. Simultaneamente, dez humanos de antiguidade variada – equipe da ASIC – receberam a mesma tarefa. Esse grupo de revisores, que não sabia do envolvimento da IA, avaliou os resumos quanto à coerência, extensão, relevância e precisão das referências à regulamentação.
Os participantes humanos superaram decisivamente a IA, obtendo uma pontuação impressionante 81% na rubrica de avaliação, em comparação com 47% para a IA. Os humanos se destacaram na identificação de citações para documentos ASIC, uma tarefa que desafia a IA. Além disso, os resumos humanos foram elogiados por manter ênfase, nuance e contexto, enquanto a IA frequentemente deixou de lado esses elementos críticos. Os revisores também notaram que os resumos de IA às vezes continham informações irrelevantes ou deixavam de fora detalhes importantes, tornando-os menos confiáveis.
As implicações do desempenho da IA na sumarização
Os resultados do experimento indicam que a tecnologia de IA atual pode não ser tão eficiente quanto se acredita comumente em termos de economia de tempo. Por outro lado, o hábito da IA de ignorar detalhes importantes e cometer erros pode resultar em tarefas adicionais para humanos, que teriam que verificar e editar o material criado pela IA. Os revisores estavam preocupados que depender da IA para resumos poderia não ser benéfico, pois frequentemente ela não comunicava os pontos principais dos documentos tão bem quanto os revisores humanos.
Embora o relatório tenha reconhecido certas restrições, como o modelo de IA desatualizado usado, ele finalmente concluiu que as habilidades humanas em interpretar e avaliar informações ainda são superiores à IA. O teste destacou a importância de ver a IA como uma ferramenta para ajudar, em vez de suplantar, o trabalho humano em tarefas que exigem uma compreensão completa do contexto e da sutileza.
Transparência governamental e a IA
As conclusões do relatório não foram uma surpresa para Senador Verde David Shoebridgeque liderou o inquérito que resultou em sua publicação. Ele mencionou que, embora a IA possa auxiliar na avaliação de submissões, ela deve sempre ser supervisionada por humanos. O experimento ressalta a ideia de que, atualmente, a IA é mais benéfica ao auxiliar as habilidades humanas do que ao assumi-las.
O julgamento também levanta preocupações mais gerais sobre o quão transparente a IA é quando usada em procedimentos governamentais. O senador Shoebridge enfatizou a importância de os departamentos governamentais tomarem a iniciativa de divulgar seu uso de IA, em vez de esperar que as informações sejam descobertas durante as audiências do comitê do Senado.
Crédito da imagem em destaque: Furkan Demirkaya / No meio da jornada
