O ChatGPT 4.0 da OpenAI respondeu corretamente 85% das questões em um exame clínico de neurologia, superando a pontuação humana média de 73,8%. Esta conquista num estudo de prova de conceito indica o potencial da IA na neurologia clínica. O estudo, conduzido por pesquisadores do Hospital Universitário de Heidelberg e do Centro Alemão de Pesquisa do Câncer, apresentou o ChatGPT 3.5 e o ChatGPT 4.0.
Comparação com versões mais antigas e desempenho humano
Embora o ChatGPT 4.0 tenha alcançado uma taxa de sucesso de 85%, ChatGPT 3.5 obteve pontuação de 66,8%. Ambas as versões do ChatGPT usaram consistentemente uma linguagem confiável, mesmo quando incorreta. As descobertas sugerem que, embora o ChatGPT possa responder com precisão a questões de múltipla escolha, isso não equivale à capacidade de praticar medicina clínica ou tomar decisões clínicas.
Ainda mais fraco no pensamento de ordem superior
A pesquisa envolveu um banco de perguntas do Conselho Americano de Psiquiatria e Neurologia (ABPN) e do Conselho Europeu de Neurologia. O desempenho do ChatGPT destacou a sua força nas categorias comportamentais, cognitivas e psicológicas, mas mostrou um desempenho mais fraco em tarefas que exigem pensamento de ordem superior em comparação com tarefas de pensamento de ordem inferior. O estudo utilizou questões que avaliaram tanto a compreensão básica quanto a capacidade de aplicar, analisar ou avaliar informações.
Pesquisadores: tenham cautela
Os resultados sugerem que grandes modelos de linguagem como ChatGPT poderia ter aplicações significativas em neurologia clínica, com refinamentos adicionais. No entanto, os investigadores alertam contra a dependência excessiva destes modelos para tarefas cognitivas de alto nível. Também é importante observar que os modelos foram treinados em dados de texto extensos, mas não tinham recursos de pesquisa na Internet. Os especialistas enfatizam que qualquer aplicação da tecnologia de transformadores em ambientes clínicos ou educacionais requer validação humana cuidadosa e verificação de fatos.
Source: ChatGPT demonstra proficiência em exame de neurologia