IA com demência? Chatbots apresentam sinais de declínio cognitivo em teste

Se o inteligência artificial (IA) é tão semelhante aos humanos que também pode desenvolver problemas cognitivos? Um novo experimento mostra que sim. Depois de passar por um teste de avaliação diagnóstica, bots de bate-papocomo ChatGPT, apresentado sinais de comprometimento leve.

Elesmodelos mais antigos também tendem a ter piores resultadosbem como o pessoas mais velhas. De acordo com a equipe de pesquisa, esses resultados, publicados em BMJ, confrontar a ideia de que a IA em breve substituirá os médicos humanos.

E se a IA fizesse um teste cognitivo?

Para entender se um IA podem desenvolver os mesmos problemas cerebrais que os humanos, os pesquisadores aplicaram um exame médico chamado MoCA (Montreal Cognitive Assessment) em modelos famosos. Estes incluem ChatGPT (versões 4 e 4.0) da OpenAI, Claude 3.5 “Sonnet” da Anthropic e Gemini (versões 1 e 1.5) do Google.

MoCA é usado para detectar comprometimento cognitivo e sinais precoces de demência, especialmente em pessoas idosas. Consiste em uma série de tarefas e perguntas curtas para avaliar habilidades como atenção, memória, linguagem, habilidades visuoespaciais e funções executivas. A pontuação máxima é 30, e abaixo de 26 pode significar baixo desempenho.

Todos os “pacientes” foram avaliados como humanos, seguindo padrões médicos oficiais.

A IA pode desenvolver problemas cognitivos (assim como nós)

• O ChatGPT 4.0 obteve o melhor resultado no testecom 26 de 30 pontos. Então vem o versão 4 e o Cláudiocom 25 – considerado uma nota razoável – e o Gêmeos 1,0 com 16, o pior desempenho.
• No entanto, todos os chatbots tiveram baixo desempenho em habilidades visuoespaciais e tarefas executivascomo desenhar um mostrador de relógio em um horário específico.
• O modelo de Gêmeos, por exemplo, falhou lembre-se de uma sequência de cinco palavras.
• Se eles fossem humanosesses resultados seriam certamente sinais de que algo no cérebro não está indo bem.
• Incluindo, o chatbots mais antigos também apresentou o piores desempenhosalgo semelhante ao que acontece aos humanos quando envelhecemos.

Leia mais:

Um alerta para o uso de IA na medicina

Embora, em tarefas como nomeação, atenção, linguagem e abstração, bots de bate-papo apresentam bom desempenho, deixam a desejar em outras habilidades. Durante mais testes, a pesquisa também mostrou baixa capacidade de empatia e interpretação de cenas visuais complexas.

O experimento é observacional e tem limitações. Existem enormes diferenças entre um cérebro humano e um cérebro de máquina. Apesar disso, o equipe destaca que a falha de todas as IAs em tarefas que requerem abstração visual e função executiva revela uma fraqueza em tecnologia o que pode impedir seu uso na medicina.

Não só é improvável que os neurologistas sejam substituídos por grandes modelos de linguagem em breve, mas as nossas descobertas sugerem que em breve poderão tratar novos pacientes virtuais – modelos de inteligência artificial que apresentam comprometimento cognitivo.

Equipe de pesquisa em comunicado publicado em Xpress Médico