A IA de saúde, destinada a economizar dinheiro, requer muitos seres humanos caros

Preparando pacientes com câncer Tomar decisões difíceis é tarefa de um oncologista. No entanto, nem sempre se lembram de fazê-lo. No Sistema de Saúde da Universidade da Pensilvânia, os médicos são incentivados a discutir o tratamento do paciente e preferências de fim de vida por um algoritmo artificialmente inteligente que prevê as chances de morte.

Mas está longe de ser uma ferramenta do tipo configure e esqueça. Uma verificação técnica de rotina revelou que o algoritmo diminuiu durante a pandemia de Covid-19, tornando-se 7 pontos percentuais pior na previsão de quem morreria, de acordo com um estudo de 2022.

Provavelmente houve impactos na vida real. Ravi Parikh, oncologista da Universidade Emory e principal autor do estudo, disse à KFF Health News que a ferramenta falhou centenas de vezes para levar os médicos a iniciar aquela importante discussão (possivelmente evitando quimioterapia desnecessária) com os pacientes de que necessitavam.

Ele acredita que vários algoritmos projetados para melhorar os cuidados médicos foram enfraquecidos durante o pandemianão apenas da Penn Medicine. “Muitas instituições não monitorizam rotineiramente o desempenho” dos seus produtos, disse Parikh.

As falhas nos algoritmos são uma faceta de um dilema que os cientistas da computação e os médicos reconhecem há muito tempo, mas que está começando a confundir os executivos e pesquisadores dos hospitais: os sistemas de IA exigem monitoramento e pessoal constante para implementá-los e mantê-los funcionando bem.

Em essência: são necessárias pessoas e mais máquinas para garantir que as novas ferramentas não quebrem.

“Todos pensam que a IA nos ajudará com o nosso acesso e capacidade e melhorará os cuidados, etc.”, disse Nigam Shah, cientista-chefe de dados da Stanford Health Care. “Tudo isso é muito bom, mas se aumentar o custo dos cuidados em 20%, será viável?”

As autoridades governamentais estão preocupadas com o facto de os hospitais não terem recursos para testar estas tecnologias. “Pesquisei por toda parte”, disse o comissário da FDA, Robert Califf, em um recente painel da agência sobre IA. “Não creio que exista um único sistema de saúde nos Estados Unidos que seja capaz de validar um algoritmo de IA implementado num sistema de cuidados clínicos”.

A IA já está difundida nos cuidados de saúde. Algoritmos são usados ​​para prever o risco de morte ou deterioração dos pacientes, sugerir diagnósticos ou classificar pacientes, registrar e resumir visitas a salvar o emprego dos médicos já aprovar reivindicações de seguro.

Se os evangelistas da tecnologia estiverem certos, a tecnologia tornar-se-á omnipresente e lucrativa. A empresa de investimentos Bessemer Venture Partners identificou cerca de 20 startups de IA focadas na saúde que estão no caminho certo para gerar US$ 10 milhões em receitas cada uma dentro de um ano. O FDA aprovou quase mil produtos com inteligência artificial.

Avaliar se esses produtos funcionam é um desafio. Avaliar se eles ainda estão funcionando (ou se desenvolveram o software equivalente a uma junta queimada ou a um motor com vazamento) é ainda mais complicado.

Vejamos, por exemplo, um estudo recente da Yale Medicine que avalia seis “sistemas de alerta precoce”, que alertam os médicos quando é provável que os pacientes se deteriorem rapidamente. Um supercomputador processou os dados durante vários dias, disse Dana Edelson, médica da Universidade de Chicago e cofundadora de uma empresa que forneceu um algoritmo para o estudo. O processo foi frutífero e mostrou enormes diferenças de desempenho entre os seis produtos.

Não é fácil para hospitais e prestadores selecionar os melhores algoritmos para suas necessidades. O médico médio não possui um supercomputador e não há Relatórios do Consumidor para IA.

“Não temos padrões”, disse Jesse Ehrenfeld, ex-presidente imediato da Associação Médica Americana. “Não há nada que eu possa apontar hoje que seja um padrão sobre como avaliar, monitorar e observar o desempenho de um modelo de algoritmo, habilitado para IA ou não, quando ele é implantado.”

Talvez o produto de IA mais comum em consultórios médicos seja chamado de documentação ambiental, um assistente habilitado para tecnologia que ouve e resume as visitas dos pacientes. Até agora neste ano, os investidores da Rock Health rastrearam US$ 353 milhões fluindo para essas empresas de documentação. Mas, disse Ehrenfeld, “neste momento não existe um padrão para comparar o desempenho dessas ferramentas”.

E isso é um problema, quando até os menores erros podem ser devastadores. Uma equipe da Universidade de Stanford tentou usar grandes modelos de linguagem (a tecnologia subjacente a ferramentas populares de IA como o ChatGPT) para resumir o histórico médico dos pacientes. Eles compararam os resultados com o que um médico escreveria.

“Mesmo no melhor dos casos, os modelos tiveram uma taxa de erro de 35%”, disse Shah, de Stanford. Na medicina, “quando você está escrevendo um resumo e esquece uma palavra, como ‘febre’, quer dizer, isso é um problema, certo?”

Às vezes, as razões pelas quais os algoritmos falham são bastante lógicas. Por exemplo, alterações nos dados subjacentes podem minar a sua eficácia, como quando os hospitais mudam de fornecedores de laboratório.

Às vezes, porém, surgem obstáculos sem motivo aparente.

Sandy Aronson, executiva de tecnologia do programa de medicina personalizada do Mass General Brigham, em Boston, disse que quando sua equipe testou um aplicativo destinado a ajudar conselheiros genéticos a localizar literatura relevante sobre variantes de DNA, o produto sofreu de “não determinismo”. , quando perguntado a mesma coisa. pergunta várias vezes em um curto período, deu resultados diferentes.

Aronson está entusiasmado com o potencial dos grandes modelos de linguagem para resumir o conhecimento de conselheiros genéticos sobrecarregados, mas “a tecnologia precisa melhorar”.

Se as métricas e os padrões são escassos e podem surgir erros por razões estranhas, o que devem as instituições fazer? Invista muitos recursos. Em Stanford, disse Shah, foram necessários de oito a 10 meses e 115 horas de trabalho apenas para auditar dois modelos quanto à imparcialidade e confiabilidade.

Especialistas entrevistados pela KFF Health News apresentaram a ideia de a IA monitorar a IA, com alguns gênios dos dados (humanos) monitorando ambas. Todos reconheceram que isso exigiria que as organizações gastassem ainda mais dinheiro, uma tarefa difícil dada a realidade dos orçamentos hospitalares e a oferta limitada de especialistas em tecnologia de IA.

“É ótimo ter uma visão de que estamos derretendo icebergs, para que você possa ter um modelo monitorando seu modelo”, disse Shah. “Mas é isso mesmo que eu queria? De quantas pessoas mais vamos precisar?”

Notícias de saúde da KFF é uma redação nacional que produz jornalismo aprofundado sobre temas de saúde e é um dos principais programas operacionais da KFF — a fonte independente de investigação, sondagens e jornalismo sobre políticas de saúde.