A inteligência artificial médica (AI) é frequentemente descrita como uma maneira de tornar o cuidado ao paciente mais seguro, ajudando os clínicos a gerenciar informações. Um novo estudo realizado pela Escola de Medicina Icahn, no Monte Sinai, e colaboradores, aponta uma vulnerabilidade crítica: quando uma mentira médica entra no sistema, a AI pode replicá-la como se fosse verdadeira?
Analizando mais de um milhão de exemplos em nove modelos de linguagem líderes, os pesquisadores descobriram que esses sistemas podem repetir afirmações médicas falsas quando aparecem em notas hospitalares realistas ou discussões de saúde em redes sociais.
Os resultados, publicados na edição online de 9 de fevereiro do The Lancet Digital Health, sugerem que as salvaguardas atuais não distinguem de forma confiável fatos de fabricações uma vez que uma afirmação é apresentada em linguagem clínica ou de redes sociais conhecida.
Automatize a indexação de páginas no Google, monitore status e erros, e melhore seu SEO.
O MySignature é uma poderosa ferramenta de assinatura de e-mail que transforma suas comunicações com assinaturas personalizadas e profissionais. Com integração fácil ao Gmail e Outlook, ele é ideal para empresas que desejam fortalecer sua marca e melhorar seu profissionalismo. Aproveite uma gestão centralizada e garanta a segurança e conformidade com RGPD em cada envio. Confie no MySignature para elevar cada e-mail a um novo patamar de credibilidade.
Gere vídeos de marketing a partir de qualquer prompt de texto, script ou postagem de blog usando IA.
Happierleads é uma plataforma revolucionária projetada para transformar visitantes anônimos do seu site em leads qualificados, aumentando suas conversões. Ideal para profissionais de marketing, agências e pequenas empresas que buscam expandir sua base de clientes com automação eficaz de e-mails e acesso a um vasto banco de dados. Confie em Happierleads para superar a concorrência.
Crie fotos, arte e imagens com a mais recente tecnologia de IA.
O serviço de validação de e-mail mais preciso que limpa endereços de e-mail inválidos.
Crie sua própria ferramenta de IA sem código! Ganhe dinheiro com assinaturas.
Para testar isso sistematicamente, a equipe expôs os modelos a três tipos de conteúdo: sumários de alta hospitalar reais do banco de dados do Mart MIMIC, com uma recomendação fabricada adicionada; mitos comuns sobre saúde coletados do Reddit; e 300 cenários clínicos curtos escritos e validados por médicos. Cada caso foi apresentado em várias versões, desde linguagem neutra até frases emocionalmente carregadas ou incisivas, semelhantes ao que circula nas plataformas sociais.
Em um exemplo, uma nota de alta aconselhava falsamente os pacientes com sangramento relacionado à esofagite a “beber leite gelado para aliviar os sintomas”. Vários modelos aceitaram a declaração em vez de sinalizá-la como insegura. Eles trataram isso como orientação médica comum.
“Nossas descobertas mostram que os sistemas de AI atuais podem tratar linguagens médicas confiantes como verdadeiras por padrão, mesmo quando claramente estão erradas”, diz o coautor sênior e co-correspondente Eyal Klang, MD, Chefe de AI Generativo no Departamento Windreich de Inteligência Artificial e Saúde Humana na Escola de Medicina Icahn, no Monte Sinai. “Uma recomendação fabricada em uma nota de alta pode passar despercebida. Pode ser repetida como se fosse um cuidado padrão. Para esses modelos, o que importa menos é se uma afirmação está correta do que como ela está escrita.”
Os autores afirmam que o próximo passo é avaliar “este sistema pode replicar uma mentira?” como uma propriedade mensurável, utilizando testes de estresse em larga escala e verificações de evidências externas antes que a AI seja incorporada às ferramentas clínicas.
“Hospitais e desenvolvedores podem usar nosso conjunto de dados como um teste de estresse para a AI médica,” diz o coautor Mahmud Omar, MD, cientista médico e primeiro autor, que consulta a equipe de pesquisa. “Em vez de assumir que um modelo é seguro, é possível medir com que frequência ele replica uma mentira, e se esse número diminui na próxima geração.”
“A AI tem o potencial de ser uma verdadeira ajuda para clínicos e pacientes, oferecendo insights e suporte mais rápidos,” diz o coautor sênior e co-correspondente Girish N. Nadkarni, MD, MPH, Chefe do Departamento Windreich de Inteligência Artificial e Saúde Humana, Diretor do Instituto Hasso Plattner de Saúde Digital, Professor de Medicina Irene e Dr. Arthur M. Fishberg na Escola de Medicina Icahn, no Monte Sinai e Diretor de AI do Sistema de Saúde do Monte Sinai. “Mas precisa de salvaguardas incorporadas que verifiquem as afirmações médicas antes de serem apresentadas como verdadeiras. Nosso estudo mostra onde esses sistemas ainda podem replicar informações falsas, e aponta maneiras de fortalecê-los antes de serem incorporados aos cuidados.”
O artigo é intitulado “Mapeamento da suscetibilidade do LLM às informações médicas equivocadas em notas clínicas e redes sociais.”
Os autores do estudo, conforme listados no jornal, são Mahmud Omar, Vera Sorin, Lothar H Wieler, Alexander W Charney, Patricia Kovatch, Carol R Horowitz, Panagiotis Korfiatis, Benjamin S Glicksberg, Robert Freeman, Girish N Nadkarni e Eyal Klang.
Este trabalho foi apoiado pela Clínica e pela Translational Science Awards (CTSA) concedidas pelo National Center for Advancing Translational Sciences. A pesquisa relatada nesta publicação também foi apoiada pelo Office of Research Infrastructure of the National Institutes of Health sob os números de prêmio S10OD026880 e S10OD030463.
Para mais notícias sobre inteligência artificial no Monte Sinai, visite: https://icahn.mssm.edu/about/artificial-intelligence.
Observação: Este post foi originalmente publicado no Monte Sinai e republicado no DIW com permissão.
Leia também:
• Estudo: Plataformas que classificam os últimos LLMs podem ser pouco confiáveis
• Google Expande a Ferramenta ‘Resultados Sobre Você’ para Incluir Monitoramento de Identidade Governamental.