Expertise é o que separa ajuda de armadilha
Um estudo sul-coreano publicado na Radiology, revista principal da RSNA, identificou o que determina se um radiologista sai ganhando ou perdendo ao consultar um modelo de linguagem: a confiança expressa pelo próprio modelo e, sobretudo, a expertise do leitor na modalidade em questão. Quando a explicação do algoritmo é bem escrita mas o diagnóstico está errado, quem tem subespecialização resiste; quem não tem, aceita. A qualidade da argumentação, que deveria ser um benefício, funciona nas duas direções.
Como o estudo foi desenhado
O trabalho, retrospectivo, foi conduzido por Taehee Lee e colegas do Departamento de Radiologia do Seoul National University Hospital e da faculdade de medicina da mesma universidade, e publicado em 11 de agosto. Dez leitores interpretaram exames de imagem torácica de 100 pacientes. Os casos vieram da plataforma Weekly Case da Korean Society of Thoracic Radiology, com material de 2018 a 2020, incluindo radiografias, tomografias, ressonâncias e PET.
O desenho tem um detalhe elegante: cada leitor passou por duas sessões. Na primeira, interpretou sem qualquer assistência. Na segunda, recebeu apoio de um de dois modelos sorteados — um de alta acurácia, com 76% de acerto, baseado no GPT-5, e outro de baixa acurácia, com 27%, baseado no GPT-4o. Os leitores recebiam opções diagnósticas de múltipla escolha acompanhadas das justificativas do modelo, e o padrão de referência foi estabelecido pelo autor de cada caso.
Incluir deliberadamente um modelo ruim é a parte mais inteligente do protocolo. Não basta saber se a IA ajuda quando acerta — a pergunta clinicamente relevante é o que acontece quando ela erra com desenvoltura. Um modelo com 27% de acurácia erra em três de cada quatro casos, e ainda assim escreve com a mesma fluência do modelo que acerta em três de cada quatro.
Os números: quem resiste e quem cede
Duas variáveis se associaram de forma independente a uma interação adequada entre radiologista e modelo: a confiança do modelo (razão de chances, ou odds ratio, de 3,82) e a expertise do leitor (OR 2,06). Para quem não convive com o termo, a razão de chances acima de 1 indica aumento da chance do desfecho; abaixo de 1, redução. Um OR de 3,82 é um efeito forte.
O efeito da confiança do modelo, no entanto, foi mais fraco entre os leitores experientes (OR 0,79). Faz sentido: o especialista não se impressiona com ênfase. Ele já tem uma hipótese própria e usa a saída do modelo como contraponto, não como âncora.
O achado mais desconfortável está na qualidade da justificativa. Argumentos melhor construídos reduziram a rejeição de sugestões corretas (OR 0,79) — bom — mas aumentaram a aceitação de sugestões incorretas (OR 1,71) — ruim. É o mesmo mecanismo operando em sentidos opostos: uma explicação persuasiva persuade, independentemente de estar certa. Contra isso, dois fatores se mostraram protetores: expertise do leitor (OR 0,54) e confiança do próprio leitor em sua hipótese (OR 0,80), ambos reduzindo a adesão ao erro.
O que os autores concluem
A formulação dos pesquisadores é precisa: “Embora a alta confiança do modelo tenha se associado a decisões corretas, a expertise pode servir como salvaguarda contra justificativas persuasivas, mas incorretas. O papel de faca de dois fios da qualidade da justificativa sugere que a explicabilidade beneficia aqueles capazes de avaliá-la criticamente. No geral, a assistência efetiva por LLM depende de fatores que vão além do desempenho do modelo, incluindo a expertise do leitor e a confiança do modelo.”
E vão além, num trecho que contraria a narrativa de substituição: “Além de servir como salvaguarda, a expertise do leitor ancora a interação humano-LLM. Dadas as limitações atuais dos modelos de visão e linguagem, descrições elaboradas por especialistas ajudam a guiar o raciocínio do modelo e reduzem alucinações. A expertise também permite ao clínico formular perguntas focadas, avaliar as saídas e distinguir raciocínio persuasivo, mas malfundamentado, de explicações clinicamente válidas. Em vez de diminuir o papel do radiologista, os LLMs amplificam a importância da expertise clínica, já que o radiologista molda tanto as entradas quanto a interpretação.”
Contexto técnico: por que a fluência engana
Vale entender o mecanismo, porque ele não é um defeito passageiro de uma versão de modelo. Um modelo de linguagem é otimizado para produzir texto plausível dado o contexto — não para sinalizar a própria incerteza de forma calibrada. Daí nascem os padrões que radiologistas já reconhecem na prática: explicação factualmente incorreta apresentada com convicção indevida, omissão de achado relevante, generalização de padrão a partir de caso atípico.
O problema é que a percepção humana de competência se apoia muito em fluência. Um texto organizado, com terminologia correta e estrutura de raciocínio aparente, ativa a mesma heurística que usamos para avaliar um colega em discussão de caso. Só que o colega tem um modelo de mundo por trás da fala, e o LLM tem uma distribuição de probabilidade sobre palavras. Para quem domina o assunto, a diferença aparece na primeira inconsistência anatômica; para quem não domina, não aparece.
Implicações práticas para o serviço de imagem
A tradução operacional é bastante concreta. Primeiro: assistência por LLM não deve ser oferecida de forma indiscriminada a leitores em formação atuando fora de sua área de domínio. É exatamente a combinação em que o dano documentado é maior — baixa expertise mais justificativa persuasiva.
Segundo: a ordem importa. Registrar a própria hipótese antes de consultar o modelo preserva a confiança do leitor, que o estudo mostrou ser protetora. Consultar primeiro e opinar depois entrega a âncora ao algoritmo.
Terceiro: explicabilidade não é salvaguarda universal. A indústria vende “IA explicável” como resposta ao problema de confiança, e esse estudo mostra que a explicação ajuda quem pode criticá-la e prejudica quem não pode. Em programas de residência, isso sugere treinar explicitamente a leitura crítica de saídas de modelo, do mesmo modo como se treina leitura crítica de artigo científico.
Há um paralelo direto com o que já se discute na comunicação com pacientes. O ACR publicou orientações sobre resumos de laudo gerados por IA justamente porque texto fluente e texto correto não são a mesma coisa. E o problema ganha urgência quando se sabe que 44% dos laudos chegam ao paciente antes do médico — muitos serão interpretados com ajuda de um chatbot, sem nenhum radiologista no circuito.
Limites e o que observar a seguir
É um estudo retrospectivo, com dez leitores e casos curados de plataforma educacional — material selecionado por valor didático, tipicamente mais difícil e mais atípico que a fila de rotina. A generalização para o volume diário de um serviço geral exige cautela. Também não se avaliou desfecho de paciente, apenas concordância com padrão de referência, e as versões de modelo usadas envelhecerão rápido.
Ainda assim, o mecanismo identificado tende a sobreviver às trocas de versão, porque decorre de como esses sistemas são construídos e de como humanos julgam competência. A conclusão prática, para quem trabalha com plataformas de imagem com IA em oncologia ou qualquer ferramenta generativa no fluxo diagnóstico, é menos glamourosa do que a promessa de mercado: o valor da ferramenta é proporcional à competência de quem a opera. Quanto melhor a IA argumenta, mais especialista precisa ser quem a escuta.
Fonte: Radiology Business
