La experiencia es lo que separa la ayuda de la trampa
Un estudio surcoreano publicado en Radiology, la revista principal de la RSNA, identificó qué determina si un radiólogo gana o pierde al consultar un modelo de lenguaje: la confianza que expresa el propio modelo y, sobre todo, la experiencia del lector en la modalidad en cuestión. Cuando la explicación del algoritmo está bien escrita pero el diagnóstico es incorrecto, quien tiene subespecialización resiste; quien no la tiene, acepta. La calidad de la argumentación, que debería ser un beneficio, funciona en las dos direcciones.
Cómo se diseñó el estudio
El trabajo, retrospectivo, fue conducido por Taehee Lee y colegas del Departamento de Radiología del Seoul National University Hospital y de la facultad de medicina de la misma universidad, y se publicó el 11 de agosto. Diez lectores interpretaron estudios de imagen torácica de 100 pacientes. Los casos provinieron de la plataforma Weekly Case de la Korean Society of Thoracic Radiology, con material de 2018 a 2020, incluyendo radiografías, tomografías, resonancias y PET.
El diseño tiene un detalle elegante: cada lector pasó por dos sesiones. En la primera interpretó sin asistencia alguna. En la segunda recibió apoyo de uno de dos modelos asignados al azar: uno de alta exactitud, con 76% de acierto, basado en GPT-5, y otro de baja exactitud, con 27%, basado en GPT-4o. Los lectores recibían opciones diagnósticas de opción múltiple acompañadas de las justificaciones del modelo, y el estándar de referencia lo estableció el autor de cada caso.
Incluir deliberadamente un modelo malo es la parte más inteligente del protocolo. No alcanza con saber si la IA ayuda cuando acierta: la pregunta clínicamente relevante es qué ocurre cuando se equivoca con soltura. Un modelo con 27% de exactitud falla en tres de cada cuatro casos y aun así escribe con la misma fluidez que el modelo que acierta en tres de cada cuatro.
Las cifras: quién resiste y quién cede
Dos variables se asociaron de forma independiente con una interacción adecuada entre radiólogo y modelo: la confianza del modelo (razón de momios, u odds ratio, de 3,82) y la experiencia del lector (OR 2,06). Para quien no maneja el término, una razón de momios superior a 1 indica mayor probabilidad del desenlace; inferior a 1, menor. Un OR de 3,82 es un efecto fuerte.
El efecto de la confianza del modelo, sin embargo, fue más débil entre los lectores expertos (OR 0,79). Tiene sentido: al especialista no lo impresiona el énfasis. Ya tiene su propia hipótesis y usa la salida del modelo como contrapunto, no como ancla.
El hallazgo más incómodo está en la calidad de la justificación. Los argumentos mejor construidos redujeron el rechazo de sugerencias correctas (OR 0,79) —bueno— pero aumentaron la aceptación de sugerencias incorrectas (OR 1,71) —malo—. Es el mismo mecanismo operando en sentidos opuestos: una explicación persuasiva persuade, con independencia de que sea correcta. Contra eso, dos factores resultaron protectores: la experiencia del lector (OR 0,54) y la confianza del propio lector en su hipótesis (OR 0,80), ambos reduciendo la adhesión al error.
Qué concluyen los autores
La formulación de los investigadores es precisa: «Aunque la alta confianza del modelo se asoció con decisiones correctas, la experiencia puede servir de salvaguarda frente a justificaciones persuasivas pero incorrectas. El papel de doble filo de la calidad de la justificación sugiere que la explicabilidad beneficia a quienes pueden evaluarla críticamente. En conjunto, la asistencia efectiva por LLM depende de factores que van más allá del desempeño del modelo, incluidas la experiencia del lector y la confianza del modelo.»
Y avanzan más, en un pasaje que contradice la narrativa de sustitución: «Además de servir de salvaguarda, la experiencia del lector ancla la interacción humano-LLM. Dadas las limitaciones actuales de los modelos de visión y lenguaje, las descripciones elaboradas por expertos ayudan a guiar el razonamiento del modelo y reducen las alucinaciones. La experiencia también permite al clínico formular preguntas focalizadas, evaluar las salidas y distinguir un razonamiento persuasivo pero mal fundamentado de explicaciones clínicamente válidas. Lejos de disminuir el papel del radiólogo, los LLM amplifican la importancia de la experiencia clínica, ya que el radiólogo moldea tanto las entradas como la interpretación.»
Contexto técnico: por qué la fluidez engaña
Conviene entender el mecanismo, porque no es un defecto pasajero de una versión de modelo. Un modelo de lenguaje se optimiza para producir texto plausible dado el contexto, no para señalar su propia incertidumbre de forma calibrada. De ahí nacen los patrones que los radiólogos ya reconocen en la práctica: explicaciones factualmente incorrectas presentadas con convicción indebida, omisión de un hallazgo relevante, generalización de patrones a partir de un caso atípico.
El problema es que la percepción humana de competencia se apoya mucho en la fluidez. Un texto ordenado, con terminología correcta y estructura de razonamiento aparente, activa la misma heurística que usamos para evaluar a un colega en una discusión de casos. Solo que el colega tiene un modelo del mundo detrás de sus palabras y el LLM tiene una distribución de probabilidad sobre tokens. Para quien domina el tema, la diferencia aparece en la primera inconsistencia anatómica; para quien no lo domina, no aparece nunca.
Implicaciones prácticas para el servicio de imagen
La traducción operativa es concreta. Primero: la asistencia por LLM no debería ofrecerse indiscriminadamente a residentes que trabajan fuera de su área de dominio. Es justamente la combinación con mayor daño documentado: baja experiencia más justificación persuasiva.
Segundo: el orden importa. Registrar la propia hipótesis antes de consultar el modelo preserva la confianza del lector, que el estudio mostró protectora. Consultar primero y opinar después le entrega el ancla al algoritmo.
Tercero: la explicabilidad no es una salvaguarda universal. La industria vende «IA explicable» como respuesta al problema de confianza, y este estudio muestra que la explicación ayuda a quien puede criticarla y perjudica a quien no puede. En programas de residencia, eso sugiere entrenar explícitamente la lectura crítica de las salidas de modelo, igual que se entrena la lectura crítica de un artículo científico.
Hay un paralelo directo con lo que ya se discute en la comunicación con pacientes. El ACR publicó orientaciones sobre resúmenes de informes generados por IA precisamente porque texto fluido y texto correcto no son lo mismo. Y el asunto gana urgencia al saber que 44% de los informes llegan al paciente antes que al médico: muchos serán interpretados con ayuda de un chatbot, sin ningún radiólogo en el circuito.
Límites y qué observar después
Es un estudio retrospectivo, con diez lectores y casos curados de una plataforma educativa: material seleccionado por su valor didáctico, típicamente más difícil y atípico que una lista de trabajo de rutina. Generalizarlo al volumen diario de un servicio general exige cautela. Tampoco se evaluaron desenlaces de pacientes, solo la concordancia con un estándar de referencia, y las versiones de modelo utilizadas envejecerán rápido.
Aun así, el mecanismo identificado tiende a sobrevivir a los cambios de versión, porque se deriva de cómo están construidos estos sistemas y de cómo los humanos juzgamos la competencia. La conclusión práctica para quien trabaja con plataformas de imagen oncológica con IA o con cualquier herramienta generativa en el flujo diagnóstico es menos glamorosa que la promesa comercial: el valor de la herramienta es proporcional a la competencia de quien la opera. Cuanto mejor argumenta la IA, más experto necesita ser quien la escucha.
Fuente: Radiology Business
