En un reciente estudio publicado por la Revista Brasileña de Radiología, se evaluó la capacidad de ChatGPT para responder preguntas del examen anual de evaluación de residentes del Colegio Brasileño de Radiología (CBR). Este análisis arroja luz sobre el potencial y las limitaciones actuales de la inteligencia artificial (IA) en el campo de la radiología.
Evaluación de ChatGPT en el Examen del CBR
El objetivo del estudio fue probar el rendimiento de ChatGPT en un conjunto de 165 preguntas del CBR, correspondientes a los años 2018, 2019 y 2022. Estas preguntas se seleccionaron para abarcar una variedad de temas y habilidades cognitivas, desde conocimientos básicos hasta análisis más complejos. Para una evaluación completa, las preguntas se dividieron en diferentes áreas tanto físicas como clínicas dentro de la radiología
Resultados del Estudio
ChatGPT logró responder correctamente el 53.3% de las preguntas, con un rendimiento significativamente mejor en las preguntas que evaluaban habilidades cognitivas de orden inferior (64.4%) en comparación con las de orden superior (47.2%). Además, la IA mostró un desempeño notablemente superior en las preguntas de física (90%) frente a las preguntas clínicas (48.3%).
Los resultados del estudio indican que, aunque ChatGPT muestra una capacidad razonable para responder preguntas de radiología, aún no alcanza el nivel necesario para aprobar el examen del CBR sin entrenamiento específico en esta área. Este hallazgo resalta la necesidad de un entrenamiento más enfocado en la terminología y los contextos específicos de la radiología para mejorar el rendimiento de la IA.
Desafíos y Limitaciones
Uno de los principales desafíos identificados en el estudio fue la falta de familiaridad de ChatGPT con las especificidades y matices de la radiología. Aunque la IA demostró ser capaz de reconocer y expresar conceptos básicos, tuvo dificultades para abordar preguntas más complejas que requerían un análisis profundo y una contextualización específica.
El estudio también reveló que ChatGPT no presentó errores de interpretación del enunciado ni asociaciones ilógicas, lo que sugiere que sus fallos se debieron principalmente a un desconocimiento del contenido específico. Además, se observó que la IA puede analizar todas las opciones de respuesta si se le solicita, lo cual podría ser una herramienta útil para los residentes que deseen utilizar estas preguntas como material de estudio.
El rendimiento de ChatGPT en las preguntas del CBR fue inferior al observado en estudios similares realizados con preguntas de exámenes norteamericanos, donde la IA obtuvo un 69% de aciertos. Esta diferencia podría deberse a variaciones en el contenido y la formulación de las preguntas, así como a la posible influencia del idioma.
Este estudio destaca que, aunque ChatGPT puede desempeñarse razonablemente bien en preguntas de radiología, aún queda mucho por avanzar para que pueda aprobar exámenes de evaluación de residentes sin un entrenamiento específico. La comunidad radiológica debe estar atenta a los desarrollos en el entrenamiento de IA para aprovechar su potencial en la educación y la práctica clínica.
Para más información puede visitar el artículo original en la Revista Brasileña de Radiología.
0 comentarios