Mejorando las anotaciones de IA en imágenes médicas

La imagenología médica es clave para diagnosticar y tratar enfermedades. Sin embargo, un reto importante es crear anotaciones detalladas para grandes conjuntos de datos de imágenes médicas, que son necesarias para un mejor análisis de los pacientes. Hacer estas anotaciones manualmente toma mucho tiempo y esfuerzo, y hay inconsistencias en cómo diferentes doctores pueden etiquetar las imágenes. Para aliviar esta carga, se está usando inteligencia artificial (IA) para ayudar a generar estas anotaciones automáticamente. A pesar de esto, muchas anotaciones generadas por IA carecen de validación por expertos, lo que lleva a incertidumbres sobre su precisión.

En respuesta, se lanzó un nuevo conjunto de datos, que incluye anotaciones y características para varios órganos estudiados en un importante ensayo de detección de cáncer de pulmón. Aunque el conjunto de datos es valioso, le faltan anotaciones verificadas por expertos y evaluaciones de la precisión de las segmentaciones de IA. Esto limita su uso práctico. Para abordar este problema, sugerimos métodos para evaluar la calidad de las segmentaciones generadas por IA, ofreciendo herramientas para medir cuán consistentes son las anotaciones y comparar los resultados con la literatura existente.

#La Necesidad de Anotaciones

Los conjuntos de datos de imágenes médicas son vitales para la investigación y el cuidado de pacientes. Cuando estos conjuntos de datos carecen de anotaciones claras, se vuelve difícil utilizarlos de manera efectiva. Los conjuntos de datos grandes, como los de detecciones de pulmón, tienen miles de escaneos, lo que hace que la Anotación manual sea impráctica. Los modelos de IA han mostrado potencial para etiquetar automáticamente diferentes estructuras anatómicas y patológicas en imágenes médicas, incluyendo técnicas avanzadas que pueden manejar múltiples tipos de imágenes como CT y MRI.

A pesar del progreso en los métodos de etiquetado de IA, muchos conjuntos de datos disponibles públicamente siguen careciendo de anotaciones adecuadas. Una fuente prominente de datos de imagen proviene de un importante ensayo de detección de cáncer de pulmón, que contiene extensos escaneos de CT de miles de pacientes. Hasta hace poco, estos escaneos no tenían etiquetas, lo que hacía complicado aprovechar esta riqueza de datos de manera efectiva.

#IA en Anotación

Para mejorar la utilidad de estos grandes conjuntos de datos, se han desarrollado modelos de IA como TotalSegmentator. Este modelo puede anotar una amplia gama de estructuras anatómicas en escaneos de CT, haciendo que el proceso de generar anotaciones sea más rápido y fácil. Sin embargo, incluso con estos avances, porciones significativas de conjuntos de datos disponibles públicamente aún carecen de anotaciones completas. Estas brechas significan que los investigadores todavía dependen de revisiones manuales para asegurar la precisión.

El enorme volumen de segmentaciones generadas por IA crea desafíos prácticos para confirmar su corrección. La mayoría de las metodologías existentes para analizar estos resultados se enfocan en comparar las segmentaciones generadas con anotaciones de expertos o verdades fundamentales, que a menudo están ausentes. Esta situación resalta la necesidad de formas más simples para evaluar la calidad de las segmentaciones sin depender estrictamente de la validación por expertos.

#Métodos Propuestos de Control de Calidad

En respuesta a la necesidad de mejor supervisión de las anotaciones generadas por IA, proponemos usar Heurísticas simples para verificar su calidad. El objetivo es ayudar a identificar fallos y evaluar el rendimiento de las segmentaciones. Estas heurísticas no dependen de técnicas avanzadas de aprendizaje automático, por lo que podrían ser aplicables a varios conjuntos de datos más allá de las instancias específicas evaluadas.

Las heurísticas se enfocan en criterios específicos:

1. Completitud de Segmentación: Asegurarse de que la segmentación cubra toda la anatomía relevante y no esté cortada debido a los límites del escaneo.
2. Componentes Conectados: Cada estructura anatómica debería ser representada como una pieza continua en la segmentación.
3. Correcta Lateralidad: El modelo debería identificar con precisión a qué lado (izquierdo o derecho) del cuerpo pertenece una estructura particular.
4. Volumen Mínimo: El volumen del área segmentada debería cumplir un umbral para evitar etiquetar artefactos más pequeños como estructuras anatómicas genuinas.

Estas heurísticas ayudan a filtrar segmentos que podrían ser poco fiables o incorrectos, mejorando la calidad general del conjunto de datos.

#Visualización Interactiva de Resultados

Para hacer que el análisis de los resultados de segmentación generados por IA sea más accesible, desarrollamos un panel de control fácil de usar. Este panel proporciona herramientas para que los investigadores exploren los datos y evalúen los resultados de las heurísticas de manera efectiva. El panel tiene dos secciones principales: una página de resumen y una página de gráficos.

#Página de Resumen

La página de resumen del panel ofrece una visión general de cuántos segmentos pasaron cada una de las heurísticas. Los usuarios pueden identificar fácilmente qué segmentaciones podrían ser problemáticas. Al ordenar la tabla, los investigadores pueden enfocarse en áreas específicas de interés.

#Página de Gráficos

La página de gráficos presenta visualizaciones dinámicas que permiten a los usuarios filtrar resultados basados en varios parámetros. Se presentan dos tipos de gráficos: gráficos de violín, que muestran cuán consistentes son las mediciones de volumen antes y después de aplicar las heurísticas, y gráficos de upset, que ilustran cuántos segmentos pasan o fallan las verificaciones de heurísticas. Estas herramientas visuales proporcionan información sobre la efectividad de las heurísticas aplicadas.

#Evaluando los Volúmenes de las Costillas Izquierda vs Derecha

Las costillas son una de las áreas que pueden experimentar imprecisiones en la segmentación debido a su tamaño y la complejidad de su posición. En este estudio, nos enfocamos en las segmentaciones de costillas izquierdas y derechas, comparando sus volúmenes para evaluar la consistencia. Al calcular una diferencia normalizada entre los volúmenes de las costillas izquierda y derecha, pudimos detectar cualquier discrepancia significativa.

Al aplicar las heurísticas, notamos que filtrar segmentos mejoró la consistencia de las mediciones de volumen de las costillas. Cada heurística sirvió para refinar los datos, llevando a una reducción en la variabilidad de las mediciones. Esto ilustra cómo implementar medidas de control de calidad puede mejorar la fiabilidad de las anotaciones generadas por IA.

#Consistencia de Volumen Dentro del Paciente

Para analizar más a fondo la efectividad de las heurísticas, evaluamos la consistencia de las mediciones de volumen dentro de pacientes individuales. Cada paciente se sometió a múltiples escaneos durante varios años, y esperábamos algo de variabilidad en los volúmenes extraídos. Al calcular la desviación estándar de los volúmenes para cada paciente, comparamos la consistencia antes y después de aplicar las heurísticas.

Después de la aplicación de las heurísticas, hubo una reducción notable en la variabilidad de los volúmenes, lo que sugiere que los filtros ayudaron a eliminar series problemáticas. Mientras que las heurísticas mejoraron la consistencia, algunos valores atípicos permanecieron, indicando que las medidas no son perfectas pero aún valiosas.

#Comparación con Estudios de Población

Las mediciones de volumen de las vértebras se compararon con la literatura existente para verificar la precisión y fiabilidad de las segmentaciones generadas por IA. Al centrarnos en las vértebras torácicas, observamos distribuciones de volúmenes que se ajustaban bien a los hallazgos establecidos. Esta comparación fue crucial para evaluar si el modelo de IA capturó con precisión las características anatómicas de interés.

Al analizar los resultados, notamos que nuestras mediciones diferían de las de estudios anteriores debido a las especificidades de cómo se definieron los volúmenes. Mientras que nuestro enfoque consideraba el volumen de toda la vértebra, estudios anteriores a menudo se centraron solo en el cuerpo vertebral, creando discrepancias en los hallazgos. Esta comprensión destaca la importancia de definir claramente los parámetros de medición al interpretar los resultados.

#Limitaciones de las Heurísticas

Si bien las heurísticas propuestas ofrecen un medio valioso para evaluar la calidad de la segmentación, tienen limitaciones. Por ejemplo, la heurística de completitud de segmentación puede clasificar erróneamente segmentaciones de un solo voxel como completas. Además, las medidas pueden no ser adecuadas para todas las estructuras anatómicas, particularmente aquellas que abarcan grandes áreas.

El chequeo de componentes conectados puede producir falsos positivos si una segmentación tiene algunos voxeles aislados mientras sigue siendo precisa en general. Asimismo, la heurística de lateralidad muestra un alto rendimiento pero puede no siempre detectar errores en algoritmos de IA menos robustos. Además, ninguna de las heurísticas evalúa qué tan bien la segmentación se alinea con los límites reales de las estructuras anatómicas, lo que indica la necesidad de métodos de validación más exhaustivos.

#Direcciones Futuras

A pesar de las limitaciones, las heurísticas propuestas representan un avance significativo en el control de calidad para segmentaciones generadas por IA. Hay numerosas oportunidades para mejorar tanto los métodos como las herramientas interactivas. Por ejemplo, integrar umbrales definidos por el usuario en base a especificidades anatómicas podría mejorar los chequeos de completitud. Incluir características de radiomics más avanzadas podría ampliar el alcance del análisis.

Además, el panel podría beneficiarse de un sistema de filtrado más flexible para permitir un análisis comparativo a través de múltiples estructuras y características a la vez. Al mejorar la experiencia del usuario y expandir las funcionalidades, el panel puede servir como una plataforma robusta para investigadores que exploran conjuntos de datos complejos.

#Conclusión

El desarrollo de heurísticas simples ofrece un enfoque práctico para evaluar la calidad de las segmentaciones generadas por IA en la imagenología médica. Al centrarse en completitud, conectividad, lateralidad y umbrales de volumen, los investigadores pueden identificar y abordar inexactitudes en grandes conjuntos de datos. Esto no solo apoya el análisis automatizado, sino que también reduce la carga en los procesos de revisión manual.

A través del panel interactivo, los usuarios pueden visualizar y evaluar fácilmente el impacto de las heurísticas en los resultados de segmentación. Aunque quedan desafíos, estos métodos abren el camino para mejorar la calidad de los datos en la imagenología médica, promoviendo análisis más fiables y mejores resultados para los pacientes. El desarrollo continuo de estas herramientas puede llevar a avances significativos en el campo, fomentando más investigación y exploración en aplicaciones de aprendizaje profundo dentro de contextos médicos.