STEER - Cohortes virtuales a partir de la generación de imágenes médicas condicionadas por texto

Contexto

El objetivo de STEER es desarrollar y validar una herramienta de generación de imágenes médicas basada en texto. Se pueden introducir características clínicas y fenotipos para guiar el proceso de generación de imágenes. 

Retos tecnológicos

1. Adaptar al ámbito médico herramientas desarrolladas para imágenes naturales

2. Validar la corrección anatómica de las imágenes generadas y sus valores de intensidad en función de las propiedades físicas de los tejidos

3. Conocer el impacto de la indicación textual en las imágenes generadas

4. Implementar modelos de difusión condicionados por texto para imágenes médicas adaptando un pipeline de generación de imágenes naturales a la generación de imágenes médicas en escala de grises. 

Metodología:

Para STEERS se implementan modelos de difusión condicionados por texto para imágenes médicas adaptando un pipeline de generación de imágenes naturales a la generación de imágenes médicas en escala de grises. 

Resultados técnicos:

El último paso del proyecto ha consistido en la integración del módulo de generación de avisos y el modelo de difusión estable entrenado en una línea completa de generación de imágenes guiada por texto contenida en una aplicación web. A partir de un informe radiológico de entrada, el módulo de generación de avisos extrae las entidades relevantes y construye un aviso como los utilizados para entrenar el modelo de difusión estable. A partir de una imagen con ruido gaussiano, el texto guía el proceso de generación de imágenes utilizando el modelo de difusión entrenado para crear una imagen sintética. La imagen final puede evaluarse con las métricas de validación habituales y con las que proponemos en este trabajo.

La aplicación web funciona en dos modos: 

• En Modo Usuario: Este modo está diseñado para simular la experiencia de un usuario final, como un radiólogo, permitiéndole cargar un informe radiológico. A partir del informe cargado, se genera automáticamente un mensaje de texto. El usuario puede controlar qué entidades, como el sexo, la edad, la hepatopatía y el tamaño del tumor (si están disponibles en el informe), se incluyen en la pregunta. A continuación, el usuario puede especificar el número de imágenes a generar y ajustar algunos parámetros para guiar el proceso de generación. Las imágenes sintéticas generadas pueden descargarse individualmente o por lotes y evaluarse mediante la distancia de inicio de Frechet, el índice de similitud multiestructural y nuestra métrica propuesta. 
• En Modo investigador: Este modo está diseñado para investigadores y ofrece la posibilidad de experimentar con diferentes modelos entrenados. Además de cargar un informe radiológico, el usuario puede introducir manualmente un texto personalizado para generar imágenes sintéticas. Al igual que en el modo Usuario, las imágenes generadas pueden descargarse y evaluarse.

Resultados científicos:

• Txurio, M.S. et al. (2023). Modelos de difusión para la generación de imágenes realistas de TC. Innovación en Medicina y Salud. KES InMed 2023. Smart Innovation, Systems and Technologies, vol 357
• Platas, A. et al. (2024). Synthetic Annotated Data for Named Entity Recognition in Computed Tomography
• Tomography Scan Reports. Aceptado en las actas de SEPLN 2024.
• Martínez-Arias, P. et al (2024). Text-conditioned abdominal CT slice generation using stable diffusion. Aceptado en actas MICAD 2024.

Aplicaciones

Ensayos clínicos (por ejemplo, sector de dispositivos médicos - implantes), investigación biomédica (evitar problemas de intercambio de datos), aumento de datos para el desarrollo de modelos de aprendizaje profundo, etc.

Ver el vídeo en Youtube