VoluAI - Vídeo volumétrico en la web

Contexto

VOLUAI es un proyecto de la convocatoria interna Multi-Area Internal Projects - Call 2022. Es un proyecto liderado por el equipo de Digital Media en colaboración con el equipo de Industria y Fabricación Avanzada. 

El objetivo del proyecto ha sido desarrollar la tecnología para capturar, transmitir, mejorar, analizar y renderizar representaciones volumétricas de personas. Más en concreto, el primer objetivo ha consistido en desarrollar una plataforma end-to-end para la captura, almacenamiento, distribución y renderizado de video volumétrico; y el segundo, desarrollar una librería para analizar y mejorar el vídeo volumétrico.

Retos: 

Los retos afrontados en VoluAI han sido los siguientes:

• Producir contenidos de calidad con recursos asumibles 
• Capturar, transmitir y renderizar en real time
• Conseguir un sistema flexible y actualizable
• Arquitectura de microservicios, lista para ser desplegada en redes 5G/6G
• Estar orientado a tecnologías web
• Basado en pointcloud
• Análisis del contenido
• Mejora del contenido

Resultados Técnicos:

La validación de esta tecnología ha sido/será realizada mediante dos demostradores: 

1. Un concierto / holoconferencia

2. La monitorización de la ergonomía de un trabajador

Holoconferencia: 

Características:

• Sistema flexible 
• Simplicidad de despliegue 
• Estable
• Soporte cross-device tanto en captura como en renderizado
• Compresión
• Real-time system
• Web-ready system
• 5G-ready system

Fases del pipeline:

• Captura
• Calibración
• Generación del pointcloud
• Codificación con Draco
• Distribución con socket.io
• Renderizado: web, unity, android, opengl

La monitorización de la ergonomía de un trabajador

Se han desarrollado y probado algoritmos avanzados de aprendizaje automático centrados en la mejora de datos de nubes de puntos y en la detección y clasificación de posturas humanas.

En uno de los casos de uso, las posturas de un trabajador de almacén se capturan como nubes de puntos, se mejoran y se clasifican como ergonómicas o no ergonómicas.

Todo el proceso de algoritmos de aprendizaje automático, incluido el entrenamiento del modelo de clasificación, se llevó a cabo utilizando el creador de procesos de aprendizaje automático que desarrollamos, que puede aplicarse a una amplia gama de casos de uso.

Resultados Científicos

Paper Web 3D: Volumetric Video on the Web: a platform prototype and empirical study. Sergio Cabrero, Ander Elosegi, Iñigo Tamayo, Ana Domínguez, Mikel Zorrilla

Ver vídeo en Youtube