Resultados
Descripción de las actividades realizadas
Durante la segunda anualidad del proyecto, se han desarrollado por completo 4 actividades relacionadas con el paquete de trabajo 2 “PT2 Diseño y desarrollo de la solución para la obtención de escenarios virtuales completos”.Las actividades son:
- “A2.1 Estudio, diseño y desarrollo de interfaces de manipulación de marionetas
virtuales” - “A2.2 Diseño y desarrollo del marco de la herramienta de simulación de
marionetas virtuales” - “A2.3 Diseño y desarrollo de modelos físicos y geométricos”
- “A2.4 Diseño y desarrollo de los módulos de visualización, interacción y
simulación”.
Los resultados de estas actividades se reflejan en los entregables E2 y E3. A continuación, se muestra en detalle el trabajo realizado en cada una de las actividades.
A2.1 ESTUDIO, DISEÑO Y DESARROLLO DE INTERFACES DE MANIPULACIÓN DE MARIONETAS VIRTUALES
Estudio de diferentes tecnologías para la manipulación simple de las marionetas virtuales por los titiriteros. Este estudio ha sido crítico para poder seleccionar la tecnología adecuada e integrar con el posterior desarrollo de la interfaz de manipulación de marionetas virtuales. Se han analizado tres técnicas para el manejo de marionetas virtuales:
- Control con mandos de RV: Esta técnica, que utiliza botones, gatillos y joysticks disponibles en los mandos de realidad virtual, ha demostrado ser efectiva para animar marionetas de manera sencilla y precisa. Su facilidad de uso y precisión la convierten en una opción viable para la animación básica de marionetas.
- Control con manos: Representa el método más orgánico y directo, emulando la manipulación tradicional de marionetas. A pesar de su potencial para el control detallado y la expresividad, las limitaciones en la precisión de los sistemas de captura de movimiento de manos han restringido su aplicación en este proyecto.
- Control con Vive Trackers: Otra técnica que se ha analizado es colocar sensores en las marionetas para capturar sus movimientos. De entre todos los sensores existentes, se han analizado los sensores “Vive Trackers” debido a sus buenas capacidades y su relación calidad-precio adecuada.
Además, durante el desarrollo de esta tarea se han explorado diferentes tipos de marionetas (marionetas de hilo, marionetas buraku, marionetas de mano). Finalmente, se ha decidido implementar las marionetas controladas con la mano al estilo Muppets, debido a su relevancia en el mundo titiritero y su potencial de interacción.
A2.2 DISEÑO Y DESARROLLO DEL MARCO DE LA HERRAMIENTA DE SIMULACIÓN DE MARIONETAS VIRTUALES
Desarrollo de una aplicación sencilla diseñada específicamente para los cascos de RV, Oculus Quest 2 desarrollada con el motor Unreal Engine, a través de la cual los marionetistas podrán visualizar diferentes marionetas virtuales e interactuar con ellas a través de las manos virtuales que representan los controladores de los cascos.
El movimiento de las representaciones virtuales de las manos está asociado con los diferentes botones y el joystick del controlador, a través de los cuales los titiriteros pueden ejecutar una amplia gama de interacciones con las marionetas: desde mover los ojos de las marionetas, agarrar y mover sus brazos para realizar movimientos como saludar y, hasta simular el movimiento de su boca como si hablaran, entre otras muchas más interacciones.
El desarrollo de esta herramienta ha sido posible gracias al uso del motor Unreal Engine, conocido por su capacidad para crear experiencias inmersivas y de alta calidad en entornos virtuales, y las gafas Oculus Quest 2, líderes en la industria de la realidad virtual.
A2.3 DISEÑO Y DESARROLLO DE MODELOS FÍSICOS Y GEOMÉTRICOS
Se han desarrollado modelos de marionetas virtualmente complejos, específicamente diseñados para probar simulaciones avanzadas de pelo y ropa, elementos reconocidos por su dificultad para ser replicados con realismo en las simulaciones virtuales.
Utilizando el motor gráfico Unreal Engine, se han llevado a cabo diferentes pruebas para evaluar la capacidad del motor de renderizar estas simulaciones en tiempo real. Mientras que la simulación de ropa ha mostrado resultados prometedores en términos de simplicidad y realismo, la del pelo aún presenta desafíos, especialmente en lo que respecta a la densidad y el dinamismo requeridos para su movimiento natural.
Se han establecido los diseños completos de las marionetas y se han determinado algunos de los requerimientos a los que dichos desarrollos estarán sujetos.
TAREA A2.4 DISEÑO Y DESARROLLO DE LOS MÓDULOS DE VISUALIZACIÓN, INTERACCIÓN Y SIMULACIÓN
Los módulos de visualización son los responsables de generar las visuales para el manipulador y para la audiencia respectivamente. Se ha optado por una arquitectura de dos aplicaciones interconectadas inalámbricamente: una ejecutándose en los cascos de RV y la otra en la estación gráfica, dedicada a los gráficos para la audiencia. Este diseño facilita la interacción en tiempo real y la visualización simultánea de las marionetas por parte del artista y el público.
Además, el módulo de interacción, que se ejecuta directamente en los cascos de RV,es el responsable de ofrecer al artista todos los mecanismos y un amplio rango de gestos necesarios para manipular las marionetas del modo más natural y preciso posible. Los datos de interacción se utilizan para alimentar el módulo de simulación, que está enfocado en perfeccionar la animación de las marionetas basándose en ensayos específicos, estudios de movimiento y la evaluación de diferentes escenarios virtuales, con el fin de enriquecer la expresividad y el impacto visual de las animaciones.
