Abstracto

Gráficos por computadora 2016: Coarticulación y sincronización del habla en animación facial basada en MPEG-4 - Abdennour El Rhalibi - Universidad de Liverpool

Abdennour El Rhalibi

En esta charla, el profesor Abdennour El Rhalibi presentará un resumen de su investigación en tecnologías de juegos en LJMU. Presentará algunos proyectos recientes desarrollados con BBC R&D, sobre desarrollo de middleware de juegos y en animación facial. En particular, presentará un marco completamente único para la coarticulación y sincronización de voz para animación facial basada en MPEG-4. El sistema, conocido como Charisma, permite la creación, edición y reproducción de modelos 3D de alta resolución; secuencias de animación MPEG-4; y es compatible con sistemas relacionados conocidos como Greta y Xface. Admite texto a voz para sincronización dinámica de voz. El marco también permite la simplificación de modelos en tiempo real utilizando superficies basadas en cuadráticos. El enfoque de coarticulación proporciona animación de sincronización de labios realista y de alto rendimiento, compatible con el modelo de coarticulación de Cohen-Massaro adaptado a la especificación de animación facial (FA) MPEG-4. También hablará de algunos experimentos que demuestran que la técnica de coarticulación da buenos resultados en general en comparación con las técnicas de última generación relacionadas. El sistema que han desarrollado los autores utiliza el estándar MPEG-4 FA y otros desarrollos para permitir la creación, edición y reproducción de modelos 3D de alta resolución; secuencias de animación MPEG-4; y es compatible con sistemas relacionados conocidos como Greta y Xface. Admite texto a voz para la sincronización dinámica del habla. El marco permite la simplificación del modelo en tiempo real utilizando superficies basadas en cuadráticos. La animación facial ha demostrado ser una inmensa fascinación e interés para la comunidad de investigación y la industria. Como sus usos son inmensamente amplios, desde los usos en la industria cinematográfica, para generar personajes CGI o incluso para recrear actores reales en animación CGI; hasta la industria de los juegos donde, junto con varios avances tanto en hardware como en software, ha permitido la creación de personajes realistas que sumergen a los jugadores como nunca antes. La animación facial también ha llegado más recientemente a diferentes sectores y aplicaciones, como la presencia virtual y la investigación médica. Existen algunos conjuntos de herramientas y marcos de trabajo dedicados a la animación facial, como Facegen y otras herramientas. Este amplio potencial y fascinación en torno a este tema ha generado una intensa y dedicada investigación en las últimas tres décadas. Esto ha llevado a la creación de varias ramas que se centran en aspectos clave, como el modelado (por ejemplo, arrugas, piel y cabello), y sistemas de agentes encarnados que mejoran la experiencia del usuario al incorporar personajes virtuales con subsistemas que involucran personalidad, emociones y estados de ánimo del habla. Estos subsistemas contribuyen a imitar nuestros comportamientos y apariencia física de manera más realista, y todos tienen un papel importante en la comunicación, ya sea directamente a través del uso del habla o indirectamente utilizando gestos corporales, mirada, estados de ánimo y expresiones. Sin embargo, el habla es el principal medio directo de comunicación entre los agentes encarnados y el usuario.Esto justifica los esfuerzos realizados por la comunidad de investigación en los últimos treinta años hacia la creación de habla sintética realista y movimientos labiales para personajes virtuales. En las últimas dos décadas, varios avances han permitido la creación de habla de audio visual-sintética para personajes virtuales, lo que implica el procesamiento del habla habilitado con la creación de motores de texto a voz como Mary-TTS (Schröder, 2001). Con la creación de estos motores de habla, también se produjeron varios avances en la coarticulación (Massaro, 1993, Pelachaud, 2002, Sumedha y Nadia, 2003, Terry y Katsaggelos, 2008) que se han complementado aún más con la sincronía labial facial. Los estudios iniciales de sincronización labial intentaron concatenar segmentos fonéticos, sin embargo, se encontró que los fonemas no alcanzan su forma objetivo ideal en todo momento, debido a la influencia de los segmentos fonéticos consecutivos entre sí. Tal fenómeno se conoce como coarticulación. La coarticulación se refiere a la superposición fonética, o cambios en la articulación que ocurren entre segmentos, lo que no permite que el segmento alcance su forma perfecta. Los efectos de la coarticulación se pueden dividir en dos fenómenos principales, coarticulación perseverativa: si los segmentos afectados son los anteriores; y coarticulación anticipatoria si los segmentos se ven afectados por los próximos.

Biografía:

Abdennour El Rhalibi es profesor de Informática de Entretenimiento y Director de Proyectos Estratégicos en la Universidad John Moores de Liverpool. Es Director del Laboratorio de Investigación de Juegos de Computadora en el Centro de Investigación Protect. Tiene más de 22 años de experiencia en investigación y docencia en Ciencias de la Computación. Ha trabajado como investigador principal en tres proyectos de la UE en Francia y en el Reino Unido. Su investigación actual involucra Tecnologías de Juegos e Inteligencia Artificial Aplicada. Ha liderado durante seis años varios proyectos en Informática de Entretenimiento financiados por la BBC y compañías de juegos con sede en el Reino Unido, que involucran herramientas de desarrollo multiplataforma para juegos, desarrollo de middleware de juegos basado en la web en 3D, sincronización de estados en juegos multijugador en línea, MMOG peer-to-peer y animación de personajes en 3D. Ha publicado más de 150 publicaciones en estas áreas. Forma parte de muchos consejos editoriales de revistas, incluidas ACM Computer in Entertainment y el International Journal of Computer Games Technologies. Ha sido presidente y miembro del IPC en más de 100 conferencias sobre entretenimiento informático, IA y VR. Es miembro de numerosos comités internacionales de investigación en IA y computación de entretenimiento, incluidos IEEE MMTC IG: 3D Rendering, Processing and Communications (3DRPCIG), IEEE Task Force on Computational Intelligence in Video Games e IFIP WG 14.4 Games and Entertainment Computing.