¿Puede el iPhone X convertirse en un sistema de captura facial rápido, barato y simple? Hace aproximadamente un mes Cory Strassburger en Kite & Lightning recibió un iPhone X de Apple. En un día, estaba probando un software que funcionaba con su cámara TrueDepth y ARKit. Quería ver si se podía usar para su juego y para el contenido cinematográfico.
Kite & Lightning fue uno de los primeros innovadores con los kits de desarrollo de Oculus VR y creó experiencias innovadoras como
Senza Peso que utilizó algunas capturas humanas llamativas. Ahora, están construyendo
Bebylon Battle Royale . El juego gira en torno a estos personajes "beby" que tienen actitudes descomunales. Quería ver si darles a estos personajes una gran personalidad podía hacerse de manera más rápida y económica usando la captura facial del iPhone X y ha estado pasando parte de su tiempo los fines de semana allí.
"Creo que mi gran conclusión en este momento es que los datos de captura provenientes del iPhone X son sorprendentemente sutiles, estables y no demasiado suavizados", escribió Strassburger en un correo electrónico. "De hecho, está captando movimientos muy sutiles, incluso pequeños tics y está lo suficientemente limpia (sin ruido) para usar directamente desde el teléfono, dependiendo de tus estándares, por supuesto".
Él piensa que representa un método viable para la captura facial relativamente económica. El sistema también es móvil, podría facilitar la configuración y la implementación. Apple adquirió una compañía llamada Faceshift que parece impulsar gran parte de esta funcionalidad. Aunque Strassburger señala que la solución de Faceshift tiene otras características interesantes, ha sido capaz de extraer suficiente expresividad utilizando lo que Apple lanzó con el iPhone X, que aún podría resultar útil para la producción de realidad virtual.
Aquí está el proceso de captura Strassburger esbozado para tomar los datos de captura facial del iPhone X y usarlos para animar las expresiones de un personaje en Maya:
Uso de manzanas ARKit y Unity I importaron un personaje Bebylon de trabajo en progreso y unieron sus formas de expresión facial en los datos de captura facial que genera ARKit. Esto me permite conducir la animación de la cara del bebé en base a mis propias expresiones.
Necesitaba capturar esta expresión de datos para importarla a Maya. Agregué una función de registro para transmitir los datos de la expresión facial a un archivo de texto. Esto se guarda localmente en el iPhone. Cada toma de inicio y parada se convierte en un archivo de texto separado y puede ser nombrado / renombrado dentro de la aplicación de captura.
Copio los archivos de texto del iPhone X al escritorio a través de USB.
Los datos capturados deben formatearse para su importación a Maya, así que escribí una aplicación de escritorio simple para hacer esto. Toma los archivos de texto elegidos y los convierte a archivos Maya .anim.
Importe el archivo .anim en Maya y listo, tu personaje imita lo que viste en el iPhone durante la captura.
Según Strassburger, ha visto un par de fallas menores que aparecen en los datos y cree que su código probablemente sea el responsable. Además, aunque la captura ocurre a 60 cuadros por segundo, el proceso actualmente rinde a 30 fotogramas por segundo para que pueda ver algunas pérdidas de calidad. Esto es más notable en la sección "Horse Lips", de acuerdo con Strassburger.
"La verdadera belleza de este sistema es que es increíblemente rápido y fácil de capturar (directamente en su teléfono) y luego lo importa a Maya o directamente al motor del juego", escribió Strassburger. "No hay un procesamiento real involucrado en ningún punto y los datos parecen lo suficientemente limpios desde el teléfono para usarlos sin modificaciones".
Próximos pasos
Strassburger espera conectar el iPhone X a un casco y luego usar un traje Xsens para hacer movimientos de cuerpo completo y captura de rostro al mismo tiempo.
"Me siento bastante seguro de que este personaje beby podría mejorarse de manera espectacular marcando los esculturas de formas combinadas y también agregando mapas de arrugas adecuados que deforman la piel a medida que la cara se anima", escribió Strassburger. "Además, usar los datos capturados para manejar formas de fusión secundarias ayudará a que las expresiones se sientan más dinámicas y vivas".
COMENTA Y COMPARTE CON TUS AMIGOS.
Entradas
