Las herramientas de IA de generación están cambiando los flujos de trabajo de producción

Ha surgido una nueva generación de estudios de entretenimiento independientes, a medida que VIP+ examinado la semana pasada, incorporando herramientas y modelos de IA generativa a la producción de contenidos de cine, televisión y vídeos de formato corto y diseñando flujos de trabajo profesionales en torno a ellos.

VEA TAMBIÉN: La nueva generación de entretenimiento Stidos, producción pionera impulsada por IA

Los conjuntos de herramientas de IA utilizados en las producciones cambiarán según las necesidades del proyecto y a medida que haya nuevas herramientas o modelos disponibles. Varios estudios fueron agnósticos con respecto a las herramientas que utilizaron y están integrando lo que funcione mejor para la tarea.

Para estos estudios, la experimentación para descubrir métodos de producción con IA generativa es una prioridad frente a la continua oscuridad legal y los escrúpulos éticos que resultan de que muchos modelos de IA se entrenan con datos protegidos por derechos de autor, una realidad de cómo se ha desarrollado la generación actual de modelos de IA. Sin embargo, el estudio de animación cinematográfica de IA Asteria tiene la intención de hacer la transición al uso mareyun modelo de imagen y video de próxima aparición desarrollado por su socio, la firma de investigación de inteligencia artificial Moonvalley, entrenado exclusivamente con datos autorizados.

En general, los estudios de IA estaban bien versados ​​en imagen y modelos de base de vídeohaciendo referencia a Midjourney, Flux o Leonardo (una herramienta construida sobre Stable Diffusion) y Runway, Kling, Minimax, Luma AI, Haiper y otros. Los estudios también hicieron referencia al uso de herramientas de inteligencia artificial que se han desarrollado para captura de movimiento sin marcadores (por ejemplo, Wonder Dynamics), sincronización de labios (p. ej., Hedra, Flawless), transferencia de estilo (p. ej., Runway’s Act One) y voz (por ejemplo, ElevenLabs).

Varios estudios han creado a medida sus propias soluciones de flujo de trabajo interno, a veces denominadas pilas de tecnología patentadas. A menudo, se trata de software que agrega de manera efectiva una variedad de modelos preferidos del estudio a través de código abierto o API, con el objetivo principal de optimizar los flujos de trabajo para los equipos creativos internos.

Esto les permite acceder a múltiples modelos dentro de una sola herramienta en lugar de “rebotar” de manera ineficiente entre múltiples herramientas de inteligencia artificial basadas en la web para generar y modificar contenido, lo que, según las fuentes, era uno de sus puntos clave de UX. Por ejemplo, Flujo de trabajo de la promesa solución MUSE tiene la intención ofrecer un “entorno de producción optimizado, colaborativo y seguro” para los artistas.

Por la misma razón, varias fuentes de estudios de IA hacen referencia a ComfyUI, que ofrece una interfaz única para acceder a múltiples herramientas de IA para modificar de forma secuencial y específica una salida de IA. “Es bastante potente y añade niveles de control que un artista profesional necesitaría”, afirmó Eric Shamlin, director ejecutivo de Secret Level.

En algunos casos, los estudios de IA que desarrollan sus propias soluciones de flujo de trabajo también esperan obtener licencias como software empresarial creativo y de colaboración, posicionado para la producción de contenido. Invisible Universe está en conversaciones con estudios nacionales e internacionales y abrirá su software basado en la nube. Estudio invisiblea una base de prosumidores, como creadores de contenido de redes sociales. Asimismo, Secret Level y Promise pretenden eventualmente ofrecer sus respectivas herramientas, Liquid Studio y MUSE, bajo un modelo SaaS.

En teoría, es posible crear una producción totalmente basada en IA de principio a fin, donde cada elemento sea sintético. Pero en la práctica, las fuentes de los estudios de IA describieron flujos de trabajo de producción “híbridos” en los que incorporan intencionalmente artistas humanos y su trabajo creativo, automatización de inteligencia artificial donde proporciona valor y métodos de producción tradicionales donde todavía son necesarios o deseados, incluido el rodaje con cámaras, el movimiento. captura y CGI tradicional. Las fuentes señalaron que las necesidades de cualquier proyecto determinado a menudo significan contratar escritores, actores, artistas, animadores y compositores humanos.

“Somos la IA primero o avanzada, pero no es solo IA. La IA es una herramienta principal para nosotros, pero todavía estamos haciendo filmaciones de acción en vivo, CG tradicional y animación tradicional. Pero esas cosas ahora se aceleran o aumentan con la IA. Es en gran medida un modelo de producción híbrido”, afirmó Shamlin.

Las fuentes del estudio dijeron repetidamente que no existía una película de IA completamente automatizada que aún no requiriera ediciones manuales sustanciales para que las salidas de IA sin procesar “se vieran bien”, incluso para arreglar artefactos alucinados y la sensación de “valle inquietante” que aún es evidente en la IA. imágenes.

En resumen, los estudios están buscando formas de hacer que los resultados de la IA no parezcan IA. En este momento, hay más confianza en la capacidad de hacer esto para la animación que para la acción en vivo, aunque el fotorrealismo de las imágenes de IA está mejorando rápidamente. Algunos también expresaron desde el principio su confianza en que encontrarían métodos para “descifrar” la acción en vivo.

Las fuentes sostienen que las herramientas de inteligencia artificial de generación están reestructurando el proceso de producción convencional, normalmente una progresión gradual desde la previsualización hasta la producción (filmaciones) y la postproducción (renderizado CG).

Por ejemplo, algunos describieron una nueva capacidad para visualizar una película completa de antemano mediante el uso de herramientas de imagen y video de IA para generar imágenes para toda la película basadas en el guión. Estos fotogramas de IA podrían actuar como un primer corte de la película, donde las imágenes de IA se editarían y perfeccionarían aún más con herramientas de IA generativa o técnicas CGI tradicionales para convertirse en los fotogramas finales.

Alternativamente, los cuadros iniciales de IA se tratarían como un guión gráfico de alta fidelidad y se usarían para guiar un rodaje de producción con actores en el set o con pantalla verde.

Algunos interpretaron esa reestructuración como una inversión del proceso a “post-first” o “post-to-pre”, donde la visualización inicial les permite ver e iterar inmediatamente sobre imágenes que de otro modo habrían tenido que esperar hasta los rodajes de producción o los efectos visuales de posproducción. al renderizado CG. Como resultado, las fuentes esperaban que la IA genética disminuyera la duración y las demandas tanto de la preproducción como de la postproducción tradicional.

“Como estudio, aprobamos la película mucho antes de que alguien pise cualquier tipo de escenario o herramienta tradicional”, dijo Tom Paton, director ejecutivo de Pigeon Shrine.

“La preproducción convencional está muerta en nuestras mentes”, dijo Shamlin, quien dirige Secret Level, el estudio que produjo la controvertida película de Coca-Cola. Comercial generado por IA en noviembre. “Teníamos muchos de los fotogramas finales que se ven en el lugar final de preproducción en lugar de guiones gráficos, porque puedes ir directamente a la IA y comenzar a renderizar por completo, mientras que en la producción tradicional tendrías que esperar hasta después. disparas. Todo eso comienza ahora en la preproducción”.

Próximamente de VIP+
• 31 de diciembre: Cómo los estudios de IA están experimentando con el ajuste de modelos de imagen y vídeo

VIP+ descubre información y datos de IA desde todos los ángulos: elija una historia