Cómo este productor canadiense utiliza la IA para permitir que los artistas canten en diferentes idiomas

Cuando el productor canadiense Jordan Young comenzó a jugar con la tecnología de clonación de voz de IA (y finalmente creó una canción falsa de Kanye West que sonaba, bueno, igual que Kanye West), inmediatamente lo impulsó a pensar en las implicaciones éticas de la tecnología.

“Tan pronto como lo hice, comencé a pensar… si cualquiera puede hacer música con la voz de cualquier persona, ¿qué significa esto para los artistas? ¿Qué significa esto para la música?” dijo Young, quien ha trabajado con Beyoncé, BTS y Dua Lipa.

Él y su compañía Hooky desarrollaron recientemente una tecnología que podía hacer que un artista sonara como si estuviera cantando en un idioma diferente al suyo.

Eso resonó en el cantante pop estadounidense Lauv, quien en ese momento acababa de terminar una gira por Corea y quería encontrar una manera significativa de agradecer a sus fans. ¿Por qué no desarrollar una nueva versión de su canción? Te amo asítransformado para que pareciera que estaba actuando en coreano?

El proceso comenzó cuando la compañía de Young contrató a Kevin Woo, un cantautor surcoreano que habla inglés y coreano con fluidez, para reescribir y cantar la canción en una nueva lengua. Esa interpretación tiene que captar los matices del idioma coreano, explicó Young.

“No se trata simplemente de tirarlo a un sitio web de traducción y lo que sea que escupe, esa es tu canción. Tienes que ser artístico al respecto”, dijo Young.

Las grabaciones también tenían que coincidir musicalmente. Por ejemplo, si Lauv cantó en falsete en algunos compases, Woo hizo lo mismo en su demostración en coreano.

Ingrese la inteligencia artificial.

La tecnología se entrena en “cada rincón” de la voz de Lauv, como dice Young, desde las frecuencias y tonos más altos hasta los más bajos, para construir un modelo integral de su voz.

La demostración en coreano escrita y cantada por Woo se combina con el modelo de inteligencia artificial de la voz de Lauv, creando una canción en coreano que suena como si la hubiera cantado Lauv.

VER | La versión en coreano de Love U Like That de LAUV:

Ha sido un año de ajuste de cuentas para las industrias creativas que luchan con la inteligencia artificial.

El negocio de la música en particular ha visto una explosión de canciones generadas por IA diseñadas para sonar como los artistas más populares del mundo, como la canción viral. Corazón en mi mangaque presentaba voces generadas por computadora que sonaban como Drake y The Weeknd.

Algunos artistas son lucha el uso no autorizado de sus voces y semejanzas, mientras que a otros les gusta GrimesJohn Legend y Demi Lovato son abrazando la tecnología en diferentes grados.

“Como mínimo, deberíamos darle a los artistas control sobre cómo se usa su voz”, dijo Young, quien es de Toronto, y señaló que de ahí surgió la idea de usar la IA para cambiar de idioma.

“Se trataba de crear un mecanismo de control para que los artistas pudieran gestionar su imagen en un mundo donde la IA puede alterar totalmente eso”.

Otras empresas están trabajando en tecnología centrada en la música y la traducción.

AudioShake, en San Francisco Una empresa que se especializa en separación de audio, aísla la pista vocal de una canción de la música, luego usa inteligencia artificial para transcribir y traducir la canción, creando tecnología que mapea el inglés original con el nuevo idioma para que los fanáticos puedan seguir la letra de la canción original en su idioma. La cantante pop Sia es uno de sus clientes.

Mientras tanto, el sello discográfico más grande de Corea del Sur, HYBE, utilizó tecnología de inteligencia artificial interna para que su artista Lee Hyun, conocido como MIDNATT, pudiera grabar su canción. Mascarada en seis idiomas diferentes: inglés, coreano, español, japonés, chino y vietnamita.

El cantante grabó su canción en cada idioma, que luego se combinó con demostraciones de hablantes nativos leyendo la letra. Hyun habla coreano, además de inglés y chino limitados.

“Es algo aterrador que la gente no comprende del todo y, a menudo, la IA se presenta como algo monolítico, y no lo es”, dijo Young.

“La IA es en realidad muchas tecnologías diferentes que pueden unirse de muchas maneras diferentes”.

Artistas que ya intentan llegar a fans internacionales.

Incluso antes de que la IA pasara a primer plano este año, los artistas ya habían intentado utilizar diferentes lenguajes para dirigirse a los fans, según Kristin Robinson de la revista Billboard.

ella apunta a Despacitouna canción de 2017 del cantante puertorriqueño Luis Fonsi y el rapero puertorriqueño Daddy Yankee, cuya versión remezclada con Justin Bieber se convirtió en un gran éxito.

“Tener a Justin Bieber saltando a una pista latina no es algo que hubiera anticipado. Que Beyoncé intentara cantar en español no es algo que tenía en mi tarjeta de bingo para que Beyoncé hiciera”.

Pero ahora que la IA es un factor en esta ya exitosa tendencia, Robinson dice que la gente probablemente tendrá sentimientos encontrados sobre “la autenticidad” del proceso.

Queda por ver si este tipo de música tendrá buena acogida. Robinson dice que usar la tecnología de una manera que sea ética y culturalmente apropiada es una parte importante de la conversación.

Esto se reflejó en algunas de las reacciones en línea a la versión en coreano de Lauv de Te amo así.

Algunos fanáticos dijeron que estaban “obsesionados” con la nueva versión, mientras que otros cuestionaron la óptica de un artista blanco que usa tecnología para insertar su voz sobre una canción cantada por un artista coreano. Otros sugirieron diferentes formas de hacer que Lauv y Woo cantaran en la misma pista.

Dar importancia a los 'matices' del lenguaje: artista de Toronto

La vocalista y compositora de jazz de Toronto, Jacqueline Teh, espera incorporar el idioma de su familia (hokkien, un dialecto chino de la provincia de Fujian) en sus proyectos futuros. Como artista multilingüe, puede ver los beneficios y las desventajas de utilizar la IA para crear canciones en diferentes idiomas.

Ella dice que la tecnología parecía emocionante al principio y agrega que puede ser un “gran trampolín” para que los artistas accedan a otros idiomas.

Pero ella dice que el crédito y la agencia son increíblemente importantes para los artistas, y que no le gustaría que la IA se interpusiera en una relación potencial con un idioma que es nuevo para ella o con una persona que habla un idioma diferente al suyo.

“Creo que en el lenguaje hay tantos matices, tanta jerga y muchas cosas que no se pueden traducir simplemente a través de la tecnología”, dijo, y es por eso que trabajar con un hablante nativo hace que la canción sea más significativa para ella.

Ella dice que mientras los artistas no utilicen la IA para evitar el arduo trabajo que implica crear relaciones significativas con los fanáticos y otros artistas, “hay muchas cosas a las que podemos acceder con la tecnología”.

Young, el productor, está trabajando en un nuevo proyecto de traducción, potencialmente con un artista canadiense. Dice que ahora que el genio ha salido de la botella, la industria tiene que descubrir cómo dirigir la tecnología en la dirección correcta.

“Nunca voy a construir algo que aleje al ser humano del proceso creativo”, afirmó. “Y hay muchas empresas que están intentando hacer eso ahora mismo”.