Reimaginando a música ao vivo para o público mais jovem

A tecnologia imersiva está mudando a forma como as pessoas vivenciam os eventos ao vivo – especialmente para aqueles que não podem comparecer pessoalmente. Temos explorado como isso poderia aproximar o público da música de maneiras novas e mais inclusivas.

A inclusão é muito importante para a BBC e, por isso, o nosso foco tem sido em como utilizar esta tecnologia transformadora para construir experiências que repercutam nos jovens que enfrentam barreiras para participar em eventos do mundo real devido à sua localização, finanças, idade ou outros factores sociais.

No Reino Unido, cerca de 14,8 milhões de menores de 24 anos se identificam como jogadores. Embora plataformas como Fortnite e Roblox sejam amplamente reconhecidas como plataformas de jogos, para muitos elas atuam como pontos de encontro digitais para conexão, criatividade e experiências compartilhadas.

Esta mudança no comportamento do público abre novas possibilidades para conteúdo ao vivo – especialmente com públicos criados com base nos jogos e que esperam mais do que uma visualização passiva. Ao combinar formatos imersivos com a programação da BBC, estamos explorando como tornar os eventos mais acessíveis, mais interativos e mais envolventes – permitindo que o público participe do momento enquanto ele acontece.

Para fazer isso nós fez parceria com a empresa de tecnologia Condense, sediada em Bristol em seu sistema Condense Live que usa captura volumétrica para transmitir artistas reais em espaços virtuais, preservando sua autenticidade e energia. O desempenho dentro de uma área de captura é captado por um sistema que rastreia cada movimento. Isso transforma a performance em um modelo 3D ao vivo e a transmite para um local virtual baseado em navegador para visualizá-la de qualquer ângulo. Esse realismo diferencia a experiência de shows virtuais animados pré-gravados que usam captura de movimento para animar avatares. E nossa experiência funciona em dispositivos móveis ou desktop, sem necessidade de downloads ou equipamentos especiais. Dentro do espaço virtual (o Portal) os usuários aparecem como um avatar, e é como assistir a uma performance fotorrealista dentro de um videogame.

A experiência é moldada por múltiplos elementos: a performance, o local, a iluminação atmosférica, a dinâmica da multidão, a personalização individual e a interação. A conversa acontece na plataforma de mensagens instantâneas Discord, onde construímos nosso ao vivo imersivo comunidade. Juntos, esses componentes atraentes criam um todo atraente que repercute no público.

Esta abordagem abre possibilidades criativas para o rádio. As transmissões tradicionais – programas ao vivo ou pré-gravados e eventos presenciais – podem agora adicionar uma nova dimensão: a capacidade de hospedar uma audiência virtual ao vivo para apresentações transmitidas. Também permite a criação de momentos únicos e envolventes que não são possíveis no mundo físico.

Apresentações envolventes até o momento

Já realizamos muitos eventos junto com os programas da Radio 1. A maioria foi capturada nos estúdios de música ao vivo Maida Vale da BBC e inclui:

• The New Music Show com Jack Saunders: sets ao vivo de 30 minutos dos artistas Sam Tompkins, Good Neighbours, Joey Valence & Brae, Nilüfer Yanya, Confidence Man, NIKI, Royel Otis, Magdalena Bay e Gigi Perez.
• The Future Pop Show: sets ao vivo das artistas Elle Coves e Lily Knott.
• Rave Lounge: um programa de DJ da Radio 1 de 3,5 horas com Danny Howard, Jaguar, Pete Tong, Sarah Story, Jerry Asiamah e Martha
• Apresentando a BBC: Um festival virtual, com treze artistas emergentes.

Também entregamos a ambiciosa captura do palco Dance no festival ao ar livre Big Weekend da Radio 1 em Liverpool – um dos maiores eventos de transmissão externa ao vivo da BBC. Durante três dias, transmitimos horas de DJ sets virtualmente no Dance Portal para complementar os tradicionais programas de rádio e TV dos demais palcos do Big Weekend.

Foi o nosso maior desafio técnico até agora. Começámos por captar performances individuais no Maida Vale, utilizando uma ligação à Internet de 500 Mbps que atendia aos nossos requisitos iniciais. Mas sabíamos que replicar esta configuração noutro local seria ambicioso, especialmente num festival ao ar livre. Apesar dos riscos, aproveitamos para experimentar e aprender, superando alguns obstáculos no caminho.

Os desafios

A infraestrutura de internet compartilhada no Big Weekend rapidamente se tornou um gargalo, o que limitou severamente nossa capacidade de transmitir as apresentações no Portal. Resolvemos isso garantindo uma linha direta ao ISP com a largura de banda dedicada de que precisávamos.

A Condense também trabalhou para reduzir nossa demanda de internet de 500 Mbps para 100 Mbps – com potencial para chegar a 50 Mbps. Essa inovação, alcançada ao mover o algoritmo de compactação de dados da nuvem para um servidor GPU local montado em rack, foi fundamental para tornar nosso equipamento de captura móvel e pronto para transmissão.

Outro problema foi o posicionamento da câmera. Nossas câmeras exigem posicionamento preciso e estabilidade, mas momentos antes de entrar ao vivo, uma câmera bateu e afetou a captura. Negociamos uma janela de dois minutos entre as apresentações dos DJs – algo inédito em palcos de dança – para recalibrar. Isso significava que poderíamos consertar o problema quando acontecesse e manter a transmissão funcionando.

Embora na vida real a neblina seja essencial para efeitos de luz no palco, ela interfere em nossas câmeras com detecção de profundidade. Conseguimos desligar os efeitos de neblina no último dia para desbloquear o desempenho de detecção de profundidade mais claro para nosso público virtual. Combinado com um equipamento estável, isso nos deu a visão mais clara sobre as capacidades do nosso sistema.

O que aprendemos – na plataforma, menos é mais

A partir de nossos testes no Big Weekend da Radio 1, definimos agora uma especificação de festival envolvente, pronta para orientar futuros eventos ao ar livre.

O equipamento tem melhor desempenho em um quadrado de 2x2m e acomoda de um a dois membros da banda. A resolução disponível é dividida entre quem e o que quer que esteja na plataforma, portanto, mais área de superfície para capturar resultará em qualidade reduzida.

Na foto acima estão Royel Otis com suas guitarras e pedaleiras. Descobrimos que elementos como pedaleiras de guitarra no chão apresentam desafios técnicos, pois resultam em muitos polígonos pequenos que criam ruído visual e dificultam a compressão. Os aprendizados são refletidos nas melhorias do produto, além de nos ajudar a determinar quais atos musicais representam uma boa representação da tecnologia.

Vídeo volumétrico: Tornando prático

Descrevemos o equipamento de captura volumétrica como um “kit de produção em uma caixa” – equipado para filmar, capturar áudio e fornecer iluminação. O equipamento inclui dez câmeras com sensor de profundidade para capturar dados RGB e de profundidade em torno de cada artista, processados ​​em tempo real por mini-PCs e um servidor GPU montado em rack para criar uma malha 3D ao vivo.

O vídeo volumétrico sempre foi caro e complicado, e transmiti-lo ao vivo é um desafio, pois ainda não existem padrões de compressão. O algoritmo de compressão do Condense oferece vídeo volumétrico em uma fração de segundo, um avanço na captura e streaming 3D em tempo real. Trabalhamos com eles para desenvolver pipelines de compressão de malha e textura que poderiam informar padrões no futuro.

Nossos insights: Acessibilidade e engajamento

Ao longo do projeto, ouvimos consistentemente que estas experiências imersivas ajudam a superar barreiras – sejam elas idade, geografia, finanças ou circunstâncias sociais – que impedem o público de ver os seus artistas favoritos ou de frequentar discotecas e festivais. No Big Weekend da Radio 1, os participantes virtuais descreveram o poderoso impacto emocional e social de se sentirem como se tivessem visto seus DJs favoritos ao vivo e vivenciado um festival real. Isto foi intensificado pelo barulho da multidão ao vivo – algo repetidamente mencionado como aumentando a autenticidade.

Além disso, usamos experiências baseadas em navegador para expandir o impacto. Embora a RV ofereça possibilidades interessantes, nem todo mundo possui um headset de RV, e a otimização para experiências baseadas em navegador acessadas por meio de laptops e dispositivos móveis garante que um público mais amplo possa participar, tornando a tecnologia mais relevante e inclusiva.

Reimaginando a conexão do público

Esses eventos combinam rádio e TV tradicionais ao vivo com experiências imersivas, para criar experiências híbridas que vão além dos espaços físicos. Trata-se de uma inovação pioneira, que estabelece novos padrões e reimagina o conteúdo da BBC de uma forma que realmente ressoe com o público nos espaços online, sociais e conectados e nos locais onde já vivem. O público pode explorar, interagir e sentir-se parte de uma comunidade enquanto os artistas são capturados de forma autêntica.

Continuamos aprendendo, experimentando e criando experiências imersivas que esperamos trazer para você em breve… a música é apenas o começo!