Como funciona o Apple Music Sing

Com o lançamento do iOS 16.2, ficou disponível o recurso Sing no Apple Music, que permite controlar o volume dos vocais, além de trazer letras sincronizadas mais avançadas.

Como essa tecnologia realmente funciona nos bastidores? E por que o iPhone X, XR e XS não recebem o recurso? Saiba mais neste pequeno artigo.

Como poderia ter sido implementado

A Apple poderia executar todas as 100 milhões de faixas por meio de algoritmos especiais, remover os vocais delas e, em seguida, enviar uma cópia dessas faixas para seus servidores, mas sem os vocais. Isso aumentaria significativamente o espaço ocupado, tanto nos servidores da Apple Music quanto nos próprios dispositivos de escuta.

Então a empresa tomou um caminho diferente.

Como foi implementado

A Apple decidiu usar a energia diretamente do aparelho que solicita a versão karaokê da música. Com a atualização do iOS 16.2, o dispositivo ganha uma rede neural treinada que pode usar o poder do motor neural dentro do chip para transformar uma música comum em uma versão de karaokê.

Isso significa que mesmo aquelas músicas que já estão baixadas no dispositivo também receberão uma versão karaokê, sem ocupar espaço algum. A conversão da música ocorre diretamente ao clicar no botão “Karaokê”, no iPhone 13 este processo leva menos de um segundo.

Se a música estiver tocando no formato Dolby Atmos, quando você ativar o modo “cantar”, a música mudará para o formato estéreo. Se eles farão o contrário no futuro, por enquanto ainda não sabemos.

Quais são os prós e os contras desse processo?

Entre as vantagens estão as seguintes:

• O dispositivo não precisa de conexão com a Internet para baixar a versão “especial” de karaokê da música já que a versão karaokê da música
• A música não ocupa espaço no aparelho

Entre os pontos negativos estão os seguintes:

• É preciso um pouco mais de energia para “criar” uma versão de karaokê, pois os cálculos neurais ocorrem, o que é um processo que consome muita energia.
• Essas palavras podem ser confirmadas pelo fato de que, quando a função de economia de energia está ativada, o iPhone não permite que você ative a função de controle vocal. Mas você não deve se preocupar muito com a energia da bateria: os processadores modernos da Apple aprenderam há muito tempo a trabalhar com eficiência energética com cálculos para redes neurais.
  

Dispositivos mais antigos e dispositivos Android não terão esse recurso, pois ele possui requisitos de sistema bastante altos, principalmente devido a redes neurais.

É por isso que esse recurso estará disponível no iPhone 11 e superior, iPad Pro 11″ (3ª geração e superior), iPad Air (4ª geração e superior), iPad mini (6ª geração e superior), iPad (9ª geração e superior), de acordo com TechCrunch. Apple TV 4K (terceira geração e acima).

Aparentemente, dispositivos mais antigos (iPhone X, XR, XS) não são adequados para esse tipo de computação neural, pois gastariam muitos recursos na criação de versões de músicas em karaokê.