Pesquisadores da Universidade de Washington criaram um AI chamado Audeo que pode reproduzir música realista simplesmente analisando vídeos silenciosos de piano.
Agora, até a inteligência artificial é capaz de reproduzir digitalmente qualquer som de um piano de forma realista, simplesmente analisando um vídeo silencioso.
Uma equipe de pesquisadores da Universidade de Washington criou a inteligência artificial chamada Audeo que incorpora uma espécie de software inteligente previamente treinado com 172.000 frames de vídeo do pianista Paul Barton tocando música de compositores clássicos como Mozart ou Bach.
Audeo AI é capaz de tocar piano virtualmente
Simplesmente analisando um vídeo silencioso, o Audeo AI é capaz de aprender cuidadosamente quais teclas são pressionadas e em que ordem. Dessa forma, ele determina as notas individuais e sua disposição. Também é capaz de sentir com que força cada uma das teclas é tocada e por quanto tempo elas são pressionadas, o que permite calcular a intensidade de cada nota e quanto tempo ela permanece sob o som das notas tocadas posteriormente. Como se isso não bastasse, o AI também é capaz de compreender as características acústicas distintas dos pianos.
Esses dados são convertidos em um formato que pode ser entendido por um sintetizador digital e, quando esse sintetizador reproduz o arquivo de música, está muito próximo do som original do piano.
Em um de seus testes incríveis, o Audeo AI foi capaz de aprender uma música por meio de vídeos mudos do compositor Barton enquanto ele tocava peças musicais distintas.
Em seguida, aplicativos de reconhecimento de música como o SoundHound analisaram essas produções executadas pela inteligência artificial, sendo capazes de reconhecer a peça musical com uma precisão em torno de 86%. Para efeito de comparação, quando este aplicativo analisou o áudio de piano original, sua precisão de reconhecimento aumentou para 93%.
