Binaural Multidistância Contínuo e Personalizado - Exploração de tecnologia binaural personalizada com multidistância contínua

O projeto "Binaural Multidistância Contínuo e Personalizado" nasceu da necessidade de transformar a forma como a perceção sonora 3D é criada e experienciada. Atualmente, a tecnologia binaural permite uma espacialização sonora imersiva, mas ainda apresenta limitações, sobretudo na forma como a distância das fontes sonoras é representada. Quem já experimentou som binaural sabe o quão imersivo pode ser, mas há uma questão que continua por resolver: a forma como a distância das fontes sonoras é percebida. Na realidade, quando ouvimos um som, conseguimos distinguir não apenas de onde ele vem, mas também quão perto ou longe está, mas os sistemas atuais ainda não reproduzem esta perceção de forma convincente, resultando em experiências auditivas que, apesar de impressionantes, não são totalmente realistas. É neste âmbito que este projeto pretende atuar, desenvolvendo uma solução inovadora, i.e. software, que permita uma transição fluida e natural entre diferentes distâncias sonoras, tornando a experiência auditiva mais realista e adaptada ao ouvinte. Para alcançar este objetivo maior, o projeto propõe-se a quatro objetivos parcelares: a) Tecnologia binaural multidistância contínua e personalizada: Será conseguido por via de um workflow metodológico suportado em visão computacional, física computacional e deep learning (IA), utilizando e expandindo o conhecimento já patenteado pela SP nos EUA. Através de scanners 3D de alta precisão, serão digitalizadas orelhas de voluntários para criar modelos digitais, permitindo a determinação das Head Related Transfer Functions (HRTFs) através da modelação matemática Boundary Element Method (BEM). A partir destas simulações, será gerado um filtro Finite Impulse Response (FIR), ajustado para eliminar a coloração introduzida pelos headphones. A validação será feita por comparação de modelos computacionais e medições reais em câmara anecoica. Devido ao tempo exigido para cada modelação, o processo será otimizado com deep learning, otimizando, também, o time-to-market da solução. O workflow terminará com a avaliação da perceção da direção e distância do som, testada em ambiente laboratorial, assegurando a precisão da personalização binaural. b) Ferramentas de tradução binaural para auxiliar a composição musical e/ou sonora Pretende-se desenvolver um protótipo funcional de um plugin para DAWs que permita a personalização de HRTFs e compor cenas de áudio 3D multidistância. Dado que o binaural tem um impacto profundo no entretenimento, será adotado um processo de design thinking para a conceção de novas ferramentas criativas para espacialização sonora binaural multidistância. O objetivo será alcançado perante uma avaliação em ambiente de utilização similar ao real (tipicamente estúdio de produção áudio), assim como a sua demonstração junto de importantes stakeholders. c) Processo de registo de referências de áudio em câmara anecoica Este objetivo centra-se na implementação de um setup experimental em câmara anecoica, com medições realizadas por uma entidade acreditada. O objetivo é garantir a reprodutibilidade dos procedimentos em ambientes laboratoriais semelhantes e assegurar medições de HRTFs de elevada qualidade. Para maior flexibilidade, serão utilizados manequins ao invés de indivíduos reais, evitando a necessidade de imobilidade prolongada. O processo de criação de orelhas artificiais será otimizado para garantir fidelidade dimensional e acústica. d) Processo de medição de satisfação de solução binaural multidistância contínua e personalizada Este objetivo será atingido através da identificação de técnicas psicoacústicas e do desenvolvimento de um questionário que permita avaliar a satisfação dos utilizadores em condições experimentais específicas. A personalização será feita utilizando scanners 3D, gerando um dataset com, pelo menos, 30 indivíduos e a medição será realizada com a ajuda de áudios criados com base num plugin específico, em que cada participante avaliará os sons através de um referencial psicoacústico. O processo será desenvolvido em iterações: aplicação do processo, análise dos seus resultados, identificação e aplicação de melhorias, e os resultados das 30 avaliações servirão como base para a evolução da tecnologia. No que respeita aos objetivos comerciais, a SP objetiva atingir: -em 2028, 0,015% do SAM (Serviceable Available Market), correspondendo a cerca de 450 mil dólares; -em 2029, 0,030% do SAM, correspondendo a cerca de 900 mil dólares; -em 2030, 0,045% do SAM correspondendo a aproximadamente 1,350 mil dólares.