Solução de Dobragem Automática

Face às lacunas e oportunidades tecnológicas encontradas e tendo em conta o conhecimento técnico que a VoiceInteraction possui no próprio setor, a empresa pretende no âmbito do projeto ADS desenvolver um sistema automatizado para a dobragem de conteúdos audiovisuais, com especial foco na experiência do utilizador. Os objetivos deste projeto encontram-se descritos de seguida: 1. Desenvolvimento de uma componente de Extração e Transcrição: Este objetivo visa a implementação de uma componente inteligente capaz de transcrever o áudio para texto. No que respeita à extração, inclui quer o áudio em si (para transcrição), como toda a metadata associada ao ficheiro que vai permitir, entre outros, identificar os oradores, emoções, contextos, pausas, entoações e reprodução da voz original. O desenvolvimento técnico incidirá na utilização de técnicas avançadas de Processamento de Língua Natural (PLN) e algoritmos associados a Automatic Speech Recognition (ASR) e Speech-To-Text (STT). 2. Desenvolvimento de uma componente de Tradução: O objetivo deste componente é desenvolver uma solução que permita a tradução eficiente de diálogos, considerando o contexto e o conhecimento cultural de cada cena. Esta tradução será realizada com o auxílio de tecnologias de PLN, machine e deep learning. Para o efeito, pretende-se também desenvolver um mecanismo capaz de avaliar se o conteúdo traduzido respeita a métrica temporal do conteúdo original, de forma a otimizar o sincronismo (e consequentemente uma melhor experiência de utilização). 3. Desenvolvimento de uma componente de Dobragem: Este objetivo visa o desenvolvimento de ferramentas que permitam dobrar eficazmente os textos traduzidos, atendendo à metadata extraída, de forma a garantir sincronismo entre áudio e imagem. Pretende-se, assim, desenvolver um sistema de dobragem, totalmente automático e focado na experiência do utilizador. Para tal, a solução deverá ser capaz de reproduzir vozes semelhantes à original. Assim, serão definidos modelos que permitam criar vozes no novo idioma com base nas características recolhidas da voz original e adaptar as vozes a diversas entoações, emoções e sotaques (através de Speech Morphing). De seguida, o áudio produzido será associado com a parte visual do filme, através de tecnologia Texto-To-Speech (TTS) e será garantida a sincronização do áudio com a imagem. Para esse efeito, será tido em atenção o número de sílabas e o tempo da fala, de forma a minimizar o processo de edição final e avaliar a qualidade do conteúdo dobrado. Algoritmos de IA serão também analisados por forma a criar um sistema de decisão que garanta a qualidade do resultado da dobragem. Caso não seja aprovado, reencaminha-se automaticamente a informação para a componente anterior para iniciar um novo processo de tradução. 4. Desenvolvimento de uma Plataforma de Dobragem Automática: Este objetivo está associado à conceção, desenvolvimento e integração da plataforma ADS que vai suportar todo o pipeline de operações relativos ao processo de dobragem automática (permitindo acelerar os procedimentos atuais e garantir a qualidade dos resultados). Este objetivo compreende a construção e integração em protótipo dos componentes associados às etapas de transcrição, tradução e dobragem (referidas anteriormente) e que, conjuntamente, darão origem à plataforma ADS.