AI-driven tools@AV: I&D de ferramentas avançadas para novos serviços no setor audiovisual

O projeto contempla a concretização de investigação científica, centrado nos seguintes objetivos de I&D e respetivos objetivos SMART: 1)I&D de sistema para deteção volumétrica no rigging: -Criação de uma framework, e biblioteca de referências visuais ou modelos 3D sobre a anatomia e características dos personagens ou objetos alvo de rig. -Garantir a automatização do processo de rig em 50%, face aos processos atuais, e gerar um nível de precisão dos modelos em cerca de 80%, nos projetos de animação 3D. 2)Conceção de mecanismo inteligente para lip sync -Criação de rede neuronal com nível de precisão de 70% ao nível dos pontos de referência faciais derivados apenas do discurso áudio. -Demonstrar a sincronização de alta qualidade e natural entre a linguagem falada e os movimentos faciais animados. 3)I&D do processo de clean-ups e rotoscopia -Desenvolvimento de modelos avançados de ML, que permitam um nível de automação na deteção de objetos, em cerca de 70%. -Desenvolvimento de modelos avançados de ML, que permitam um nível de automação e aceleração do processo de segmentação semântica de imagens na ordem dos 60%. 4)Desenvolvimento tecnológico do pipeline de VFX: -Demonstrar em 2 projetos piloto, a automatização integral do pipeline desde a fase de produção ao output da pós-produção. -Demonstração do aumento de eficiência da capacidade do workflow de produção em 20%, face ao processo atual. Para demonstrar os impactos do projeto é pertinente considerar o seu enquadramento em diferentes âmbitos: 1)Âmbito Científico e Tecnológico: a)Nas diferentes vertentes, o projeto envolve a investigação de diferentes abordagens e criação de novo conhecimento científico para o setor audiovisual. A combinação de algoritmos de machine learning ou deep learning, contribuirá para geração de ferramentas tecnológicas inovadoras para os processos de VFX e animação 3D; b)Disseminação dos resultados de I&D por meio de publicações e participação em eventos internacionais. 2)Âmbito Empresarial: a)Ao longo do projeto, está previsto a colaboração da NU BOYANA com algumas entidades, destacando-se a colaboração com a empresa internacional Pixel Nexus, aproximando o conhecimento gerado e as novidades tecnológicas no setor das TIC às necessidades das empresas; b)O Projeto vai ainda alavancar a atividade da NU BOYANA, para um outro patamar de competitividade, refletindo assim em novas oportunidades de negócio para produções globais com IP própria. 3)Âmbito Comercial: a)O projeto contribui para a geração de novos serviços para segmentos como cartooning, gaming e produções virtuais, assim como novas oportunidades no setor de produção de VFX e de animação. b)A NU BOYANA estimulará as suas vendas (nacionais e internacionais), aumentará a notoriedade e posicionar-se-á como uma empresa capaz de responder ao nível da procura crescente por conteúdos mais realistas e imersivos. 4)Âmbito da Sustentabilidade: os outputs gerados no âmbito do projeto, contribuirão para a automação e otimização dos processos no setor da pós-produção, contribuindo para aumento de eficiência de processos e redução dos custos. O projeto contribui ainda para as premissas do programa Europa Digital, ao promover a geração de ferramentas tecnológicas, as quais facilitarão a transição digital e sustentabilidade do setor audiovisual.