Data Synchronization Platform

No cenário atual, as organizações enfrentam desafios significativos na gestão e sincronização de dados entre diversos ambientes, como produção, pré-produção e desenvolvimento. A necessidade de testar aplicações com dados representativos e em volumes adequados é crucial para garantir a qualidade e a fiabilidade dos sistemas. Contudo, a transferência manual de dados de produção para outros ambientes é frequentemente morosa, propensa a erros e resulta em dados desatualizados, comprometendo a eficácia dos testes. Com as recentes evoluções na área da Inteligência Artificial (IA), têm sido propostos mecanismos robustos que potenciam a automatização de tarefas e o suporte à tomada de decisão. Em particular, as ferramentas de IA Generativa (GenAI), através das suas funcionalidades de análise automática de enormes volumes de dados em formato de texto não estruturado, poder de raciocínio, de generalização e de geração de texto, revelam enorme potencial para a automatização do processo de migração de dados (e.g., através da construção de pipelines ou análise de logs). A DataCentric, alinhada com a sua estratégia de inovação e com o apoio técnico científico do Centro de Computação Gráfica (CCG), visa um processo de I&D o qual derivará uma plataforma que combina capacidades avançadas de IA, anonimização de dados e integração de sistemas, oferecendo respostas concretas a lacunas identificadas neste anexo técnico e posicionando-se como uma referência no mercado, definindo os seguintes objetivos estratégicos para o desenvolvimento da Data Synchronization Platform: OE1 - Automatizar a Sincronização de Dados: Desenvolver e implementar uma solução que automatize a transferência de dados entre ambientes, reduzindo a intervenção manual e minimizando erros associados a processos manuais. OE2 - Assegurar a Atualização Contínua dos Dados: Garantir que os ambientes de teste disponham de dados atualizados e representativos, melhorando a qualidade dos testes e a fiabilidade das aplicações. OE3 - Implementar Mecanismos de Anonimização de Dados: Desenvolver uma solução que permita integrar funcionalidades de anonimização de dados sensíveis durante a migração, assegurando a conformidade com regulamentações de proteção de dados e mitigando riscos de exposição em ambientes não produtivos ao mesmo tempo que garantindo as idiossincrasias de dados reais, algo impossível de obter através de dados aleatórios. OE4 - Deteção e Resolução Automática de Falhas com Inteligência Artificial: Integrar um processo liderado por inteligência artificial na plataforma para detetar e resolver automaticamente falhas no processo de sincronização, proporcionando visibilidade ao utilizador final. Esta funcionalidade permitirá reduzir o esforço de resolução de problemas, diminuir a necessidade de conhecimento técnico especializado e aumentar a fiabilidade e disponibilidade do sistema. desenvolvimento. A execução do projeto Data Synchronization Platform, promovido pela Datacentric em parceria com o Centro de Computação Gráfica (CCG), assenta num plano técnico-científico sólido e multidisciplinar, que combina investigação aplicada, desenvolvimento experimental e validação prática de uma solução inovadora e escalável para a sincronização e gestão de dados empresariais. O projeto responde diretamente a desafios estruturais no domínio da replicação, anonimização e conformidade de dados sensíveis, num contexto em que as organizações operam ambientes heterogéneos (produção, pré-produção, desenvolvimento) com exigências crescentes em termos de eficiência, segurança e compliance regulatório. A Data Synchronization Platform posiciona-se como uma resposta disruptiva a um conjunto de limitações das soluções atualmente disponíveis. Concorrentes como Debezium, Qlik Replicate, Apache NiFi, Sqoop e Fivetran, apesar de apresentarem valências técnicas relevantes em tarefas específicas — como replicação de dados em tempo real, ingestão de dados distribuída ou pipelines de ETL — não integram funcionalidades nativas de anonimização avançada nem sistemas de deteção e resolução automática de falhas com inteligência artificial, o que limita a sua aplicabilidade em contextos críticos onde a conformidade com o RGPD e a resiliência operacional são fundamentais. O projeto contribuirá significativamente para o avanço científico e tecnológico, com impacto direto no estado da arte em áreas como: - Anonimização de dados sensíveis: Desenvolvimento de novas técnicas híbridas que combinam anonimização estatística com algoritmos de machine learning para criar dados sintéticos altamente fiéis aos originais. - Monitorização baseada em IA: Aplicação de IA generativa para analisar logs e sugerir soluções em tempo real, introduzindo um paradigma inovador na deteção e resolução automática de falhas. - Interoperabilidade de Sistemas: Proposta de arquiteturas que facilitam a integração de sistemas heterogéneos, com foco em escalabilidade e flexibilidade.