Solução de Modelos de Linguagem em Grande Escala (LLM) privados locais para a transição digital das empresas com foco na privacidade dos dados e otimização de processos

O projeto Edge AI tem como principal objetivo responder à crescente necessidade de privacidade, soberania e eficiência no uso de Modelos de Linguagem de Grande Escala (LLM) no contexto das pequenas e médias empresas (PME), promovendo a sua transição digital de forma sustentável e economicamente acessível. Para tal, a iniciativa assenta em cinco eixos estratégicos. Em primeiro lugar, pretende-se democratizar o acesso a LLMs privados e acessíveis, através do desenvolvimento de micro-servidores de inteligência artificial em ambiente edge, equipados com GPUs de consumo e sistemas de armazenamento robustos. Esta abordagem permitirá às PME adotar soluções avançadas de IA sem depender exclusivamente de serviços cloud internacionais, reduzindo custos variáveis, assegurando previsibilidade orçamental e reforçando a confiança no controlo e proteção dos dados. Em segundo lugar, o projeto visa investigar e desenvolver metodologias de afinação eficiente de LLMs, utilizando técnicas como LoRA, QLoRA e AdaLoRA, bem como estratégias de quantização (4-bit, GPTQ, AWQ). Estas tecnologias tornam possível a adaptação de modelos open-source de grande escala a contextos setoriais específicos, mantendo elevados níveis de precisão e diminuindo os requisitos computacionais, o que é fundamental para a realidade das PME. O terceiro objetivo consiste em desenvolver mecanismos de integração segura dos LLMs com dados empresariais locais, assegurando que toda a informação sensível permanece dentro da infraestrutura da própria empresa ou em ambientes VPN/privados. Para tal, serão exploradas soluções de segurança e compliance, incluindo isolamento de modelos, auditoria de acessos e mitigação de riscos como prompt injection, data poisoning e model stealing, garantindo o cumprimento do RGPD e de regulamentos setoriais. Em quarto lugar, o Edge AI procurará melhorar a eficiência energética da execução local dos LLMs, através da aplicação de técnicas inovadoras de early exit, reinforcement learning, batching e partilha de KV-cache. Estas abordagens visam otimizar a utilização de recursos, reduzir significativamente a latência (até 100ms em redes locais) e alcançar uma poupança energética entre 23% e 50% sem comprometer a qualidade das respostas. Por fim, o quinto objetivo é explorar o potencial de modelos LLM open-source de última geração (como LLaMA 3, Mistral, Qwen2.5 e DeepSeek) em aplicações empresariais de setores críticos, incluindo saúde, educação, seguros, finanças, consultoria e indústria. Através da criação de modelos especializados e adaptados ao vocabulário e requisitos de cada domínio, a solução permitirá às PME aceder a ferramentas de elevada sofisticação para automação de processos, análise documental, avaliação de risco e suporte inteligente à decisão, reforçando a sua inovação, resiliência digital e competitividade.