DevOps e MLOps

Treinar um modelo é a parte visível. O que consome tempo e orçamento é tudo o resto: reproduzir o treino daqui a seis meses, servir a inferência com latência aceitável, perceber porque é que a qualidade caiu, e não gastar uma fortuna em GPUs paradas.

É essa camada que montamos — para modelos seus e para integrações com modelos de terceiros — de forma a que a operação não dependa da memória de uma pessoa.

Os pipelines de treino ficam descritos em código, com datasets e modelos versionados. Qualquer experiência é reproduzível e comparável com as anteriores, o que evita a discussão sobre qual das versões era a boa.

Do lado da inferência, tratamos do dimensionamento de GPU, do escalamento automático, do cache de pedidos repetidos e dos limites de custo. E instrumentamos tudo: latência, taxa de erro, custo por pedido e degradação da qualidade ao longo do tempo.

O que fazemos

• Pipelines de treino reproduzíveis e versionamento de datasets
• Registo de modelos e promoção entre ambientes
• Servir inferência com escalamento automático e cache
• Gestão de GPU e otimização de custos
• Monitorização de latência, custo, erros e drift de qualidade
• CI/CD para aplicações e para modelos, com rollback

Principais benefícios

• Passar do protótipo a produção sem reescrever tudo
• Custos de GPU visíveis e travados
• Reverter para a versão anterior do modelo num comando
• Saber que a qualidade caiu antes de o cliente reclamar
• Ambientes recriáveis a partir do código

Quando faz sentido

• Pôr em produção um modelo que hoje só corre num notebook
• Reduzir a fatura de inferência de um produto já lançado
• Automatizar o retreino com dados novos
• Montar staging e rollback para libertações de modelo
• Migrar cargas de GPU para uma região europeia

Tecnologias que usamos

Kubernetes · Docker · Terraform · MLflow · AWS

Porquê a devcave

Fazemos DevOps clássico e MLOps na mesma equipa. Não há um fornecedor para a infraestrutura e outro para o modelo a atirarem culpas um ao outro quando algo falha às três da manhã.