DevOps y MLOps

Entrenar un modelo es la parte visible. Lo que consume tiempo y presupuesto es todo lo demás: reproducir ese entrenamiento seis meses después, servir la inferencia con una latencia aceptable, entender por qué cayó la calidad y no quemar una fortuna en GPU paradas.

Esa es la capa que montamos, para modelos propios y para integraciones con modelos de terceros, de forma que la operación no dependa de la memoria de una persona.

Los pipelines de entrenamiento quedan descritos en código, con conjuntos de datos y modelos versionados. Cualquier experimento es reproducible y comparable con los anteriores, lo que zanja la discusión sobre cuál era la versión buena.

En la inferencia nos ocupamos del dimensionado de GPU, el escalado automático, la caché de peticiones repetidas y los topes de coste. Y lo instrumentamos todo: latencia, tasa de error, coste por petición y degradación de la calidad con el tiempo.

Qué hacemos

• Pipelines de entrenamiento reproducibles y versionado de datos
• Registro de modelos y promoción entre entornos
• Servir inferencia con escalado automático y caché
• Gestión de GPU y optimización de costes
• Monitorización de latencia, coste, errores y drift de calidad
• CI/CD para aplicaciones y para modelos, con vuelta atrás

Principales beneficios

• Pasar del prototipo a producción sin reescribirlo todo
• Costes de GPU visibles y limitados
• Volver a la versión anterior del modelo con un comando
• Saber que la calidad ha caído antes de que el cliente se queje
• Entornos recreables a partir del código

Cuándo tiene sentido

• Poner en producción un modelo que hoy solo corre en un notebook
• Reducir la factura de inferencia de un producto ya lanzado
• Automatizar el reentrenamiento según llegan datos nuevos
• Montar preproducción y vuelta atrás para publicar modelos
• Migrar cargas de GPU a una región europea

Tecnologías que usamos

Kubernetes · Docker · Terraform · MLflow · AWS

Por qué devcave

Hacemos DevOps clásico y MLOps en el mismo equipo. No hay un proveedor de infraestructura y otro de modelo echándose la culpa cuando algo falla a las tres de la mañana.