# Guía de Estudio y Aportes para el Foro: Ciclo de Vida y Gestión de Modelos de Machine Learning Este documento compila y sintetiza la información relevante para resolver la actividad del foro de la **Semana 4** de **Machine Learning Avanzado (NRC-8772)**. Integra los conceptos fundamentales discutidos en la clase presencial (sesión sincrónica del 30 de mayo de 2026), las lecturas asignadas, la discusión sobre deuda técnica de Sculley et al. (2015), y las participaciones de los compañeros para estructurar una base teórica y práctica robusta adaptada al perfil del autor. --- ## 1. Síntesis de Conceptos Clave (Clase y Recursos) ### A. Ciclo de Vida de Machine Learning: De CRISP-DM a CRISP-ML(Q) * **CRISP-DM:** Proceso clásico de minería de datos estructurado en 6 fases: Comprensión del negocio, Comprensión de los datos, Preparación de datos, Modelado, Evaluación y Despliegue. Tiene la limitación de concebir el proyecto de forma lineal y con poca atención al ciclo posterior al despliegue. * **CRISP-ML(Q):** Evolución metodológica propuesta por Studer et al. (2021) que introduce puertas de aseguramiento de calidad (*quality assurance*) entre fases y añade una séptima etapa crítica: **Monitoreo y Mantenimiento**. * **MLOps (Machine Learning Operations):** Prácticas de ingeniería de software aplicadas a ML para automatizar y hacer replicable todo el ciclo de vida (CI/CD/CT). Involucra control de versiones de código y de datos (DVC), orquestación de pipelines y gobernanza. ### B. Desajustes en Producción: Data Drift y Concept Drift Una vez desplegado, el rendimiento de un modelo tiende a degradarse porque los datos del mundo real cambian respecto al conjunto de entrenamiento: * **Covariate Shift (Data Drift):** Cambios en la distribución de probabilidad de las variables de entrada, $P(X)$, mientras que la relación con la salida se mantiene. *Ejemplo en justicia:* Un aumento abrupto de tutelas en salud tras una reforma legislativa (cambia la mezcla y volumen de entradas). * **Concept Drift:** Cambios en la relación funcional entre las variables de entrada y la variable objetivo, $P(Y|X)$. *Ejemplo en justicia:* Nuevos criterios jurisprudenciales de la Corte Constitucional que hacen que un caso que antes se clasificaba como "Improcedente" ahora sea "Procedente" bajo las mismas variables. ### C. La Deuda Técnica Oculta en Sistemas de Machine Learning * Según **Sculley et al. (2015) (Google)**, en un sistema de ML en producción, el código del modelo propiamente dicho representa apenas una pequeña fracción (a menudo menos del 5% del código total). El 95% restante es "código de fontanería" o infraestructura: recolección de datos, verificación, extracción de características, configuración, herramientas de análisis, gestión de recursos y monitoreo. * Esto introduce **deuda técnica oculta** muy costosa de pagar si no se cuenta con un diseño modular y reproducible. Las organizaciones suelen caer en el *overengineering* (sobreingeniería) al implementar plataformas MLOps excesivamente complejas para modelos cuya tasa de cambio es baja, violando el principio de proporcionalidad. --- ## 2. Respuestas Técnicas a las Preguntas Detonadoras (Perspectiva de Alexander Oviedo) ### Pregunta 1: ¿Cuáles son las etapas críticas en el ciclo de vida de los modelos de Machine Learning y cómo la comprensión y aplicación efectiva de cada etapa puede ayudarnos a crear modelos de alta calidad y rendimiento que satisfagan determinadas necesidades de negocio? Desde la perspectiva de la **Rama Judicial de Colombia** y el co-diseño del sistema **MARDUK** (modelo de analítica para predicción o clasificación en derecho penal), las etapas críticas del ciclo de vida no se limitan a la selección del algoritmo, sino a las fases fronterizas: 1. **Definición del Problema (Comprensión del Negocio):** Es la más crítica porque traduce una necesidad legal/administrativa (por ejemplo, reducir el represamiento de tutelas de salud) en una tarea formal de ML (clasificación multietiqueta del derecho vulnerado). Si este planteamiento inicial es ambiguo, el modelo resultante carecerá de validez institucional y legal, sin importar su exactitud técnica. 2. **Preparación y Limpieza de Datos:** Los expedientes judiciales en Colombia suelen estar en formatos no estructurados (PDFs escaneados, actas de audiencias en audio, textos con lenguaje no estandarizado). El preprocesamiento (OCR, normalización, tokenización, remoción de ruidos) determina la calidad del entrenamiento. Un preprocesamiento deficiente inyectará sesgos históricos al algoritmo. 3. **Evaluación Multidimensional:** No basta con medir la exactitud global (*Accuracy*). En el ámbito judicial, un error de clasificación puede vulnerar derechos fundamentales (como la libertad o el debido proceso). Por ello, es imperativo evaluar la matriz de confusión, identificando tasas de falsos positivos y falsos negativos, y garantizando la **explicabilidad del modelo** para cumplir con el requisito constitucional de motivación de las decisiones de autoridad. 4. **Monitoreo y Mantenimiento:** La ley y la jurisprudencia evolucionan constantemente en Colombia. Un modelo estático quedará obsoleto ante un nuevo precedente de las Altas Cortes, requiriendo un canal claro de monitoreo continuo para detectar *concept drift* legal. --- ### Pregunta 2: ¿Cómo se pueden abordar los desafíos comunes en las diferentes etapas del ciclo de vida de los modelos de Machine Learning, y cuáles son las mejores prácticas para garantizar la calidad y eficacia de los modelos? Los desafíos se pueden mitigar mediante la aplicación rigurosa de buenas prácticas de ingeniería y principios de gobernanza de datos: * **Fugas de Información (*Data Leakage*):** Ocurren al aplicar transformaciones globales (escalamientos, imputaciones, vectorizaciones TF-IDF) antes de dividir los conjuntos de datos en entrenamiento y prueba. **Solución:** Construir pipelines herméticos (usando `Pipeline` de scikit-learn o equivalentes) de modo que las transformaciones se "ajusten" únicamente con el conjunto de entrenamiento y se apliquen de forma pasiva en validación/prueba. * **Sobreajuste (*Overfitting*):** Abordado mediante validación cruzada estratificada (especialmente útil en clases desbalanceadas como delitos poco comunes) y el uso de modelos baselines más simples e interpretables (árboles de decisión o regresiones logísticas) antes de escalar a arquitecturas complejas de Deep Learning. * **Desalineación entre Métricas Técnicas y de Negocio:** La métrica técnica (p. ej., F1-Score) debe ligarse a un indicador de eficiencia de negocio (p. ej., reducción del tiempo de asignación de expedientes de 5 días a 10 minutos). * **Gobernanza y Documentación:** Registrar meticulosamente cada experimento (hiperparámetros, datasets, métricas) utilizando herramientas como MLflow. En el contexto público, la trazabilidad es indispensable para superar auditorías y garantizar la transparencia del algoritmo ante los ciudadanos. --- ### Pregunta 3: ¿Qué papel juega la evaluación y el monitoreo continuo en el ciclo de vida de los modelos de Machine Learning, y cómo podemos garantizar que los modelos sigan siendo precisos y relevantes a medida que cambian los datos y los requisitos de negocio? El monitoreo continuo actúa como el sistema de alerta temprana ante la degradación inevitable del modelo en producción. Para asegurar su relevancia y precisión en el tiempo, se proponen cuatro estrategias: 1. **Detección de Data Drift (Deriva de Datos):** Evaluar periódicamente si la distribución de los expedientes nuevos ha cambiado mediante pruebas estadísticas (como Kolmogorov-Smirnov o el Índice de Estabilidad de Población - PSI) sobre las variables predictivas más importantes. 2. **Detección de Concept Drift (Deriva de Concepto):** Monitorear la concordancia entre las sugerencias del modelo y la decisión final del funcionario judicial. Si la tasa de discrepancia aumenta de manera sostenida, indica un cambio en el criterio humano o normativo. 3. **Continuous Training (CT):** Implementar pipelines automatizados que faciliten el reentrenamiento del modelo utilizando los datos más recientes validados por los expertos temáticos, sin interrumpir el servicio de inferencia local. 4. **Auditorías de Equidad (*Fairness Auditing*) y Explicabilidad:** Vigilar que los reentrenamientos no amplifiquen sesgos discriminatorios en contra de poblaciones vulnerables y que la toma de decisiones basada en IA se mantenga interpretable para cumplir con el debido proceso judicial. --- ## 3. Referencias Bibliográficas (Normativa APA 7) * Arias, V., et al. (2019). Una introducción a las aplicaciones de la inteligencia artificial en Medicina: Aspectos históricos. *Revista Latinoamericana de Hipertensión*, 14(5), 589-609. * Bi, Q., Goodman, K. E., Kaminsky, J., & Lessler, J. (2019). What is Machine Learning? A Primer for the Epidemiologist. *American Journal of Epidemiology*, 188(12), 2222-2239. https://doi.org/10.1093/aje/kwz189 * Gupta, N., & Mangla, R. (2020). *Artificial Intelligence Basics: A Self-Teaching Introduction*. Mercury Learning and Information. * Sculley, D., Holt, G., Golovin, D., Davydov, E., Phillips, T., Ebner, D., Chaudhary, V., Young, M., Crespo, J. F., & Dennison, D. (2015). Hidden technical debt in machine learning systems. *Advances in Neural Information Processing Systems*, 28, 2503-2511. * Studer, S., Bui, T. B., Drescher, C., Hanuschkin, A., Winkler, L., Peters, S., & Müller, K. R. (2021). Towards CRISP-ML(Q): A machine learning process model with quality assurance methodology. *Machine Learning and Knowledge Extraction*, 3(2), 392-413. https://doi.org/10.3390/make3020020