📋 Foro de Discusión: Ciclo de Vida y Gestión de Modelos de Machine Learning

Perspectiva de Ingeniería de Sistemas y Derecho Aplicada al Sector Justicia

Autor: Alexander Oviedo Fadul
Curso: Machine Learning Avanzado (NRC-8772) | Grupo 10: M. F. Ruiz, N. S. Jaller, W. D. Obando, Y. S. Vizcaino

Estimado profesor y compañeros, es un gusto saludarlos. Comparto a nombre de nuestro equipo las reflexiones y respuestas técnicas correspondientes a esta semana. En el desarrollo de sistemas inteligentes, a menudo nos deslumbra la matemática del algoritmo; sin embargo, en la práctica profesional, he comprobado que el éxito real depende de la disciplina con la que se gestiona todo su ciclo de vida. Desde mi experiencia híbrida en ingeniería de sistemas y derecho —especialmente en el diseño del modelo MARDUK para el análisis penal en la Rama Judicial—, les presento nuestro análisis de las fases, los desafíos y las estrategias de monitoreo en producción.

1. Etapas críticas y traducción a necesidades de negocio

Tradicionalmente se ha usado la metodología CRISP-DM para estructurar proyectos de datos, pero la industria moderna exige marcos más holísticos con aseguramiento de calidad continua como CRISP-ML(Q) (Studer et al., 2021). A mi juicio, hay dos fases que definen el fracaso o éxito rotundo de un proyecto en producción:

Definición del Problema (Negocio): Consiste en traducir una necesidad vaga (ej. "automatizar la clasificación de tutelas en juzgados") en una tarea de modelado concreta (clasificación multietiqueta con umbrales de confianza mínimos). Si fallamos aquí, terminaremos construyendo un modelo técnicamente impecable, pero completamente inútil para la operación del despacho.
Preparación y preprocesamiento de datos: En el contexto judicial, la información útil está sepultada en PDFs escaneados, audios de audiencias públicas y textos con sintaxis informal. Limpiar estos datos, aplicar OCR de calidad y anonimizar datos sensibles sin romper la semántica consume cerca del 80% del tiempo de desarrollo, pero es lo que nutre de combustible limpio al modelo.

Al comprender cada etapa, aseguramos que el modelo cumpla con las restricciones reales: en la Rama Judicial, la exactitud no es el único fin; la explicabilidad del porqué el modelo clasifica una tutela de cierta forma es oro puro para salvaguardar el debido proceso (Arias et al., 2019).

2. Desafíos comunes y mejores prácticas metodológicas

En cada una de estas etapas nos enfrentamos a trampas invisibles. Por ejemplo, en la preparación de datos, la **fuga de información** (data leakage) ocurre frecuentemente si normalizamos o vectorizamos la entrada a nivel global antes de separar los subconjuntos de datos. El algoritmo "ve" información del set de prueba en el entrenamiento y arroja métricas falsamente optimistas. La mejor práctica para contrarrestarlo es encapsular todas las transformaciones en pipelines estrictos (utilizando herramientas como `Pipeline` de scikit-learn), garantizando que el split ocurra al inicio y las transformaciones se "ajusten" exclusivamente con datos de entrenamiento.

Otro desafío es el sobreajuste (*overfitting*). Lo combatimos empezando siempre por un *baseline* simple y altamente interpretable (como una regresión logística o un árbol de decisión básico) y utilizando validación cruzada estratificada si las clases están desbalanceadas (como en delitos de baja ocurrencia). Por último, la documentación automatizada de los experimentos (hiperparámetros, métricas y datos) con herramientas de versionado como **MLflow** no es un trámite formal; es la única garantía de reproducibilidad que tenemos ante auditorías públicas.

3. Evaluación, monitoreo continuo y el reto del cambio

Un modelo no es un producto terminado, sino un sistema dinámico. En producción ocurre el fenómeno de **Data Drift** (el volumen o el tipo de datos cambia, alterando $P(X)$) y **Concept Drift** (cambia la relación entre variables, es decir, $P(Y|X)$). En el derecho esto es pan de cada día: si se modifica una ley o si la Corte emite una sentencia unificada, la interpretación jurídica de las variables del expediente cambia radicalmente.

Para contrarrestar esta degradación natural del modelo, implementamos:

Monitoreo de discrepancia humana: Rastrear si los jueces o secretarios judiciales rechazan constantemente la clasificación sugerida por el modelo. Esto nos da la primera señal de un *concept drift*.
Continuous Training (CT): Automatizar el reentrenamiento controlado utilizando ventanas deslizantes de datos recientes previamente auditados por expertos.
Auditorías de Equidad (*Fairness Auditing*): Verificar en el monitoreo que los nuevos datos no inyecten sesgos geográficos o socioeconómicos discriminatorios al reentrenar.

Como advierten Gupta y Mangla (2020), la representación del conocimiento no es estática; si no estructuramos bucles de retroalimentación que actualicen cómo el modelo "entiende" el entorno, las predicciones perderán validez teórica y práctica con gran rapidez.

📚 Referencias Bibliográficas

Arias, V., et al. (2019). Una introducción a las aplicaciones de la inteligencia artificial en Medicina: Aspectos históricos. Revista Latinoamericana de Hipertensión, 14(5), 589-609.

Bi, Q., Goodman, K. E., Kaminsky, J., & Lessler, J. (2019). What is Machine Learning? A Primer for the Epidemiologist. American Journal of Epidemiology, 188(12), 2222-2239. https://doi.org/10.1093/aje/kwz189

Gupta, N., & Mangla, R. (2020). Artificial Intelligence Basics: A Self-Teaching Introduction. Mercury Learning and Information.

Studer, S., Bui, T. B., Drescher, C., Hanuschkin, A., Winkler, L., Peters, S., & Müller, K. R. (2021). Towards CRISP-ML(Q): A machine learning process model with quality assurance methodology. Machine Learning and Knowledge Extraction, 3(2), 392-413. https://doi.org/10.3390/make3020020