Análisis de sentimientos y triaje de tickets

Procesamiento de Lenguaje Natural · Semana 5

27 de julio de 2026 · NRC-8774 · 2 entregables

El docente compartió 3 cuadernos y informes esta semana. No los subo: son suyos.

De qué iba

El reporte lo armé en dos partes. La primera fue el análisis de sentimientos que pedía el enunciado: entrené un Naive Bayes multinomial sobre TF-IDF con las 2.000 reseñas de movie_reviews de NLTK, con partición 75/25 estratificada y semilla 42, y lo contrasté con TextBlob. La segunda la enganché con el caso de Nexo Digital que la profesora presentó en clase: clasifiqué 150 tickets de soporte en cinco colas y comparé TF-IDF de palabras contra n-gramas de caracteres de 3 a 5. Terminé probando ocho umbrales de confianza para decidir cuándo el modelo clasifica solo y cuándo el ticket pasa a una persona.

  • Naive Bayes con TF-IDF sobre movie_reviews: 0.830 de accuracy, 0.830 de macro-F1 y 0.827 ± 0.004 en validación cruzada de 5 particiones
  • TextBlob quedó muy por debajo: 0.645 de accuracy y 0.500 de macro-F1, con recall de apenas 0.132 en la clase negativa
  • En los tickets, cambiar TF-IDF de palabras por n-gramas de caracteres 3-5 subió el F1-macro de 0.691 a 0.822
  • Con umbral de 0.45 el modelo clasifica solo el 70 % de los tickets con 91,4 % de acierto y deriva 45 a revisión humana

Lo que costó. Comparar TextBlob con Naive Bayes no salió derecho: TextBlob me marcó 1.434 reseñas como positivas y otras 478 como neutras, sobre un corpus perfectamente balanceado de 1.000 y 1.000. Tuve que excluir los neutros para que la comparación fuera pareja y, aun así, quedó en 0.645 contra 0.830.

Qué pedían

El enunciado y la rúbrica, tal cual los publicaron.

MA Evaluación 5.pdfdocumento · 132,1 KB
MA Semana 5_ NRC-8774-Procesamiento Natural Lenguaje.pdfdocumento · 324,3 KB
Procesamiento Natural del Lenguaje_S5_Reporte de practica_CE_24032023.pdfdocumento · 300,4 KB

Qué entregué

Lo que salió de esa semana.

Oviedo_Alexander_Reporte_S5_PNL.docxinforme · 39,5 KB · 1 192 palabras
Oviedo_Alexander_Reporte_S5_PNL.ipynbcuaderno · 62,5 KB · 41 celdas

El examen de la semana

Los puntos extra eran cuestionarios opcionales que sumaban a la nota. Cuento de qué iban; las respuestas no las publico.

Lo que usé por el camino

Notas sueltas, datos y código de apoyo.

generar_notebook_s5.pyscript · 39,8 KB
generar_reporte_s5.pyscript · 14,1 KB
tickets_soporte.csvconjunto de datos · 9,2 KB

Seguir leyendo

Esa misma semana, en las otras materias: