RNN con Keras y el quiz de puntos extra

De qué iba

Usé esta semana para meterme de verdad en las recurrentes con Keras. Trabajé un cuaderno que va de Embedding más LSTM hasta return_sequences, return_state, el esquema encoder-decoder y las capas bidireccionales, y lo cerré con un entrenamiento de verdad: MNIST leída como secuencia de 28 pasos, una fila de píxeles por paso. Veinte épocas con una LSTM de 64 unidades, BatchNormalization y una Dense de salida. Después comparé SimpleRNN, GRU y LSTM con una sola época cada una para ver qué cuesta cada arquitectura. Del quiz de puntos extra hice los dos intentos permitidos.

• Entrené una LSTM de 64 unidades sobre MNIST tratada como secuencia de 28 pasos: 24.714 parámetros y 0.9867 de accuracy en validación al cerrar las 20 épocas
• Comparé las tres arquitecturas en una época: SimpleRNN 0.9075 con 6.858 parámetros, GRU 0.9551 con 18.954 y LSTM 0.9532 con 24.714
• Resolví y documenté los dos quices de puntos extra de la semana, sobre la arquitectura de un sistema de PLN, traducción automática y chatbots

Lo que costó. La que más me costó fue la pregunta sobre si la traducción automática busca interpretar el mensaje igual que un humano. Volví sobre ella, revisé lo que había respondido y dejé la justificación escrita antes de enviar. Aun así, en el segundo intento me siguió pareciendo la más difícil del cuestionario.

El examen de la semana

Los puntos extra eran cuestionarios opcionales que sumaban a la nota. Cuento de qué iban; las respuestas no las publico.

Seguir leyendo

Esa misma semana, en las otras materias: