Taller: Aprendizaje No Supervisado¶

# ==============================================================================
# INSTALACION DE DEPENDENCIAS
# ==============================================================================
# En Colab la mayoria ya vienen, pero prefiero asegurarme.
# Una vez me fallo un notebook porque asumi que sklearn estaba actualizado.

!pip install numpy pandas matplotlib seaborn scikit-learn --quiet

print("Librerias instaladas correctamente.")

# ==============================================================================
# IMPORTACION DE LIBRERIAS
# ==============================================================================

# NumPy: la base. Arreglos y operaciones matematicas.
import numpy as np

# Pandas: mi herramienta favorita para datos tabulares.
import pandas as pd

# Matplotlib y Seaborn: graficos. Seaborn para explorar, Matplotlib para pulir.
import matplotlib.pyplot as plt
import seaborn as sns

# Scikit-learn: el corazon del ML en Python.
from sklearn.cluster import KMeans              # El algoritmo de clustering
from sklearn.preprocessing import StandardScaler, LabelEncoder  # Estandarizar
from sklearn.decomposition import PCA            # Reduccion de dimensionalidad
from sklearn.metrics import silhouette_score, calinski_harabasz_score  # Metricas

# Configuracion visual
sns.set_style('whitegrid')  # Cuadricula de fondo, mas legible
%matplotlib inline

# Silencio warnings para que la salida quede limpia.
import warnings
warnings.filterwarnings('ignore')

print("Librerias importadas correctamente.")
print(f"NumPy version: {np.__version__}")
print(f"Pandas version: {pd.__version__}")

# ==============================================================================
# CARGA DEL DATASET ADULT CENSUS INCOME
# ==============================================================================
# Fuente: UCI Machine Learning Repository
# 32,561 registros, 14 atributos demograficos y economicos.

url = "https://archive.ics.uci.edu/ml/machine-learning-databases/adult/adult.data"

# El archivo no tiene encabezados, toca definirlos a mano.
# Esto no es comodo, pero asi vienen muchos datasets clasicos.
columnas = [
    'age',           # Edad
    'workclass',     # Tipo de empleador
    'fnlwgt',        # Peso de muestreo del censo (no es util para clustering)
    'education',     # Nivel educativo
    'education_num', # Nivel educativo codificado
    'marital_status',# Estado civil
    'occupation',    # Profesion
    'relationship',  # Relacion familiar
    'race',          # Raza
    'sex',           # Sexo
    'capital_gain',  # Ganancias de capital
    'capital_loss',  # Perdidas de capital
    'hours_per_week',# Horas trabajadas por semana
    'native_country',# Pais de origen
    'income'         # Ingreso (<=50K o >50K)
]

# na_values=' ?' porque en este dataset los faltantes vienen asi.
datos = pd.read_csv(url, names=columnas, na_values=' ?', skipinitialspace=True)

print("Dataset cargado exitosamente.")
print(f"Numero de registros: {datos.shape[0]:,}")
print(f"Numero de variables: {datos.shape[1]}")

# ==============================================================================
# EXPLORACION INICIAL
# ==============================================================================
# head() es el primer reflejo. Siempre. Antes de hacer cualquier cosa.

print("Primeras 10 filas del dataset:")
print("=" * 80)
datos.head(10)

# ==============================================================================
# INFORMACION ESTRUCTURAL
# ==============================================================================
# info() revela tipos de datos y nulos. Si algo raro hay, aqui aparece.

print("Informacion estructural del dataset:")
print("=" * 80)
datos.info()

# ==============================================================================
# VALORES FALTANTES
# ==============================================================================
# Con datasets reales, siempre hay nulos. La pregunta no es SI los hay,
# sino CUANTOS y DONDE.

valores_faltantes = datos.isnull().sum()
print("Valores faltantes por columna:")
print("=" * 80)
print(valores_faltantes[valores_faltantes > 0])
print(f"\nTotal de registros con al menos un valor faltante: {datos.isnull().any(axis=1).sum():,}")

# ==============================================================================
# LIMPIEZA DE DATOS
# ==============================================================================
# Decido eliminar registros con nulos. Podria imputarlos, pero con ~30K
# registros restantes tengo de sobra para clustering.
# No es la decision mas sofisticada, lo reconozco.

datos_limpios = datos.dropna()
print(f"Registros originales: {len(datos):,}")
print(f"Registros despues de limpieza: {len(datos_limpios):,}")
print(f"Registros eliminados: {len(datos) - len(datos_limpios):,} ({(len(datos) - len(datos_limpios))/len(datos)*100:.1f}%)")

# ==============================================================================
# ESTADISTICAS DESCRIPTIVAS
# ==============================================================================
# Un vistazo rapido a las distribuciones numericas.

print("Estadisticas descriptivas de variables numericas:")
print("=" * 80)
datos_limpios.describe().T.round(2)

# ==============================================================================
# SELECCION DE VARIABLES PARA CLUSTERING
# ==============================================================================
# Uso solo las numericas mas relevantes.
# Excluyo 'fnlwgt' porque es una variable de ponderacion del censo,
# no una caracteristica del individuo. Me genero dudas al principio,
# pero revisando la documentacion es claro que no aporta al clustering.

variables_numericas = ['age', 'education_num', 'capital_gain',
                       'capital_loss', 'hours_per_week']

X = datos_limpios[variables_numericas].copy()

print("Variables seleccionadas para clustering:")
print("=" * 80)
for var in variables_numericas:
    print(f"  - {var}")

print(f"\nDimensiones del conjunto de datos: {X.shape}")

# ==============================================================================
# ESTANDARIZACION DE VARIABLES
# ==============================================================================
# StandardScaler: media=0, desviacion=1 para cada variable.
# Esto iguala la cancha. Todas las variables pesan lo mismo.

scaler = StandardScaler()

# fit_transform: calcula media y std de cada columna, luego transforma.
X_scaled = scaler.fit_transform(X)

# Convierto a DataFrame para no perder los nombres de columna.
X_scaled_df = pd.DataFrame(X_scaled, columns=variables_numericas)

print("Datos estandarizados (primeras 5 filas):")
print("=" * 80)
X_scaled_df.head()

# ==============================================================================
# VERIFICACION DE ESTANDARIZACION
# ==============================================================================
# Parece un paso menor, pero una vez tuve un bug donde el scaler
# no se aplico bien y los clusters salieron absurdos.

print("Verificacion de estandarizacion:")
print("=" * 80)
print(f"Media de cada variable: {X_scaled.mean(axis=0).round(4)}")
print(f"Desviacion estandar:    {X_scaled.std(axis=0).round(4)}")

# ==============================================================================
# METODO DEL CODO + COEFICIENTE DE SILUETA
# ==============================================================================
# Evaluamos K de 2 a 10. Con K=1 no tiene sentido hablar de clustering.

rango_k = range(2, 11)
inercias = []
siluetas = []

print("Evaluando diferentes valores de K...")
print("=" * 80)

for k in rango_k:
    # random_state=42 para que los resultados sean reproducibles.
    # n_init=10: ejecuta 10 veces con distintos centroides iniciales.
    kmeans = KMeans(n_clusters=k, random_state=42, n_init=10)
    kmeans.fit(X_scaled)

    inercias.append(kmeans.inertia_)

    # Silueta: que tan similar es cada punto a su cluster vs otros.
    silueta = silhouette_score(X_scaled, kmeans.labels_)
    siluetas.append(silueta)

    print(f"K={k}: Inercia={kmeans.inertia_:,.0f}, Silueta={silueta:.4f}")

# ==============================================================================
# VISUALIZACION DEL CODO Y LA SILUETA
# ==============================================================================

fig, axes = plt.subplots(1, 2, figsize=(14, 5))

# Grafico 1: Metodo del Codo
axes[0].plot(rango_k, inercias, 'bo-', linewidth=2, markersize=8)
axes[0].set_xlabel('Numero de Clusters (K)', fontsize=12)
axes[0].set_ylabel('Inercia', fontsize=12)
axes[0].set_title('Metodo del Codo', fontsize=14, fontweight='bold')
axes[0].set_xticks(list(rango_k))

# Grafico 2: Coeficiente de Silueta
axes[1].plot(rango_k, siluetas, 'go-', linewidth=2, markersize=8)
axes[1].set_xlabel('Numero de Clusters (K)', fontsize=12)
axes[1].set_ylabel('Coeficiente de Silueta', fontsize=12)
axes[1].set_title('Coeficiente de Silueta', fontsize=14, fontweight='bold')
axes[1].set_xticks(list(rango_k))

plt.tight_layout()
plt.show()

mejor_k = list(rango_k)[np.argmax(siluetas)]
print(f"\nK optimo segun coeficiente de silueta: {mejor_k}")

# ==============================================================================
# ENTRENAMIENTO DEL MODELO FINAL
# ==============================================================================
# K=4 como compromiso entre granularidad e interpretabilidad.
# n_init=20 para mas robustez (mas inicializaciones aleatorias).

K_FINAL = 4

kmeans_final = KMeans(
    n_clusters=K_FINAL,
    random_state=42,
    n_init=20,
    max_iter=300
)

# fit_predict: entrena el modelo y devuelve las etiquetas en un solo paso.
etiquetas_cluster = kmeans_final.fit_predict(X_scaled)

print(f"Modelo K-Means entrenado con K={K_FINAL}")
print("=" * 80)
print(f"Inercia final: {kmeans_final.inertia_:,.2f}")
print(f"Coeficiente de silueta: {silhouette_score(X_scaled, etiquetas_cluster):.4f}")
print(f"Numero de iteraciones: {kmeans_final.n_iter_}")

# ==============================================================================
# ASIGNACION DE CLUSTERS AL DATASET ORIGINAL
# ==============================================================================
# Agrego la columna 'cluster' para poder cruzar con las demas variables.

datos_con_clusters = datos_limpios.copy()
datos_con_clusters['cluster'] = etiquetas_cluster

print("Distribucion de registros por cluster:")
print("=" * 80)
distribucion = datos_con_clusters['cluster'].value_counts().sort_index()
for cluster, cantidad in distribucion.items():
    porcentaje = cantidad / len(datos_con_clusters) * 100
    print(f"  Cluster {cluster}: {cantidad:,} registros ({porcentaje:.1f}%)")

# ==============================================================================
# REDUCCION DE DIMENSIONALIDAD CON PCA
# ==============================================================================
# De 5 dimensiones a 2, para poder graficar.

pca = PCA(n_components=2)
X_pca = pca.fit_transform(X_scaled)

print("Reduccion de dimensionalidad completada.")
print("=" * 80)
print(f"Varianza explicada por componente 1: {pca.explained_variance_ratio_[0]*100:.2f}%")
print(f"Varianza explicada por componente 2: {pca.explained_variance_ratio_[1]*100:.2f}%")
print(f"Varianza total explicada: {sum(pca.explained_variance_ratio_)*100:.2f}%")

# ==============================================================================
# VISUALIZACION DE CLUSTERS EN 2D
# ==============================================================================

plt.figure(figsize=(12, 8))

colores = ['#3498db', '#e74c3c', '#2ecc71', '#9b59b6']

for i in range(K_FINAL):
    mask = etiquetas_cluster == i
    plt.scatter(X_pca[mask, 0], X_pca[mask, 1],
                c=colores[i], label=f'Cluster {i}',
                alpha=0.6, s=30, edgecolors='white', linewidth=0.5)

# Proyecto los centroides a 2D para marcarlos en el grafico.
centroides_pca = pca.transform(kmeans_final.cluster_centers_)
plt.scatter(centroides_pca[:, 0], centroides_pca[:, 1],
            c='black', marker='X', s=200, edgecolors='white',
            linewidth=2, label='Centroides')

plt.xlabel('Componente Principal 1', fontsize=12)
plt.ylabel('Componente Principal 2', fontsize=12)
plt.title('Visualizacion de Clusters (Proyeccion PCA)', fontsize=14, fontweight='bold')
plt.legend(loc='upper right')
plt.tight_layout()
plt.show()

# ==============================================================================
# ANALISIS DE CARACTERISTICAS POR CLUSTER
# ==============================================================================
# Esto es lo que realmente importa: que hace diferente a cada grupo.

print("Caracteristicas promedio por cluster:")
print("=" * 80)

perfil_clusters = datos_con_clusters.groupby('cluster')[variables_numericas].mean().round(2)
perfil_clusters

# ==============================================================================
# DISTRIBUCION DE VARIABLES POR CLUSTER
# ==============================================================================
# Los boxplots muestran la dispersion dentro de cada cluster.
# Si se superponen mucho, el clustering no esta separando bien.

fig, axes = plt.subplots(2, 3, figsize=(15, 10))
axes = axes.flatten()

for idx, var in enumerate(variables_numericas):
    sns.boxplot(x='cluster', y=var, data=datos_con_clusters,
                ax=axes[idx], palette=colores)
    axes[idx].set_title(f'Distribucion de {var} por Cluster', fontweight='bold')
    axes[idx].set_xlabel('Cluster')
    axes[idx].set_ylabel(var)

axes[5].axis('off')  # El sexto subplot sobra

plt.suptitle('Perfiles de Variables por Cluster', fontsize=16, fontweight='bold', y=1.02)
plt.tight_layout()
plt.show()

# ==============================================================================
# DISTRIBUCION DE INGRESOS POR CLUSTER
# ==============================================================================
# La pregunta del millon: ¿el clustering no supervisado logro descubrir
# algo similar a la clasificacion de ingresos, sin haberla visto?

print("Distribucion de ingresos por cluster:")
print("=" * 80)

tabla_ingresos = pd.crosstab(datos_con_clusters['cluster'],
                              datos_con_clusters['income'],
                              normalize='index') * 100
tabla_ingresos.round(2)

# ==============================================================================
# VISUALIZACION DE INGRESOS POR CLUSTER
# ==============================================================================

fig, ax = plt.subplots(figsize=(10, 6))

tabla_ingresos.plot(kind='bar', ax=ax, color=['#3498db', '#e74c3c'])
ax.set_xlabel('Cluster', fontsize=12)
ax.set_ylabel('Porcentaje', fontsize=12)
ax.set_title('Distribucion de Ingresos por Cluster', fontsize=14, fontweight='bold')
ax.legend(title='Ingreso')
ax.set_xticklabels(ax.get_xticklabels(), rotation=0)

for container in ax.containers:
    ax.bar_label(container, fmt='%.1f%%', fontsize=9)

plt.tight_layout()
plt.show()