Uso de Librerias Python para IA¶

# ==============================================================================
# INSTALACION DE DEPENDENCIAS
# ==============================================================================
# Prefiero dejar esta celda siempre, aunque en Colab la mayoria
# de paquetes ya vienen. Una vez me fallo un notebook en otra maquina
# porque asumi que todo estaba instalado. Leccion aprendida.
#
# El '!' ejecuta comandos de terminal desde Python.
# --quiet evita que la pantalla se llene de texto.

!pip install numpy scipy pandas polars matplotlib seaborn --quiet

print("Librerias instaladas correctamente.")

# ==============================================================================
# IMPORTACION DE LIBRERIAS
# ==============================================================================
# Los alias (np, pd, pl, plt, sns) son convenciones de la comunidad.
# Al principio me parecian arbitrarios, pero ahora los uso sin pensar.

# NumPy: la base de todo. Arreglos y matematicas.
import numpy as np

# SciPy (stats): tests estadisticos, distribuciones, cosas serias.
import scipy.stats as stats

# Pandas: mi navaja suiza para datos tabulares.
import pandas as pd

# Polars: la alternativa rapida. Escrita en Rust, se nota.
import polars as pl

# Matplotlib: la veterana de los graficos.
import matplotlib.pyplot as plt

# Seaborn: graficos bonitos sin sudar.
import seaborn as sns

# 'whitegrid' pone una cuadricula de fondo. Facilita leer valores.
sns.set_style('whitegrid')

# Para que los graficos se vean dentro del notebook.
%matplotlib inline

# Evito que Pandas me trunque columnas.
pd.set_option('display.max_columns', None)

print("Librerias importadas correctamente.")
print(f"NumPy version: {np.__version__}")
print(f"Pandas version: {pd.__version__}")
print(f"Polars version: {pl.__version__}")

# ==============================================================================
# CARGA DE DATOS CON PANDAS
# ==============================================================================
# Me gusta que Pandas lea directamente desde URL.
# Asi cualquiera puede correr este notebook sin descargar nada.

url = "https://www4.stat.ncsu.edu/~boos/var.select/diabetes.tab.txt"

# read_csv lee valores separados. En este caso, tabuladores.
datos = pd.read_csv(url, sep='\t')

print("Dataset cargado exitosamente con Pandas.")
print(f"Registros: {datos.shape[0]}")
print(f"Variables: {datos.shape[1]}")

# ==============================================================================
# CARGA DE DATOS CON POLARS
# ==============================================================================
# Cargo los mismos datos en Polars para comparar.
# Lo mas practico es convertir desde el DataFrame de Pandas.
# Polars y Pandas se llevan bien, que es un alivio.

datos_pl = pl.from_pandas(datos)

print("Dataset cargado en Polars.")
print(f"Filas: {datos_pl.shape[0]}, Columnas: {datos_pl.shape[1]}")
print(f"\nTipos de datos en Polars:")
print(datos_pl.dtypes)

# ==============================================================================
# PRIMERAS FILAS DEL DATASET
# ==============================================================================
# head() es lo primero que ejecuto siempre. Es como asomarse
# a un dataset antes de meterse de lleno.

print("Primeras 10 filas del dataset:")
print("=" * 70)
datos.head(10)

# ==============================================================================
# INFORMACION ESTRUCTURAL
# ==============================================================================
# info() da el resumen tecnico: tipos, nulos, memoria.
# Si algo raro va a aparecer, suele ser aqui.

print("Informacion del dataset:")
print("=" * 70)
datos.info()

# ==============================================================================
# DESCRIPCION DE VARIABLES
# ==============================================================================
# Esto lo arme manualmente consultando la documentacion del dataset.
# Es un paso que muchos se saltan, pero a mi me parece fundamental:
# no tiene sentido analizar datos si no sabes que significan.

descripcion_variables = {
    'AGE': 'Edad del paciente en anios',
    'SEX': 'Sexo del paciente (1=masculino, 2=femenino)',
    'BMI': 'Indice de Masa Corporal (peso/altura^2)',
    'BP':  'Presion arterial media',
    'S1':  'TC - Colesterol total serico',
    'S2':  'LDL - Colesterol de baja densidad',
    'S3':  'HDL - Colesterol de alta densidad',
    'S4':  'TCH - Relacion colesterol total / HDL',
    'S5':  'LTG - Logaritmo de trigliceridos sericos',
    'S6':  'GLU - Nivel de glucosa en sangre',
    'Y':   'Variable objetivo: progresion de la diabetes'
}

print("Descripcion de variables:")
print("=" * 70)
for var, desc in descripcion_variables.items():
    print(f"  {var:5} -> {desc}")

# ==============================================================================
# ESTADISTICAS DESCRIPTIVAS CON POLARS
# ==============================================================================
# describe() existe en ambas librerias. El resultado es similar,
# pero por debajo Polars usa un motor completamente distinto.

print("Estadisticas descriptivas con Polars:")
print("=" * 70)
datos_pl.describe()

# ==============================================================================
# SELECCION Y FILTRADO CON POLARS
# ==============================================================================
# Esto es lo que mas me gusta de Polars: la forma de escribir
# filtros. Se lee casi como lenguaje natural.

# Pacientes mayores de 60 con sobrepeso (BMI > 30).
pacientes_riesgo = datos_pl.filter(
    (pl.col('AGE') > 60) & (pl.col('BMI') > 30)
)

print(f"Pacientes mayores de 60 con BMI > 30: {pacientes_riesgo.shape[0]}")
print(f"Eso representa el {pacientes_riesgo.shape[0]/datos_pl.shape[0]*100:.1f}% del total")

# Agrupar y calcular estadisticas por sexo.
# En Polars cada operacion se encadena de forma fluida.
resumen_por_sexo = datos_pl.group_by('SEX').agg([
    pl.col('AGE').mean().alias('edad_promedio'),
    pl.col('BMI').mean().alias('bmi_promedio'),
    pl.col('Y').mean().alias('progresion_promedio'),
    pl.len().alias('cantidad')
])

print("\nResumen agrupado por sexo (1=M, 2=F):")
print(resumen_por_sexo)

# ==============================================================================
# COMPARACION DE RENDIMIENTO: POLARS vs PANDAS
# ==============================================================================
# Con un dataset tan chico la diferencia sera minima, pero
# quiero dejar registro de como se mide. Cuando tenga un
# proyecto con datos reales de millones de filas, esto importa.

import time

# Misma operacion 1000 veces con Pandas.
inicio_pd = time.time()
for _ in range(1000):
    resultado_pd = datos.groupby('SEX').agg({'BMI': 'mean', 'Y': 'mean'})
tiempo_pd = time.time() - inicio_pd

# Y ahora con Polars.
inicio_pl = time.time()
for _ in range(1000):
    resultado_pl = datos_pl.group_by('SEX').agg([
        pl.col('BMI').mean(),
        pl.col('Y').mean()
    ])
tiempo_pl = time.time() - inicio_pl

print("Comparacion de rendimiento (1000 iteraciones de groupby):")
print("=" * 70)
print(f"  Pandas: {tiempo_pd:.4f} segundos")
print(f"  Polars: {tiempo_pl:.4f} segundos")
if tiempo_pl < tiempo_pd:
    print(f"  Polars fue {tiempo_pd/tiempo_pl:.1f}x mas rapido")
else:
    print(f"  Pandas fue {tiempo_pl/tiempo_pd:.1f}x mas rapido")
print("\nOjo: con datasets grandes la brecha se amplifica muchisimo.")

# ==============================================================================
# MEDIDAS DE TENDENCIA CENTRAL
# ==============================================================================
# Empiezo por lo basico: donde se concentran los datos.
# Parece simple, pero estos numeros cuentan mucho.

# Saco la columna AGE como arreglo de NumPy.
edades = datos['AGE'].values

# MEDIA: el clasico promedio.
media_edad = np.mean(edades)

# MEDIANA: el valor que queda justo en el medio.
# Es mas robusta que la media cuando hay outliers.
mediana_edad = np.median(edades)

# MODA: el valor que mas se repite.
# NumPy no la trae, asi que toca pedirle ayuda a SciPy.
resultado_moda = stats.mode(edades, keepdims=True)
moda_edad = resultado_moda.mode[0]
frecuencia_moda = resultado_moda.count[0]

print("Medidas de Tendencia Central - Variable AGE:")
print("=" * 70)
print(f"  Media (promedio):        {media_edad:.2f} anios")
print(f"  Mediana (valor central): {mediana_edad:.2f} anios")
print(f"  Moda (mas frecuente):    {moda_edad} anios (aparece {frecuencia_moda} veces)")
print()
# Que la media y mediana esten tan cerca me dice que la
# distribucion es bastante simetrica. No hay valores locos
# tirando del promedio. Buena senal.
print("La media y la mediana caen muy cerca. Eso sugiere una distribucion")
print("simetrica, sin valores extremos que distorsionen el promedio.")
print("Si hubiese una diferencia grande, tendria que preocuparme por outliers.")

# ==============================================================================
# MEDIDAS DE DISPERSION
# ==============================================================================
# No basta con saber donde se concentran los datos.
# Tambien importa cuanto se esparcen.

# DESVIACION ESTANDAR: cuanto se alejan del promedio.
# El ddof=1 me costo entenderlo: es la correccion de Bessel
# para muestras. Si no lo pones, el resultado esta sesgado.
# Tuve que leer aparte sobre esto, no es obvio.
desviacion_std = np.std(edades, ddof=1)

# VARIANZA: lo mismo pero al cuadrado. Menos intuitiva.
varianza = np.var(edades, ddof=1)

# RANGO: lo mas basico, maximo menos minimo.
valor_minimo = np.min(edades)
valor_maximo = np.max(edades)
rango = valor_maximo - valor_minimo

# CUARTILES: parten los datos en cuatro porciones iguales.
q1 = np.percentile(edades, 25)
q3 = np.percentile(edades, 75)
iqr = q3 - q1  # IQR: lo que cabe entre Q1 y Q3

print("Medidas de Dispersion - Variable AGE:")
print("=" * 70)
print(f"  Desviacion estandar: {desviacion_std:.2f} anios")
print(f"  Varianza:            {varianza:.2f}")
print(f"  Minimo:              {valor_minimo} anios")
print(f"  Maximo:              {valor_maximo} anios")
print(f"  Rango:               {rango} anios")
print(f"  Cuartil 1 (Q1):      {q1:.2f} anios")
print(f"  Cuartil 3 (Q3):      {q3:.2f} anios")
print(f"  IQR:                 {iqr:.2f} anios")

# ==============================================================================
# ESTADISTICAS DESCRIPTIVAS COMPLETAS
# ==============================================================================
# describe() hace todo de golpe. Lo transpongo con .T
# para que las variables queden en filas y se lea mejor.

print("Estadisticas descriptivas de todas las variables:")
print("=" * 70)

datos.describe().T.round(2)

# ==============================================================================
# CORRELACIONES
# ==============================================================================
# La correlacion de Pearson va de -1 a +1.
# Cercano a 1: relacion directa fuerte.
# Cercano a -1: relacion inversa fuerte.
# Cercano a 0: no hay relacion lineal (ojo: puede haber otra).

correlacion_bmi_y = np.corrcoef(datos['BMI'], datos['Y'])[0, 1]
correlacion_s5_y = np.corrcoef(datos['S5'], datos['Y'])[0, 1]
correlacion_age_y = np.corrcoef(datos['AGE'], datos['Y'])[0, 1]

print("Correlaciones con Y (progresion de diabetes):")
print("=" * 70)
print(f"  BMI (Masa Corporal)  <-> Y: {correlacion_bmi_y:.4f}")
print(f"  S5 (Trigliceridos)   <-> Y: {correlacion_s5_y:.4f}")
print(f"  AGE (Edad)           <-> Y: {correlacion_age_y:.4f}")
print()
# Esto me sorprendio. Yo habria apostado por BMI como la variable
# mas correlacionada. Pero no. S5 gana. Y la edad, que intuitivamente
# parece obvia, resulta la mas debil de las tres. Leccion:
# nunca confiar en la intuicion sin chequear los datos.
print("Dato curioso: S5 (trigliceridos) gana por goleada.")
print("Yo habria apostado por el BMI. Me equivoque.")
print("Los trigliceridos elevados son factor de riesgo conocido,")
print("pero no esperaba que superaran al peso corporal.")
print("La edad, que parece tan obvia, tiene la correlacion mas debil.")

# ==============================================================================
# TEST DE NORMALIDAD
# ==============================================================================
# Muchos metodos asumen normalidad. Hay que verificar.
# Uso el test de D'Agostino-Pearson:
#   H0 (hipotesis nula): los datos SON normales.
#   Si p-valor < 0.05: rechazo H0 -> no son normales.
#   Si p-valor >= 0.05: no puedo rechazar H0 -> podrian ser normales.
# (Nota: 'no rechazar' no es lo mismo que confirmar. Matiz importante.)

estadistico_bmi, pvalor_bmi = stats.normaltest(datos['BMI'])
estadistico_y, pvalor_y = stats.normaltest(datos['Y'])

print("Test de Normalidad (D'Agostino-Pearson):")
print("=" * 70)

print("\nVariable BMI:")
print(f"  Estadistico: {estadistico_bmi:.4f}")
print(f"  P-valor:     {pvalor_bmi:.6f}")
if pvalor_bmi < 0.05:
    print("  Resultado:   Se rechaza normalidad (alpha=0.05)")
else:
    print("  Resultado:   No se rechaza normalidad (alpha=0.05)")

print("\nVariable Y (Progresion):")
print(f"  Estadistico: {estadistico_y:.4f}")
print(f"  P-valor:     {pvalor_y:.6f}")
if pvalor_y < 0.05:
    print("  Resultado:   Se rechaza normalidad (alpha=0.05)")
else:
    print("  Resultado:   No se rechaza normalidad (alpha=0.05)")

# ==============================================================================
# HISTOGRAMA DE BMI
# ==============================================================================
# Un histograma responde la pregunta: como se reparten los valores?
# Marcar la media y mediana encima ayuda a ver si hay sesgo.

plt.figure(figsize=(10, 6))

# 30 barras, un poco transparentes para que se vean bien.
plt.hist(datos['BMI'], bins=30, color='steelblue', edgecolor='white', alpha=0.7)

# Lineas verticales: media (roja) y mediana (verde).
media_bmi = np.mean(datos['BMI'])
mediana_bmi = np.median(datos['BMI'])

plt.axvline(media_bmi, color='red', linestyle='--', linewidth=2,
            label=f'Media: {media_bmi:.2f}')
plt.axvline(mediana_bmi, color='green', linestyle='-', linewidth=2,
            label=f'Mediana: {mediana_bmi:.2f}')

plt.xlabel('Indice de Masa Corporal (BMI)', fontsize=12)
plt.ylabel('Frecuencia', fontsize=12)
plt.title('Distribucion del Indice de Masa Corporal', fontsize=14, fontweight='bold')
plt.legend()
plt.tight_layout()
plt.show()

# ==============================================================================
# GRAFICO DE DISPERSION (SCATTER PLOT)
# ==============================================================================
# Cada punto es un paciente. La linea roja es la tendencia.
# Si los puntos se alinean, hay relacion. Si es una nube, no.

plt.figure(figsize=(10, 6))

plt.scatter(datos['BMI'], datos['Y'], c='steelblue', alpha=0.6, s=50, edgecolors='white')

# Ajusto una recta con polyfit (grado 1 = lineal).
coeficientes = np.polyfit(datos['BMI'], datos['Y'], 1)
linea_tendencia = np.poly1d(coeficientes)
x_linea = np.linspace(datos['BMI'].min(), datos['BMI'].max(), 100)
plt.plot(x_linea, linea_tendencia(x_linea), color='red', linewidth=2,
         linestyle='--', label=f'Tendencia (r={correlacion_bmi_y:.3f})')

plt.xlabel('Indice de Masa Corporal (BMI)', fontsize=12)
plt.ylabel('Progresion de la Diabetes (Y)', fontsize=12)
plt.title('Relacion entre BMI y Progresion de Diabetes', fontsize=14, fontweight='bold')
plt.legend()
plt.tight_layout()
plt.show()

# ==============================================================================
# MULTIPLES SUBGRAFICOS
# ==============================================================================
# Poner cuatro histogramas juntos permite comparar de un vistazo.
# A veces un solo grafico no cuenta toda la historia.

fig, axes = plt.subplots(2, 2, figsize=(12, 10))

variables = ['AGE', 'BMI', 'BP', 'Y']
colores = ['#3498db', '#2ecc71', '#e74c3c', '#9b59b6']

for idx, (var, color) in enumerate(zip(variables, colores)):
    fila = idx // 2
    columna = idx % 2
    ax = axes[fila, columna]
    ax.hist(datos[var], bins=25, color=color, edgecolor='white', alpha=0.7)
    ax.set_title(f'Distribucion de {var}', fontsize=12, fontweight='bold')
    ax.set_xlabel(var)
    ax.set_ylabel('Frecuencia')

plt.suptitle('Distribucion de Variables del Dataset Diabetes',
             fontsize=14, fontweight='bold', y=1.02)
plt.tight_layout()
plt.show()

# ==============================================================================
# MAPA DE CALOR DE CORRELACIONES
# ==============================================================================
# Este grafico me encanta. De un vistazo revela que variables
# se llevan bien entre si y cuales no.

plt.figure(figsize=(12, 10))

# corr() calcula correlacion Pearson entre todas las columnas.
matriz_correlacion = datos.corr()

# El heatmap pone color a los numeros. Mucho mas legible.
sns.heatmap(matriz_correlacion,
            annot=True,       # Muestra el numero en cada celda
            cmap='RdYlBu_r',  # Rojo = positivo, azul = negativo
            center=0,         # Blanco en el cero
            fmt='.2f',        # Dos decimales
            linewidths=0.5,
            square=True,
            cbar_kws={'label': 'Coeficiente de Correlacion'})

plt.title('Matriz de Correlacion - Dataset Diabetes', fontsize=14, fontweight='bold', pad=20)
plt.tight_layout()
plt.show()

print("Guia rapida de lectura:")
print("  Rojo intenso = correlacion positiva fuerte")
print("  Azul intenso = correlacion negativa fuerte")
print("  Blanco/palido = casi no hay relacion")

# ==============================================================================
# BOXPLOTS PARA DETECCION DE OUTLIERS
# ==============================================================================
# El boxplot es mi preferido para encontrar datos raros.
# Si un punto sale de los bigotes, merece atencion.

fig, axes = plt.subplots(2, 3, figsize=(14, 8))

variables_analisis = ['AGE', 'BMI', 'BP', 'S1', 'S5', 'Y']
axes_flat = axes.flatten()

for idx, var in enumerate(variables_analisis):
    sns.boxplot(y=datos[var], ax=axes_flat[idx], color='steelblue', width=0.5)
    axes_flat[idx].set_title(f'{var}', fontsize=12, fontweight='bold')
    axes_flat[idx].set_ylabel('')

plt.suptitle('Boxplots para Deteccion de Valores Atipicos',
             fontsize=14, fontweight='bold', y=1.02)
plt.tight_layout()
plt.show()

# Para quien no haya visto un boxplot antes:
print("Como leer esto:")
print("  Linea central = mediana")
print("  Caja = 50% central de los datos (entre Q1 y Q3)")
print("  Bigotes = hasta 1.5 veces el IQR")
print("  Puntos sueltos = outliers, datos sospechosos")

# ==============================================================================
# GRAFICOS AVANZADOS: KDE, VIOLIN Y REGRESION
# ==============================================================================
# Tres formas distintas de mirar los mismos datos.
# Cada una revela algo diferente.

fig, axes = plt.subplots(1, 3, figsize=(15, 5))

# KDE: como un histograma suavizado. Muestra la 'forma' de los datos.
sns.histplot(datos['BMI'], kde=True, ax=axes[0], color='steelblue', bins=30)
axes[0].set_title('Histograma con KDE de BMI', fontweight='bold')

# Violin: mezcla de boxplot + densidad. Bonito e informativo.
sns.violinplot(y=datos['Y'], ax=axes[1], color='lightgreen')
axes[1].set_title('Violin Plot de Y (Progresion)', fontweight='bold')

# Regresion: la relacion entre S5 y Y con banda de confianza.
sns.regplot(x=datos['S5'], y=datos['Y'], ax=axes[2], color='coral',
            scatter_kws={'alpha':0.5}, line_kws={'color':'darkred', 'linewidth':2})
axes[2].set_title('Regresion: S5 vs Y', fontweight='bold')
axes[2].set_xlabel('S5 (Log Trigliceridos)')
axes[2].set_ylabel('Y (Progresion)')

plt.tight_layout()
plt.show()

# ==============================================================================
# PAIRPLOT
# ==============================================================================
# El pairplot es la artilleria pesada: cruza todas las variables
# entre si. Con muchas columnas se pone lento, asi que selecciono
# solo las que me interesan mas.

variables_seleccionadas = ['AGE', 'BMI', 'BP', 'S5', 'Y']
datos_subset = datos[variables_seleccionadas]

print("Generando pairplot... (esto puede tardar unos segundos)")

pairplot = sns.pairplot(datos_subset,
                        diag_kind='kde',  # Densidad en la diagonal
                        plot_kws={'alpha': 0.5, 's': 30, 'edgecolor': 'white'},
                        corner=True)      # Solo la mitad, evita redundancia

pairplot.figure.suptitle('Relaciones entre Variables Principales',
                         y=1.02, fontsize=14, fontweight='bold')
plt.show()