🚢 Ciclo de Vida de Machine Learning Supervisado: Predicción de Supervivencia en el Titanic¶

# ============================================================================
# 1.1 Importación de librerías necesarias
# ============================================================================
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import (
    accuracy_score, precision_score, recall_score, f1_score,
    confusion_matrix, classification_report, roc_curve, auc,
    ConfusionMatrixDisplay, RocCurveDisplay
)
from sklearn.preprocessing import LabelEncoder
import warnings
warnings.filterwarnings('ignore')

# Configuración visual
plt.style.use('seaborn-v0_8-whitegrid')
sns.set_palette('deep')
plt.rcParams['figure.figsize'] = (10, 6)
plt.rcParams['font.size'] = 12

print('✅ Librerías importadas correctamente')
print(f'   pandas: {pd.__version__}')
print(f'   numpy: {np.__version__}')

# ============================================================================
# 1.2 Carga del dataset desde URL pública
# ============================================================================
url = 'https://raw.githubusercontent.com/datasciencedojo/datasets/master/titanic.csv'
df = pd.read_csv(url)

print(f'✅ Dataset cargado exitosamente')
print(f'   Filas: {df.shape[0]}')
print(f'   Columnas: {df.shape[1]}')
print(f'\nPrimeras 5 filas del dataset:')
df.head()

# ============================================================================
# 2.1 Información general del dataset
# ============================================================================
print('='*60)
print('INFORMACIÓN GENERAL DEL DATASET')
print('='*60)
df.info()

print('\n' + '='*60)
print('VALORES NULOS POR COLUMNA')
print('='*60)
nulos = df.isnull().sum()
nulos_pct = (nulos / len(df) * 100).round(2)
print(pd.DataFrame({'Nulos': nulos, '% del Total': nulos_pct})[nulos > 0])

# ============================================================================
# 2.2 Estadísticas descriptivas completas
# ============================================================================
print('ESTADÍSTICAS DESCRIPTIVAS (Variables numéricas y categóricas)')
print('='*60)
df.describe(include='all')

# ============================================================================
# 2.3 Distribución de la variable objetivo (Survived)
# ============================================================================
fig, axes = plt.subplots(1, 2, figsize=(14, 5))

# Gráfico de barras
survived_counts = df['Survived'].value_counts()
colors = ['#e74c3c', '#2ecc71']
bars = axes[0].bar(['No Sobrevivió (0)', 'Sobrevivió (1)'],
                   survived_counts.values, color=colors, edgecolor='white', linewidth=1.5)
axes[0].set_title('Distribución de Supervivencia', fontsize=14, fontweight='bold')
axes[0].set_ylabel('Cantidad de Pasajeros')
for bar, val in zip(bars, survived_counts.values):
    axes[0].text(bar.get_x() + bar.get_width()/2, bar.get_height() + 10,
                 str(val), ha='center', fontweight='bold', fontsize=13)

# Gráfico de pie
survived_pct = df['Survived'].value_counts(normalize=True) * 100
axes[1].pie(survived_pct.values, labels=[f'No Sobrevivió\n({survived_pct[0]:.1f}%)',
                                          f'Sobrevivió\n({survived_pct[1]:.1f}%)'],
            colors=colors, autopct='%1.1f%%', startangle=90,
            textprops={'fontsize': 12}, wedgeprops={'edgecolor': 'white', 'linewidth': 2})
axes[1].set_title('Proporción de Supervivencia', fontsize=14, fontweight='bold')

plt.tight_layout()
plt.show()

print(f'\n📊 Desbalance de clases:')
print(f'   No sobrevivió: {survived_counts[0]} ({survived_pct[0]:.1f}%)')
print(f'   Sobrevivió:    {survived_counts[1]} ({survived_pct[1]:.1f}%)')
print(f'   Ratio:         {survived_counts[0]/survived_counts[1]:.2f}:1')

# ============================================================================
# 2.4 Distribución de variables numéricas
# ============================================================================
fig, axes = plt.subplots(1, 3, figsize=(18, 5))

# Histograma de Edad
axes[0].hist(df['Age'].dropna(), bins=30, color='#3498db', edgecolor='white', alpha=0.8)
axes[0].axvline(df['Age'].median(), color='red', linestyle='--', label=f'Mediana: {df["Age"].median():.0f}')
axes[0].set_title('Distribución de Edad', fontsize=13, fontweight='bold')
axes[0].set_xlabel('Edad')
axes[0].set_ylabel('Frecuencia')
axes[0].legend()

# Histograma de Tarifa
axes[1].hist(df['Fare'], bins=30, color='#e67e22', edgecolor='white', alpha=0.8)
axes[1].axvline(df['Fare'].median(), color='red', linestyle='--', label=f'Mediana: {df["Fare"].median():.1f}')
axes[1].set_title('Distribución de Tarifa', fontsize=13, fontweight='bold')
axes[1].set_xlabel('Tarifa (£)')
axes[1].set_ylabel('Frecuencia')
axes[1].legend()

# Distribución por Clase
class_counts = df['Pclass'].value_counts().sort_index()
bars = axes[2].bar(['1ª Clase', '2ª Clase', '3ª Clase'], class_counts.values,
                   color=['#f1c40f', '#95a5a6', '#cd7f32'], edgecolor='white')
axes[2].set_title('Distribución por Clase', fontsize=13, fontweight='bold')
axes[2].set_ylabel('Cantidad de Pasajeros')
for bar, val in zip(bars, class_counts.values):
    axes[2].text(bar.get_x() + bar.get_width()/2, bar.get_height() + 5,
                 str(val), ha='center', fontweight='bold')

plt.tight_layout()
plt.show()

# ============================================================================
# 2.5 Supervivencia por variables categóricas clave
# ============================================================================
fig, axes = plt.subplots(1, 3, figsize=(18, 5))

# Por Sexo
sns.countplot(data=df, x='Sex', hue='Survived', ax=axes[0], palette=colors)
axes[0].set_title('Supervivencia por Sexo', fontsize=13, fontweight='bold')
axes[0].set_xlabel('Sexo')
axes[0].legend(['No Sobrevivió', 'Sobrevivió'], loc='upper right')

# Por Clase
sns.countplot(data=df, x='Pclass', hue='Survived', ax=axes[1], palette=colors)
axes[1].set_title('Supervivencia por Clase', fontsize=13, fontweight='bold')
axes[1].set_xlabel('Clase del Pasajero')
axes[1].legend(['No Sobrevivió', 'Sobrevivió'], loc='upper right')

# Por Puerto de Embarque
sns.countplot(data=df, x='Embarked', hue='Survived', ax=axes[2], palette=colors)
axes[2].set_title('Supervivencia por Puerto de Embarque', fontsize=13, fontweight='bold')
axes[2].set_xlabel('Puerto (C=Cherbourg, Q=Queenstown, S=Southampton)')
axes[2].legend(['No Sobrevivió', 'Sobrevivió'], loc='upper right')

plt.tight_layout()
plt.show()

# ============================================================================
# 2.6 Boxplot de Edad por Clase y Supervivencia
# ============================================================================
fig, axes = plt.subplots(1, 2, figsize=(16, 6))

sns.boxplot(data=df, x='Pclass', y='Age', hue='Survived', ax=axes[0], palette=colors)
axes[0].set_title('Distribución de Edad por Clase y Supervivencia', fontsize=13, fontweight='bold')
axes[0].set_xlabel('Clase del Pasajero')
axes[0].set_ylabel('Edad')
axes[0].legend(['No Sobrevivió', 'Sobrevivió'])

# Scatter: Edad vs Tarifa
scatter = axes[1].scatter(df['Age'], df['Fare'], c=df['Survived'],
                          cmap='RdYlGn', alpha=0.5, edgecolors='gray', linewidth=0.5)
axes[1].set_title('Edad vs Tarifa (coloreado por Supervivencia)', fontsize=13, fontweight='bold')
axes[1].set_xlabel('Edad')
axes[1].set_ylabel('Tarifa (£)')
axes[1].legend(*scatter.legend_elements(), title='Survived')

plt.tight_layout()
plt.show()

# ============================================================================
# 2.7 Mapa de correlación
# ============================================================================
plt.figure(figsize=(10, 8))
numeric_cols = df.select_dtypes(include=[np.number]).columns
corr_matrix = df[numeric_cols].corr()
mask = np.triu(np.ones_like(corr_matrix, dtype=bool))
sns.heatmap(corr_matrix, mask=mask, annot=True, fmt='.2f', cmap='coolwarm',
            center=0, linewidths=1, square=True, vmin=-1, vmax=1)
plt.title('Mapa de Correlación de Pearson (Variables Numéricas)', fontsize=14, fontweight='bold')
plt.tight_layout()
plt.show()

# ============================================================================
# 3.1 Eliminación de variables ruidosas
# ============================================================================
print('Variables antes de la limpieza:', list(df.columns))
print(f'Dimensiones: {df.shape}')

# Justificación de cada eliminación:
# - PassengerId: ID secuencial sin relación con supervivencia
# - Name: Identificador único (podría extraerse el título, pero se omite por simplicidad)
# - Ticket: Alfanumérico sin relación causal con la variable objetivo
# - Cabin: 77.1% de valores nulos — densidad insuficiente para ser útil

df_clean = df.drop(columns=['PassengerId', 'Name', 'Ticket', 'Cabin'])

print(f'\nVariables después de la limpieza: {list(df_clean.columns)}')
print(f'Dimensiones: {df_clean.shape}')
print(f'\n✅ Se eliminaron 4 variables ruidosas')

# ============================================================================
# 3.2 Imputación de valores nulos
# ============================================================================
print('Valores nulos ANTES de imputación:')
print(df_clean.isnull().sum())

# Age: imputar mediana por grupo (Pclass + Sex)
# Esta estrategia preserva la distribución de edad dentro de cada subgrupo
age_medians = df_clean.groupby(['Pclass', 'Sex'])['Age'].median()
print('\nMedianas de edad por grupo (Pclass, Sex):')
print(age_medians)

for pclass in [1, 2, 3]:
    for sex in ['male', 'female']:
        median_age = age_medians[pclass][sex]
        mask = (df_clean['Pclass'] == pclass) & (df_clean['Sex'] == sex) & (df_clean['Age'].isnull())
        df_clean.loc[mask, 'Age'] = median_age

# Fare: imputar media global (1 solo nulo)
df_clean['Fare'].fillna(df_clean['Fare'].mean(), inplace=True)

# Embarked: imputar moda ('S' = Southampton)
df_clean['Embarked'].fillna(df_clean['Embarked'].mode()[0], inplace=True)

print('\nValores nulos DESPUÉS de imputación:')
print(df_clean.isnull().sum())
print('\n✅ Todos los valores nulos han sido tratados')

# ============================================================================
# 4.1 Creación de variables derivadas
# ============================================================================

# family_size: SibSp + Parch + 1 (incluyendo al propio pasajero)
df_clean['FamilySize'] = df_clean['SibSp'] + df_clean['Parch'] + 1

# is_alone: 1 si el pasajero viajó solo (family_size == 1)
df_clean['IsAlone'] = (df_clean['FamilySize'] == 1).astype(int)

print('Distribución de FamilySize:')
print(df_clean['FamilySize'].value_counts().sort_index())
print(f'\nPasajeros solos: {df_clean["IsAlone"].sum()} ({df_clean["IsAlone"].mean()*100:.1f}%)')
print(f'Pasajeros acompañados: {(df_clean["IsAlone"]==0).sum()} ({(1-df_clean["IsAlone"].mean())*100:.1f}%)')

# ============================================================================
# 4.2 Codificación de variables categóricas
# ============================================================================

# Sex: codificación binaria (female=1, male=0)
df_clean['Sex'] = LabelEncoder().fit_transform(df_clean['Sex'])

# Embarked: codificación One-Hot
df_clean = pd.get_dummies(df_clean, columns=['Embarked'], drop_first=True, dtype=int)

print('Dataset preparado para entrenamiento:')
print(f'Dimensiones: {df_clean.shape}')
print(f'Columnas: {list(df_clean.columns)}')
df_clean.head()

# ============================================================================
# 5. División train/test estratificada
# ============================================================================

# Separar features (X) y variable objetivo (y)
X = df_clean.drop(columns=['Survived'])
y = df_clean['Survived']

# División 80/20 con estratificación
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.2, stratify=y, random_state=42
)

print('✅ División train/test realizada')
print(f'\n   Training set: {X_train.shape[0]} filas ({X_train.shape[0]/len(X)*100:.0f}%)')
print(f'   Test set:     {X_test.shape[0]} filas ({X_test.shape[0]/len(X)*100:.0f}%)')
print(f'\n   Distribución de clases en training:')
print(f'     No sobrevivió: {(y_train==0).sum()} ({(y_train==0).mean()*100:.1f}%)')
print(f'     Sobrevivió:    {(y_train==1).sum()} ({(y_train==1).mean()*100:.1f}%)')
print(f'\n   Distribución de clases en test:')
print(f'     No sobrevivió: {(y_test==0).sum()} ({(y_test==0).mean()*100:.1f}%)')
print(f'     Sobrevivió:    {(y_test==1).sum()} ({(y_test==1).mean()*100:.1f}%)')
print(f'\n   Features: {list(X.columns)}')

# ============================================================================
# 6. Entrenamiento de dos modelos
# ============================================================================

# Modelo 1: Random Forest
rf_model = RandomForestClassifier(n_estimators=100, random_state=42, max_depth=5)
rf_model.fit(X_train, y_train)
y_pred_rf = rf_model.predict(X_test)
y_prob_rf = rf_model.predict_proba(X_test)[:, 1]
print('✅ Modelo 1: Random Forest entrenado')

# Modelo 2: Regresión Logística
lr_model = LogisticRegression(max_iter=1000, random_state=42)
lr_model.fit(X_train, y_train)
y_pred_lr = lr_model.predict(X_test)
y_prob_lr = lr_model.predict_proba(X_test)[:, 1]
print('✅ Modelo 2: Regresión Logística entrenada')

# ============================================================================
# 7.1 Tabla comparativa de métricas
# ============================================================================

def calcular_metricas(y_true, y_pred, y_prob):
    """Calcula todas las métricas de evaluación para un modelo."""
    fpr, tpr, _ = roc_curve(y_true, y_prob)
    return {
        'Accuracy': accuracy_score(y_true, y_pred),
        'Precision': precision_score(y_true, y_pred),
        'Recall': recall_score(y_true, y_pred),
        'F1-Score': f1_score(y_true, y_pred),
        'AUC-ROC': auc(fpr, tpr)
    }

metricas_rf = calcular_metricas(y_test, y_pred_rf, y_prob_rf)
metricas_lr = calcular_metricas(y_test, y_pred_lr, y_prob_lr)

# Tabla comparativa
comparativa = pd.DataFrame({
    'Random Forest': metricas_rf,
    'Regresión Logística': metricas_lr
}).T

print('='*70)
print('TABLA COMPARATIVA DE MÉTRICAS DE EVALUACIÓN')
print('='*70)
print(comparativa.round(4).to_string())
print('\n' + '='*70)

# Determinar el ganador por F1-Score
ganador = 'Random Forest' if metricas_rf['F1-Score'] > metricas_lr['F1-Score'] else 'Regresión Logística'
print(f'\n🏆 Modelo con mejor F1-Score: {ganador}')

# ============================================================================
# 7.2 Matrices de confusión
# ============================================================================
fig, axes = plt.subplots(1, 2, figsize=(14, 5))

# Random Forest
ConfusionMatrixDisplay.from_predictions(
    y_test, y_pred_rf, ax=axes[0],
    display_labels=['No Sobrevivió', 'Sobrevivió'],
    cmap='Blues', colorbar=False
)
axes[0].set_title('Matriz de Confusión — Random Forest', fontsize=13, fontweight='bold')

# Regresión Logística
ConfusionMatrixDisplay.from_predictions(
    y_test, y_pred_lr, ax=axes[1],
    display_labels=['No Sobrevivió', 'Sobrevivió'],
    cmap='Oranges', colorbar=False
)
axes[1].set_title('Matriz de Confusión — Regresión Logística', fontsize=13, fontweight='bold')

plt.tight_layout()
plt.show()

# ============================================================================
# 7.3 Classification Reports detallados
# ============================================================================
print('='*60)
print('CLASSIFICATION REPORT — RANDOM FOREST')
print('='*60)
print(classification_report(y_test, y_pred_rf, target_names=['No Sobrevivió', 'Sobrevivió']))

print('\n' + '='*60)
print('CLASSIFICATION REPORT — REGRESIÓN LOGÍSTICA')
print('='*60)
print(classification_report(y_test, y_pred_lr, target_names=['No Sobrevivió', 'Sobrevivió']))

# ============================================================================
# 7.4 Curvas ROC comparativas
# ============================================================================
fig, ax = plt.subplots(figsize=(10, 7))

# Random Forest
fpr_rf, tpr_rf, _ = roc_curve(y_test, y_prob_rf)
auc_rf = auc(fpr_rf, tpr_rf)
ax.plot(fpr_rf, tpr_rf, color='#2ecc71', linewidth=2.5,
        label=f'Random Forest (AUC = {auc_rf:.4f})')

# Regresión Logística
fpr_lr, tpr_lr, _ = roc_curve(y_test, y_prob_lr)
auc_lr = auc(fpr_lr, tpr_lr)
ax.plot(fpr_lr, tpr_lr, color='#e67e22', linewidth=2.5,
        label=f'Regresión Logística (AUC = {auc_lr:.4f})')

# Línea de referencia (clasificador aleatorio)
ax.plot([0, 1], [0, 1], 'k--', linewidth=1, alpha=0.5, label='Clasificador Aleatorio (AUC = 0.5000)')

ax.set_xlabel('Tasa de Falsos Positivos (FPR)', fontsize=12)
ax.set_ylabel('Tasa de Verdaderos Positivos (TPR)', fontsize=12)
ax.set_title('Curvas ROC — Comparación de Modelos', fontsize=14, fontweight='bold')
ax.legend(loc='lower right', fontsize=11)
ax.grid(True, alpha=0.3)
plt.tight_layout()
plt.show()

# ============================================================================
# 7.5 Importancia de variables (Random Forest)
# ============================================================================
importances = pd.Series(rf_model.feature_importances_, index=X.columns).sort_values(ascending=True)

plt.figure(figsize=(10, 6))
importances.plot(kind='barh', color='#3498db', edgecolor='white')
plt.title('Importancia de Variables — Random Forest', fontsize=14, fontweight='bold')
plt.xlabel('Importancia Relativa')
plt.tight_layout()
plt.show()

print('\nRanking de importancia:')
for i, (feat, imp) in enumerate(importances.sort_values(ascending=False).items(), 1):
    print(f'  {i}. {feat}: {imp:.4f}')

# ============================================================================
# 8. Predicción con un nuevo pasajero
# ============================================================================

# Pasajero hipotético: mujer de 28 años, 2ª clase, viajando sola, embarcó en Cherbourg
nuevo_pasajero = pd.DataFrame({
    'Pclass': [2],
    'Sex': [1],          # 1 = male (LabelEncoder: female=0, male=1)
    'Age': [28],
    'SibSp': [0],
    'Parch': [0],
    'Fare': [13.0],
    'FamilySize': [1],
    'IsAlone': [1],
    'Embarked_Q': [0],
    'Embarked_S': [0]
})

# Predicción con ambos modelos
pred_rf = rf_model.predict(nuevo_pasajero)[0]
prob_rf = rf_model.predict_proba(nuevo_pasajero)[0]
pred_lr = lr_model.predict(nuevo_pasajero)[0]
prob_lr = lr_model.predict_proba(nuevo_pasajero)[0]

print('='*60)
print('PREDICCIÓN PARA NUEVO PASAJERO')
print('='*60)
print('\nDatos del pasajero:')
print('  Clase: 2ª | Sexo: Masculino | Edad: 28')
print('  Viaja solo | Tarifa: £13.0 | Embarcó en: Cherbourg')
print(f'\n  Random Forest:        {"Sobrevivió ✅" if pred_rf == 1 else "No sobrevivió ❌"}')
print(f'    Probabilidad:       No={prob_rf[0]:.2%} | Sí={prob_rf[1]:.2%}')
print(f'\n  Regresión Logística:  {"Sobrevivió ✅" if pred_lr == 1 else "No sobrevivió ❌"}')
print(f'    Probabilidad:       No={prob_lr[0]:.2%} | Sí={prob_lr[1]:.2%}')