Learning Hub

Este módulo cierra el pilar juntando todo: dot products (01), bases (02), projections (06), eigenvectors (07), definiteness (08) y SVD (09) se combinan en dos algoritmos de ML de verdad — PCA (reducción de dimensión no supervisada) y least squares regression (el modelo predictivo más fundamental). Aquí tu álgebra lineal deja de ser abstracta.

Why this matters for ML

Este módulo cierra el pilar juntando todo: dot products (01), bases (02), projections (06), eigenvectors (07), definiteness (08) y SVD (09) se combinan en dos algoritmos de ML de verdad — PCA (reducción de dimensión no supervisada) y least squares regression (el modelo predictivo más fundamental). Aquí tu álgebra lineal deja de ser abstracta.

Concepts covered

Least squares regression via normal equations y via QR/SVD
Covariance matrix desde datos
PCA: derivación por eigenvectors de la covariance y por SVD
Explained variance y elección de componentes
Conexión projection ↔ regresión y eigenvectors ↔ direcciones principales

Intuition first

🎬 StatQuest "PCA step by step" (Josh Starmer) para el qué/por qué; luego relee LA-06 (projections) y LA-07/09 (eigen/SVD) para el cómo. MML cap. 9 (regresión) y cap. 10 (PCA).

Theory & key results

Least squares regression

Modelo: predecir $\mathbf{y}\approx X\mathbf{w}$ con features $X$ ( $m$ ejemplos × $n$ features) y pesos $\mathbf{w}$ . Como no hay ajuste exacto, minimizamos el error cuadrático $|X\mathbf{w}-\mathbf{y}|^2$ . Solución (normal equations, LA-06): $\hat{\mathbf{w}} = (X^\top X)^{-1}X^\top\mathbf{y}.$ Interpretación: $\hat{\mathbf{y}}=X\hat{\mathbf{w}}$ es la projection de $\mathbf{y}$ sobre el column space de $X$ . En la práctica se resuelve con QR o SVD (más estable que invertir $X^\top X$ ); la pseudo-inversa $X^+ = V\Sigma^+U^\top$ (de la SVD) da $\hat{\mathbf{w}}=X^+\mathbf{y}$ incluso si $X^\top X$ es singular.

PCA (Principal Component Analysis)

Objetivo: encontrar las direcciones de máxima varianza de los datos y proyectar sobre las pocas más importantes (reducir dimensión perdiendo lo mínimo).

Receta:

Centra los datos: $\tilde{X}=X-\bar{\mathbf{x}}$ (resta la media de cada feature).
Covariance matrix: $C=\frac{1}{m-1}\tilde{X}^\top\tilde{X}$ (simétrica, PSD → LA-08).
Eigendecomposition de $C$ : los eigenvectors son los principal components (direcciones), y los eigenvalues son la varianza capturada por cada uno.
Ordena por eigenvalue descendente; quédate con los top $k$ .
Proyecta: $Z = \tilde{X},W_k$ , donde $W_k$ son los $k$ eigenvectors principales (esto es projection, LA-06).

Vía SVD (equivalente y preferida): haz SVD de $\tilde{X}=U\Sigma V^\top$ ; las columnas de $V$ son los principal components y $\sigma_i^2/(m-1)$ las varianzas. Es más estable numéricamente que formar $C$ .

Explained variance ratio: $\lambda_i/\sum_j\lambda_j$ dice qué fracción de la varianza total captura el componente $i$ . Eliges $k$ para retener, p. ej., el 95%.

Worked example (PCA, mini)

Datos 2D muy correlacionados: puntos casi sobre la recta $y=x$ . La covariance tendrá un eigenvector $\approx(1,1)/\sqrt2$ con eigenvalue grande (mucha varianza a lo largo de la diagonal) y otro $\approx(1,-1)/\sqrt2$ con eigenvalue chico. PCA con $k=1$ proyecta todo sobre la diagonal: pasas de 2D a 1D perdiendo casi nada. Ese es el corazón de la reducción de dimensión.

Notebook exercises (by hand)

Deriva $\hat{\mathbf{w}}=(X^\top X)^{-1}X^\top\mathbf{y}$ minimizando $|X\mathbf{w}-\mathbf{y}|^2$ (usa LA-06 o cálculo).
Con datos ${(1,1),(2,2),(3,2)}$ ajusta una recta $y=w_0+w_1x$ por normal equations, a mano.
Escribe la covariance matrix de ${(2,0),(0,2),(-2,0),(0,-2)}$ (ya centrados).
Explica por qué los principal components son ortogonales (pista: $C$ simétrica → LA-08).
Si los eigenvalues de $C$ son ${6, 3, 1}$ , ¿qué % de varianza retienes con 2 componentes?
Argumenta por qué se centran los datos antes de PCA.

Python lab

import numpy as np

# ---------- Least squares ----------
rng = np.random.default_rng(0)
X = np.c_[np.ones(50), rng.uniform(0, 10, 50)]   # columna de 1s + feature
w_true = np.array([2.0, 0.5])
y = X @ w_true + rng.normal(0, 1, 50)
w_hat = np.linalg.lstsq(X, y, rcond=None)[0]      # estable (QR/SVD internamente)
print("w estimado:", w_hat, " (verdadero ~", w_true, ")")

# ---------- PCA desde cero ----------
def pca(data, k):
    Xc = data - data.mean(axis=0)                 # 1) centrar
    U, s, Vt = np.linalg.svd(Xc, full_matrices=False)  # 2) SVD
    comps = Vt[:k]                                # principal components
    var = (s**2) / (len(data) - 1)
    ratio = var / var.sum()
    Z = Xc @ comps.T                              # 3) proyectar
    return Z, comps, ratio

# datos 2D correlacionados
base = rng.normal(size=(200, 1))
D = np.c_[base + 0.1*rng.normal(size=(200,1)),
          base + 0.1*rng.normal(size=(200,1))]
Z, comps, ratio = pca(D, k=1)
print("explained variance ratio (comp 1):", ratio[0])   # ~0.98+

Compara tu pca con sklearn.decomposition.PCA si tienes sklearn (opcional): deben coincidir salvo signo.

Examen final 📝

Intenta cada nivel antes de abrir las soluciones.

🟡 Medio

Ajusta una recta $y=w_0+w_1x$ a ${(0,1),(1,3),(2,4)}$ por normal equations, a mano.
Si los eigenvalues de la covariance matrix son ${8, 5, 2, 1}$ , ¿qué fracción de varianza retienes con los 2 primeros componentes?

🟠 Medio-difícil

Escribe la covariance matrix de los datos ya centrados ${(1,1),(-1,-1),(1,-1),(-1,1)}$ y calcula sus principal components a mano.
Explica por qué PCA da direcciones ortogonales y por qué los eigenvalues son siempre $\ge0$ (conecta con LA-06/08).

🔴 Difícil

Deriva PCA como un problema de optimización con restricción: maximizar la varianza $\mathbf w^\top C\mathbf w$ sujeto a $|\mathbf w|=1$ . Usa Lagrange multipliers (Calc-10) y muestra que la solución óptima es el eigenvector principal de $C$ .
Muestra que hacer PCA vía eigendecomposition de $C=\frac{1}{m-1}\tilde X^\top\tilde X$ es equivalente a hacer SVD de $\tilde X$ directamente, y explica por qué la ruta SVD es preferible numéricamente (relación con LA-06 ej. 6 y LA-09).

✅ Soluciones

$X=\begin{bmatrix}1&0\1&1\1&2\end{bmatrix}$ , $\mathbf y=(1,3,4)$ . $X^\top X=\begin{bmatrix}3&3\3&5\end{bmatrix}$ , $X^\top\mathbf y=(8,11)$ . Resolviendo: $w_1=1.5$ , $w_0=8/3-3\cdot1.5/...$ → $w_0=7/6\approx1.17$ , $w_1=1.5$ . (Recta $y\approx1.17+1.5x$ .)
$(8+5)/(8+5+2+1)=13/16=0.8125$ → 81.25%.
$C=\frac{1}{3}\tilde X^\top\tilde X$ ; $\tilde X^\top\tilde X=\begin{bmatrix}4&0\0&4\end{bmatrix}$ ⇒ $C=\frac{4}{3}I$ . Eigenvalues iguales ⇒ cualquier dirección ortonormal es principal (datos isotrópicos, sin dirección preferida).
$C$ es simétrica ⇒ spectral theorem (LA-08): eigenvectors ortogonales. $C$ es PSD ( $C=\frac{1}{m-1}\tilde X^\top\tilde X$ , forma $M^\top M$ ) ⇒ eigenvalues $\ge0$ (= varianzas, no pueden ser negativas).
Lagrangiano $\mathcal L=\mathbf w^\top C\mathbf w-\lambda(\mathbf w^\top\mathbf w-1)$ . $\nabla_{\mathbf w}\mathcal L=2C\mathbf w-2\lambda\mathbf w=0\Rightarrow C\mathbf w=\lambda\mathbf w$ : $\mathbf w$ es eigenvector de $C$ con eigenvalue $\lambda$ . La varianza en esa dirección es $\mathbf w^\top C\mathbf w=\lambda$ , máxima al elegir el mayor eigenvalue ⇒ eigenvector principal.
$\tilde X=U\Sigma V^\top\Rightarrow \tilde X^\top\tilde X=V\Sigma^2V^\top$ , así que $C=\frac{1}{m-1}V\Sigma^2V^\top$ : eigenvectors de $C$ = columnas de $V$ (right singular vectors), eigenvalues = $\sigma_i^2/(m-1)$ . La SVD evita formar $\tilde X^\top\tilde X$ (que eleva al cuadrado el condition number) ⇒ más estable.

LA-10 — Applications: PCA & least squares