LA-06 — Orthogonality, projections, Gram–Schmidt

Why this matters for ML

La regresión por mínimos cuadrados es literalmente una projection: proyectas el vector de observaciones sobre el column space de tus features, y el "error" es lo perpendicular. Las bases ortonormales hacen los cálculos estables y baratos (aparecen en QR, PCA, SVD). Este módulo es el puente directo a LA-10.

Concepts covered

• Ortogonalidad y conjuntos ortonormales
• Orthogonal projection sobre una recta y sobre un subspace
• Least squares como projection (intuición)
• Gram–Schmidt (construir bases ortonormales)
• Orthogonal matrices y la idea de QR

Intuition first

🎬 3Blue1Brown E.o.L.A. cap. 9 ("Dot products and duality"). Complementa con Strang 18.06 L15 (projections). Idea: la proyección es "la sombra" de un vector sobre un subespacio.

Theory & key results

Ortogonalidad: $\mathbf{u}\perp\mathbf{v} \Leftrightarrow \mathbf{u}\cdot\mathbf{v}=0$. Un conjunto es orthonormal si todos son ortogonales entre sí y de norma 1.

Projection sobre una recta (dirección $\mathbf{u}$): la sombra de $\mathbf{v}$ sobre $\mathbf{u}$ es $$\text{proj}$${\mathbf{u}}(\mathbf{v}) = \frac{\mathbf{u}\cdot\mathbf{v}}{\mathbf{u}\cdot\mathbf{u}},\mathbf{u}.proju​(v)=u⋅uu⋅v​u. El residuo $\mathbf{v} - \text{proj}${\mathbf{u}}(\mathbf{v}) es $\perp \mathbf{u}$.

Projection sobre el column space de $A$: la matriz de proyección es $$P = A(A^\top A)^{-1}A^\top,\qquad \hat{\mathbf{b}} = P\mathbf{b}.$$ $\hat{\mathbf{b}}$ es el punto del column space más cercano a $\mathbf{b}$. Propiedades: $P^2=P$ y $P^\top=P$.

Least squares (por qué): cuando $A\mathbf{x}=\mathbf{b}$ no tiene solución exacta (más ecuaciones que incógnitas, datos ruidosos), buscas $\hat{\mathbf{x}}$ que minimiza $|A\mathbf{x}-\mathbf{b}|^2$. La solución cumple las normal equations: $$A^\top A,\hat{\mathbf{x}} = A^\top\mathbf{b}.$$ Geométricamente: el error óptimo es perpendicular al column space (proyección). Esto es la regresión lineal (LA-10).

Gram–Schmidt: convierte una base cualquiera ${\mathbf{v}_1,\dots}$ en una ortonormal ${\mathbf{q}_1,\dots}$ restando a cada vector sus proyecciones sobre los anteriores y normalizando. Produce la QR decomposition $A=QR$ ($Q$ ortonormal, $R$ triangular superior).

Orthogonal matrix $Q$: columnas ortonormales, $Q^\top Q=I$, así que $Q^{-1}=Q^\top$ (¡barato!). Preserva longitudes y ángulos (rota/refleja sin distorsionar). Con QR, las normal equations se resuelven de forma estable: $R\hat{\mathbf{x}}=Q^\top\mathbf{b}$.

Worked example

Proyecta $\mathbf{b}=(2,3)$ sobre $\mathbf{u}=(1,0)$: $\text{proj} = \frac{(1,0)\cdot(2,3)}{(1,0)\cdot(1,0)}(1,0) = \frac{2}{1}(1,0) = (2,0)$. Residuo $(0,3)\perp(1,0)$. ✓ (la sombra sobre el eje x es la componente x).

Notebook exercises (by hand)

1. Proyecta $(3,4)$ sobre la recta dirección $(1,1)$; da la proyección y el residuo, y verifica que el residuo es perpendicular.
2. Aplica Gram–Schmidt a ${(1,1,0),(1,0,1)}$ para obtener dos vectores ortonormales.
3. Verifica que si $Q$ tiene columnas ortonormales entonces $|Q\mathbf{x}|=|\mathbf{x}|$.
4. Deriva las normal equations $A^\top A\hat{\mathbf{x}}=A^\top\mathbf{b}$ imponiendo que el residuo $\mathbf{b}-A\hat{\mathbf{x}}$ sea $\perp$ a las columnas de $A$.
5. Comprueba $P^2=P$ para $P=A(A^\top A)^{-1}A^\top$ con un $A$ de $2$ columnas.
6. Explica en una frase por qué least squares "no resuelve" el sistema, sino que encuentra lo más cercano.

Python lab

import numpy as np

def proj(u, v):
    return (u @ v) / (u @ u) * u

u = np.array([1.,1.]); v = np.array([3.,4.])
p = proj(u, v); r = v - p
print("proj:", p, " residuo:", r, " perp?", np.isclose(u @ r, 0))

# least squares vía normal equations vs. np.linalg.lstsq
A = np.array([[1.,1.],[1.,2.],[1.,3.]]); b = np.array([1.,2.,2.])
x_normal = np.linalg.solve(A.T @ A, A.T @ b)
x_lstsq, *_ = np.linalg.lstsq(A, b, rcond=None)
print("normal:", x_normal, " lstsq:", x_lstsq)   # coinciden

# QR
Q, R = np.linalg.qr(A)
print("Q^T Q ~ I:\n", np.round(Q.T @ Q, 6))

Reto: implementa Gram–Schmidt a mano y compara tu $Q$ con np.linalg.qr.

Examen final 📝

Intenta cada nivel antes de abrir las soluciones.

🟡 Medio

1. Proyecta $\mathbf b=(4,2)$ sobre la dirección $\mathbf u=(1,1)$; da proyección y residuo, y confirma perpendicularidad.
2. Verifica que ${(1,0),(0,1)}$ y ${(0.6,0.8),(-0.8,0.6)}$ son ambas bases ortonormales de $\mathbb{R}^2$.

🟠 Medio-difícil

3. Aplica Gram–Schmidt a ${(1,1,1),(1,1,0)}$ para obtener dos vectores ortonormales.
4. Demuestra que la matriz de proyección $P=A(A^\top A)^{-1}A^\top$ cumple $P^2=P$ y $P^\top=P$, e interpreta ambas propiedades.

🔴 Difícil

5. Deriva las normal equations $A^\top A\hat{\mathbf x}=A^\top\mathbf b$ de dos formas: (a) imponiendo que el residuo sea ⊥ a $C(A)$, y (b) minimizando $|A\mathbf x-\mathbf b|^2$ con cálculo (Calc-09). Confirma que dan lo mismo.
6. Explica por qué resolver least squares vía QR ($A=QR\Rightarrow R\hat{\mathbf x}=Q^\top\mathbf b$) es numéricamente más estable que formar y resolver $A^\top A\hat{\mathbf x}=A^\top\mathbf b$ (pista: condition number, $\kappa(A^\top A)=\kappa(A)^2$).