LA-08 — Symmetric matrices, quadratic forms, positive definiteness

Why this matters for ML

Dos de las matrices más importantes en ML son simétricas: la covariance matrix (Prob-06, PCA) y la Hessian (Calc-06). Que una Hessian sea positive definite significa que estás en un mínimo (tu modelo convergió bien); indefinite significa un saddle point (el terror del deep learning). Quadratic forms $\mathbf{x}^\top A\mathbf{x}$ son la forma de casi toda loss cuadrática.

Concepts covered

• Symmetric matrices y sus propiedades especiales
• Spectral theorem (eigen-descomposición ortogonal)
• Quadratic forms $\mathbf{x}^\top A\mathbf{x}$
• Positive/negative (semi)definite e indefinite
• Test de definiteness vía eigenvalues
• Conexión con mínimos/máximos/saddles

Intuition first

🎬 Repasa 3Blue1Brown E.o.L.A. cap. 14 pensando en el caso simétrico (eigenvectors perpendiculares). Complementa con Strang 18.06 L25–L28 (symmetric, positive definite).

Theory & key results

Symmetric: $A=A^\top$. Propiedades regalo:

• Sus eigenvalues son reales.
• Sus eigenvectors se pueden elegir ortonormales.

Spectral theorem: toda matriz simétrica se descompone como $$A = Q\Lambda Q^\top,$$ con $Q$ ortogonal (eigenvectors ortonormales) y $\Lambda$ diagonal (eigenvalues). Es la eigendecomposition de LA-07, pero ortogonal (por eso $Q^{-1}=Q^\top$). Este es el motor de PCA y SVD.

Quadratic form: para $A$ simétrica, $q(\mathbf{x}) = \mathbf{x}^\top A\mathbf{x} = \sum_{i,j}A_{ij}x_i x_j$. Es un escalar; generaliza $ax^2$ a muchas variables. En la base de eigenvectors se vuelve $\sum_i \lambda_i y_i^2$ — una suma de parábolas escaladas por los eigenvalues.

Definiteness (según el signo de $q(\mathbf{x})$ para todo $\mathbf{x}\neq0$):

Test práctico: calcula los eigenvalues y mira sus signos. (Alternativa: leading principal minors — Sylvester's criterion.) Una covariance matrix siempre es positive semidefinite.

Conexión clave con optimización (Calc-10): la Hessian $H$ de una loss en un punto crítico es simétrica; su definiteness clasifica el punto: PD → mínimo local, ND → máximo, indefinite → saddle.

Worked example

$A=\begin{bmatrix}2&1\1&2\end{bmatrix}$ (simétrica). Eigenvalues (de LA-07): $3$ y $1$, ambos $>0$ → positive definite. Entonces $q(\mathbf{x})=2x_1^2+2x_1x_2+2x_2^2 > 0$ para todo $\mathbf{x}\neq0$: es un cuenco, su único punto crítico (el origen) es un mínimo.

Contraejemplo: $B=\begin{bmatrix}1&0\0&-1\end{bmatrix}$ tiene eigenvalues $1,-1$ → indefinite; $q(\mathbf{x})=x_1^2-x_2^2$ es una silla.

Notebook exercises (by hand)

1. Verifica que $A=\begin{bmatrix}2&1\1&2\end{bmatrix}$ es simétrica y escribe $\mathbf{x}^\top A\mathbf{x}$ como polinomio en $x_1,x_2$.
2. Clasifica $\begin{bmatrix}3&0\0&1\end{bmatrix}$, $\begin{bmatrix}0&1\1&0\end{bmatrix}$, $\begin{bmatrix}-2&0\0&-5\end{bmatrix}$ por sus eigenvalues.
3. Demuestra que para cualquier matriz real $M$, $M^\top M$ es simétrica y positive semidefinite.
4. Escribe la spectral decomposition $A=Q\Lambda Q^\top$ de la matriz del ej. 1.
5. Si la Hessian de una loss en un punto crítico tiene eigenvalues ${4, -2}$, ¿qué tipo de punto es y qué implica para el entrenamiento?
6. Argumenta por qué una covariance matrix nunca puede ser negative definite.

Python lab

import numpy as np

def classify(A):
    w = np.linalg.eigvalsh(A)     # eigvalsh: para matrices simétricas
    if np.all(w > 0):  return "positive definite (mínimo)"
    if np.all(w >= 0): return "positive semidefinite"
    if np.all(w < 0):  return "negative definite (máximo)"
    return "indefinite (saddle)"

for M in [np.array([[2.,1.],[1.,2.]]),
          np.array([[1.,0.],[0.,-1.]]),
          np.array([[3.,0.],[0.,1.]])]:
    print(classify(M), "  eig:", np.linalg.eigvalsh(M))

# spectral theorem: A = Q Λ Qᵀ
A = np.array([[2.,1.],[1.,2.]])
w, Q = np.linalg.eigh(A)
print("reconstruye A:", np.allclose(Q @ np.diag(w) @ Q.T, A))
print("Q ortogonal:", np.allclose(Q.T @ Q, np.eye(2)))

# MᵀM siempre PSD
M = np.random.randn(4,3)
print("min eig de MᵀM:", np.linalg.eigvalsh(M.T @ M).min() >= -1e-9)

Examen final 📝

Intenta cada nivel antes de abrir las soluciones.

🟡 Medio

1. Escribe $\mathbf x^\top A\mathbf x$ como polinomio para $A=\begin{bmatrix}3&2\2&5\end{bmatrix}$.
2. Clasifica la definiteness de $\begin{bmatrix}2&0\0&-3\end{bmatrix}$ y $\begin{bmatrix}4&1\1&4\end{bmatrix}$ por sus eigenvalues.

🟠 Medio-difícil

3. Demuestra que para cualquier $M\in\mathbb{R}^{m\times n}$, la matriz $M^\top M$ es simétrica y positive semidefinite.
4. Escribe la spectral decomposition $A=Q\Lambda Q^\top$ de $A=\begin{bmatrix}3&2\2&3\end{bmatrix}$.

🔴 Difícil

5. La Hessian de una loss en un punto crítico es $H=\begin{bmatrix}2&-1&0\-1&2&-1\0&-1&2\end{bmatrix}$. Determina si el punto es mínimo, máximo o saddle (calcula/argumenta el signo de los eigenvalues; pista: es la matriz de un grafo camino, todos sus eigenvalues son positivos).
6. Demuestra que una matriz simétrica $A$ es positive definite si y solo si puede escribirse como $A=B^\top B$ con $B$ de rank completo (relación con Cholesky, LA-09).