LA-07 — Eigenvalues, eigenvectors, diagonalization

Why this matters for ML

Los eigenvectors de la covariance matrix son las direcciones principales de tus datos — eso es PCA (LA-10). Los eigenvalues de la Hessian dicen si un punto crítico es mínimo, máximo o silla (Calc-06/10). Google's PageRank, cadenas de Markov, análisis de estabilidad: todo es eigen-cosas. Es el concepto más "poderoso" del pilar.

Concepts covered

• Eigenvalue y eigenvector: definición y significado geométrico
• Characteristic equation $\det(A-\lambda I)=0$
• Cómo calcular eigenvalues/eigenvectors a mano
• Eigendecomposition y diagonalization $A=PDP^{-1}$
• Potencias de matrices vía diagonalization
• Cuándo una matriz es diagonalizable

Intuition first

🎬 3Blue1Brown E.o.L.A. cap. 14 ("Eigenvectors and eigenvalues"). La idea: los eigenvectors son las direcciones que la transformación no gira, solo estira por un factor $\lambda$.

Theory & key results

Definición: $\mathbf{v}\neq\mathbf{0}$ es eigenvector de $A$ con eigenvalue $\lambda$ si $$A\mathbf{v} = \lambda\mathbf{v}.$$ Es decir: aplicar $A$ a $\mathbf{v}$ solo lo escala (no cambia su dirección). $\lambda$ es cuánto.

Cómo encontrarlos: $A\mathbf{v}=\lambda\mathbf{v}\Rightarrow (A-\lambda I)\mathbf{v}=\mathbf{0}$. Para tener $\mathbf{v}\neq\mathbf{0}$, $(A-\lambda I)$ debe ser singular: $$\boxed{\det(A-\lambda I)=0}\quad\text{(characteristic equation)}.$$ Resuelves ese polinomio en $\lambda$ (los eigenvalues), y para cada $\lambda$ resuelves $(A-\lambda I)\mathbf{v}=\mathbf{0}$ (el eigenvector, hasta escala).

Datos útiles: $\sum_i\lambda_i=\text{trace}(A)$ (suma de la diagonal) y $\prod_i\lambda_i=\det(A)$. Buenos checks.

Eigendecomposition / diagonalization: si $A$ ($n\times n$) tiene $n$ eigenvectors independientes, junta los eigenvectors como columnas de $P$ y los eigenvalues en una diagonal $D$: $$A = P D P^{-1}.$$ Significa: cambia a la base de eigenvectors ($P^{-1}$), escala cada eje ($D$), regresa ($P$). En esa base, $A$ es diagonal — la forma más simple posible.

Potencias baratas: $A^k = P D^k P^{-1}$, y $D^k$ es solo elevar la diagonal. Clave para dinámicas (Markov, iteraciones).

Diagonalizable ⟺ hay $n$ eigenvectors independientes. No todas lo son (ej.: shears defectuosos). Pero las symmetric matrices siempre lo son, con eigenvectors ortogonales — eso es LA-08 y la razón de que PCA funcione tan limpio.

Worked example

$A=\begin{bmatrix}2&1\1&2\end{bmatrix}$. Characteristic: $\det!\begin{bmatrix}2-\lambda&1\1&2-\lambda\end{bmatrix} = (2-\lambda)^2-1 = 0$. $(2-\lambda)^2=1\Rightarrow 2-\lambda=\pm1\Rightarrow \lambda=1,,3$.

• $\lambda=3$: $(A-3I)\mathbf{v}=0\Rightarrow \begin{bmatrix}-1&1\1&-1\end{bmatrix}\mathbf{v}=0\Rightarrow \mathbf{v}=(1,1)$.
• $\lambda=1$: $\mathbf{v}=(1,-1)$.

Check: $\lambda_1+\lambda_2=4=\text{trace}$; $\lambda_1\lambda_2=3=\det$. ✓ Los eigenvectors $(1,1)\perp(1,-1)$ (porque $A$ es simétrica).

Notebook exercises (by hand)

1. Eigenvalues/eigenvectors de $\begin{bmatrix}2&0\0&3\end{bmatrix}$ (diagonal: casi trivial — interpreta).
2. Eigenvalues de $\begin{bmatrix}0&1\-2&-3\end{bmatrix}$ vía la characteristic equation.
3. Verifica trace y determinant con tus eigenvalues del ej. 2.
4. Diagonaliza $A=\begin{bmatrix}2&1\1&2\end{bmatrix}$: escribe $P$, $D$ y comprueba $A=PDP^{-1}$.
5. Usa la diagonalization para calcular $A^3$ sin multiplicar $A$ tres veces.
6. Da un ejemplo de matriz $2\times2$ no diagonalizable y explica por qué.
7. Explica por qué "las direcciones que no giran" es útil para entender datos.

Python lab

import numpy as np

A = np.array([[2.,1.],[1.,2.]])
vals, vecs = np.linalg.eig(A)
print("eigenvalues:", vals)              # ~ [3, 1]
print("eigenvectors (columnas):\n", vecs)

# verifica A v = lambda v para la primera pareja
i = 0
print(np.allclose(A @ vecs[:,i], vals[i]*vecs[:,i]))  # True

# checks
print("trace:", np.trace(A), " sum(vals):", vals.sum())
print("det:", np.linalg.det(A), " prod(vals):", vals.prod())

# diagonalization y potencia
P = vecs; D = np.diag(vals)
A3 = P @ np.diag(vals**3) @ np.linalg.inv(P)
print("A^3 ok:", np.allclose(A3, np.linalg.matrix_power(A,3)))

Examen final 📝

Intenta cada nivel antes de abrir las soluciones.

🟡 Medio

1. Eigenvalues y eigenvectors de $\begin{bmatrix}4&1\2&3\end{bmatrix}$ vía la characteristic equation.
2. Verifica tus eigenvalues del ej. 1 con trace y determinant.

🟠 Medio-difícil

3. Diagonaliza $A=\begin{bmatrix}3&1\0&2\end{bmatrix}$: da $P$, $D$ y verifica $A=PDP^{-1}$.
4. Usa la diagonalization para calcular $A^{5}$ de una matriz con eigenvalues $2$ y $0.5$ sin multiplicar 5 veces.

🔴 Difícil

5. Una cadena de Markov tiene matriz de transición $M=\begin{bmatrix}0.9&0.2\0.1&0.8\end{bmatrix}$. Encuentra su distribución estacionaria como el eigenvector de eigenvalue 1 (normalizado a sumar 1) y explica por qué $M^k$ converge.
6. Da un ejemplo de matriz $2\times2$ real no diagonalizable (defective), muestra que tiene un eigenvalue repetido con un solo eigenvector independiente, y explica por qué falla la diagonalization.