LA-05 — Inverse & determinant

Why this matters for ML

La solución "de libro" de la regresión lineal es $\mathbf{w} = (X^\top X)^{-1} X^\top \mathbf{y}$ — un inverse. El determinant aparece en la fórmula de la densidad gaussiana multivariada (Prob-06) y te dice si una transformación colapsa el espacio (matriz singular = problema). Saber cuándo NO existe el inverse es tan importante como calcularlo.

Concepts covered

• Matrix inverse $A^{-1}$ e invertibilidad
• Cálculo del inverse (Gauss–Jordan; fórmula $2\times2$)
• Determinant: definición y significado geométrico (factor de área/volumen)
• Propiedades del determinant
• Singularidad: cuándo se rompe todo
• Relación inverse ↔ determinant ↔ rank

Intuition first

🎬 3Blue1Brown E.o.L.A. cap. 5 ("The determinant") y cap. 6 (inverse, rank, column space). El determinant como "cuánto escala las áreas" es la idea central.

Theory & key results

Inverse: $A^{-1}$ es la matriz que deshace $A$: $A A^{-1} = A^{-1}A = I$. Solo existe para $A$ cuadrada y full rank (no singular). Con él, $A\mathbf{x}=\mathbf{b}\Rightarrow \mathbf{x}=A^{-1}\mathbf{b}$.

Fórmula $2\times2$: $$A=\begin{bmatrix}a&b\c&d\end{bmatrix}\Rightarrow A^{-1}=\frac{1}{ad-bc}\begin{bmatrix}d&-b\-c&a\end{bmatrix}.$$ Ese $ad-bc$ es el determinant. Si es 0, no hay inverse.

Determinant $\det(A)$: un escalar que mide cuánto escala $A$ el área/volumen (con signo: negativo = invierte orientación). $\det=0$ significa que $A$ colapsa el espacio a una dimensión menor (aplasta un plano a una recta) → no invertible, columnas dependientes, rank deficiente.

Propiedades clave:

• $\det(AB)=\det(A)\det(B)$
• $\det(A^\top)=\det(A)$
• $\det(A^{-1})=1/\det(A)$
• $\det(I)=1$; para triangular, $\det$ = producto de la diagonal.
• $A$ invertible $\Leftrightarrow \det(A)\neq0 \Leftrightarrow \text{rank}=n \Leftrightarrow N(A)={\mathbf{0}}$.

Aviso de práctica ML: casi nunca calculas $A^{-1}$ explícitamente para resolver sistemas (es caro e inestable). Usas solve (eliminación) o factorizaciones. El inverse es sobre todo una herramienta conceptual.

Worked example

$A=\begin{bmatrix}4&7\2&6\end{bmatrix}$. $\det = 4\cdot6 - 7\cdot2 = 24-14 = 10 \neq 0$ → invertible. $$A^{-1}=\frac{1}{10}\begin{bmatrix}6&-7\-2&4\end{bmatrix}=\begin{bmatrix}0.6&-0.7\-0.2&0.4\end{bmatrix}.$$ Chequeo: $AA^{-1}=I$ (multiplícalo). El área de un cuadrito unitario se multiplica por 10 al aplicar $A$.

Notebook exercises (by hand)

1. Calcula $\det$ e inverse de $\begin{bmatrix}2&1\1&1\end{bmatrix}$ y verifica $AA^{-1}=I$.
2. Muestra que $\begin{bmatrix}1&2\2&4\end{bmatrix}$ no es invertible; conéctalo con LA-02 (columnas dependientes).
3. Sin calcular el inverse completo, di si $\begin{bmatrix}3&0&0\1&5&0\9&2&2\end{bmatrix}$ es invertible (usa que es triangular).
4. Verifica $\det(AB)=\det A\det B$ con dos matrices $2\times2$.
5. Si $\det(A)=0$, ¿qué le pasa al volumen tras aplicar $A$? ¿Y al null space?
6. Explica por qué en ML preferimos np.linalg.solve(A,b) sobre inv(A) @ b.

Python lab

import numpy as np
from numpy.linalg import inv, det, solve

A = np.array([[4.,7.],[2.,6.]]); b = np.array([1.,1.])
print("det:", det(A))                 # 10
print("inv:\n", inv(A))
print("A @ inv(A):\n", A @ inv(A))     # ~ identidad

# forma preferida vs. inverse explícito
print(np.allclose(solve(A, b), inv(A) @ b))  # True, pero solve es mejor

# matriz singular
S = np.array([[1.,2.],[2.,4.]])
print("det singular:", det(S))         # ~ 0
try:
    inv(S)
except np.linalg.LinAlgError as e:
    print("no invertible:", e)

Examen final 📝

Intenta cada nivel antes de abrir las soluciones.

🟡 Medio

1. Calcula $\det$ e inverse de $\begin{bmatrix}3&1\2&4\end{bmatrix}$ y verifica $AA^{-1}=I$.
2. ¿Es invertible $\begin{bmatrix}2&4\1&2\end{bmatrix}$? Justifica con el determinant.

🟠 Medio-difícil

3. Sin calcular el inverse completo, argumenta si $\begin{bmatrix}2&0&0\5&3&0\1&7&4\end{bmatrix}$ es invertible y da su $\det$.
4. Demuestra que $\det(A^{-1})=1/\det(A)$ usando $\det(AB)=\det A\det B$.

🔴 Difícil

5. En la densidad gaussiana multivariada aparece $|\Sigma|^{1/2}$ y $\Sigma^{-1}$. Explica qué significa geométricamente que $\det(\Sigma)\to0$ (matriz casi singular) y por qué eso rompe numéricamente el cálculo de la densidad (relación con LA-08).
6. Demuestra que si $A$ es ortogonal ($A^\top A=I$) entonces $\det(A)=\pm1$, e interpreta el signo geométricamente.