Calc-09 — Matrix calculus

Why this matters for ML

En ML nunca derivas respecto a una variable: derivas la loss respecto a vectores y matrices de parámetros (los pesos $W$). Matrix calculus te da las identidades compactas para hacerlo sin desglosar millones de parciales a mano. Es el lenguaje en el que están escritos los gradientes de todos los papers. Domina un puñado de identidades y podrás derivar los gradientes de casi cualquier modelo lineal.

Concepts covered

• Derivadas respecto a vectores y matrices
• Layout conventions (numerator vs. denominator)
• Identidades clave ($\nabla \mathbf{a}^\top\mathbf{x}$, $\nabla \mathbf{x}^\top A\mathbf{x}$, $\nabla |A\mathbf{x}-\mathbf{b}|^2$)
• Gradiente de la loss de regresión lineal (derivación completa)
• Conexión con Jacobian (Calc-06)

Intuition first

📄 "The Matrix Calculus You Need For Deep Learning" — Parr & Howard (explained.ai/matrix-calculus). Es el recurso definitivo y gratuito para este módulo. MML sección 5.5 también.

Theory & key results

Gradiente respecto a un vector: si $f:\mathbb{R}^n\to\mathbb{R}$, entonces $\nabla_{\mathbf{x}}f$ es un vector con $(\nabla f)_i=\partial f/\partial x_i$ (esto ya lo viste en Calc-05). Matrix calculus solo lo extiende a expresiones con matrices.

Layout convention: hay dos convenciones (numerator/denominator layout) que difieren en si el resultado sale traspuesto. Elige una y sé consistente. Aquí usamos denominator layout (el gradiente tiene la misma forma que la variable — lo más común en ML). Lo importante: verifica siempre las dimensiones.

Identidades esenciales (con $\mathbf{a}$, $A$ constantes, $A$ simétrica donde aplique):

Respecto a matrices: $\nabla_W f$ es una matriz del mismo tamaño que $W$. Ejemplos clave: $\nabla_W (\mathbf{a}^\top W\mathbf{b}) = \mathbf{a}\mathbf{b}^\top$; y en una capa $\mathbf{z}=W\mathbf{x}$, el gradiente de la loss respecto a $W$ es $\nabla_W L = (\nabla_{\mathbf{z}}L),\mathbf{x}^\top$ (un outer product — justo lo que usa backprop).

Derivación estrella — gradiente de la regresión lineal: $$L(\mathbf{w}) = |X\mathbf{w}-\mathbf{y}|^2 = (X\mathbf{w}-\mathbf{y})^\top(X\mathbf{w}-\mathbf{y}).$$ Usando la identidad de arriba, $\nabla_{\mathbf{w}}L = 2X^\top(X\mathbf{w}-\mathbf{y})$. Igualando a cero: $X^\top X\mathbf{w}=X^\top\mathbf{y}$ → las normal equations (LA-06/10). Así se conectan cálculo y álgebra lineal en un solo resultado.

Worked example

$f(\mathbf{x})=\mathbf{x}^\top A\mathbf{x}$ con $A=\begin{bmatrix}2&0\0&3\end{bmatrix}$ (simétrica). Entonces $f=2x_1^2+3x_2^2$ y a mano $\nabla f=(4x_1,6x_2)$. Con la identidad: $\nabla f = 2A\mathbf{x}=2\begin{bmatrix}2&0\0&3\end{bmatrix}\mathbf{x}=(4x_1,6x_2)$. ✓ Coincide.

Notebook exercises (by hand)

1. Calcula $\nabla_{\mathbf{x}}(\mathbf{a}^\top\mathbf{x})$ desarrollando componente a componente y confirma que es $\mathbf{a}$.
2. Calcula $\nabla_{\mathbf{x}}(\mathbf{x}^\top\mathbf{x})$ y confirma $2\mathbf{x}$.
3. Deriva $\nabla_{\mathbf{x}}(\mathbf{x}^\top A\mathbf{x})$ para $A$ general y muestra que da $(A+A^\top)\mathbf{x}$.
4. Deriva $\nabla_{\mathbf{w}}|X\mathbf{w}-\mathbf{y}|^2$ paso a paso e iguala a 0 para recuperar las normal equations.
5. Verifica dimensiones: si $X$ es $m\times n$, ¿qué forma tiene $\nabla_{\mathbf{w}}L$? ¿Cuadra con $\mathbf{w}$?
6. Para $\mathbf{z}=W\mathbf{x}$, argumenta por qué $\nabla_W L=(\nabla_{\mathbf{z}}L)\mathbf{x}^\top$ tiene la forma correcta.

Python lab

import numpy as np

# verifica ∇(xᵀAx) = (A+Aᵀ)x con gradiente numérico
def num_grad(f, x, h=1e-6):
    g = np.zeros_like(x)
    for i in range(len(x)):
        e = np.zeros_like(x); e[i] = h
        g[i] = (f(x+e) - f(x-e))/(2*h)
    return g

A = np.array([[2., 1.],[0., 3.]])
x = np.array([1., 2.])
f = lambda v: v @ A @ v
print("numérico:", num_grad(f, x))
print("identidad:", (A + A.T) @ x)          # coinciden

# gradiente de la loss de regresión y check con las normal equations
rng = np.random.default_rng(0)
X = rng.normal(size=(20, 3)); w_true = np.array([1., -2., 0.5])
y = X @ w_true + rng.normal(0, 0.1, 20)
grad = lambda w: 2*X.T @ (X @ w - y)
w_star = np.linalg.solve(X.T @ X, X.T @ y)   # normal equations
print("grad en w_star ~ 0:", np.round(grad(w_star), 6))

Examen final 📝

Intenta cada nivel antes de abrir las soluciones.

🟡 Medio

1. Calcula $\nabla_{\mathbf x}(\mathbf a^\top\mathbf x)$ y $\nabla_{\mathbf x}(\mathbf x^\top\mathbf x)$.
2. Para $A$ simétrica, calcula $\nabla_{\mathbf x}(\mathbf x^\top A\mathbf x)$.

🟠 Medio-difícil

3. Deriva $\nabla_{\mathbf w}|X\mathbf w-\mathbf y|^2$ y verifica dimensiones ($X\in\mathbb{R}^{m\times n}$).
4. Para una capa $\mathbf z=W\mathbf x$, deriva $\frac{\partial L}{\partial W}$ en función de $\frac{\partial L}{\partial \mathbf z}$ y $\mathbf x$, y confirma que es un outer product de la forma correcta.

🔴 Difícil

5. Deriva el gradiente de la loss de ridge regression $L(\mathbf w)=|X\mathbf w-\mathbf y|^2+\lambda|\mathbf w|^2$, iguala a 0 y muestra que $\hat{\mathbf w}=(X^\top X+\lambda I)^{-1}X^\top\mathbf y$. Explica por qué el término $\lambda I$ hace la matriz siempre invertible (relación con LA-08).
6. Deriva el gradiente de la cross-entropy con softmax: para $L=-\sum_k y_k\log s_k$ con $\mathbf s=\text{softmax}(\mathbf z)$, demuestra el resultado famoso $\frac{\partial L}{\partial \mathbf z}=\mathbf s-\mathbf y$.