Calc-06 — Jacobian & Hessian

Why this matters for ML

Cuando una función devuelve un vector (p. ej. una capa de red que produce muchas activaciones), su derivada es una matriz: el Jacobian. Cuando quieres saber la curvatura de tu loss (¿estás en un mínimo, un máximo o un saddle?), miras la Hessian. El Jacobian es el engranaje de backpropagation; la Hessian es la base de métodos de optimización de segundo orden (Newton) y del análisis de convergencia.

Concepts covered

• Jacobian de $f:\mathbb{R}^n\to\mathbb{R}^m$
• Hessian de $f:\mathbb{R}^n\to\mathbb{R}$ (matriz de segundas parciales)
• Simetría de la Hessian (Schwarz)
• Clasificación de critical points vía definiteness de la Hessian (usa LA-08)
• Relación gradient ↔ Jacobian ↔ Hessian

Intuition first

Repasa Calc-05 (gradient) y Khan Academy — Multivariable Calculus (Jacobian, Hessian). Idea: el Jacobian es "todas las parciales de todas las salidas"; la Hessian es "el gradient del gradient".

Theory & key results

Jacobian: para $f:\mathbb{R}^n\to\mathbb{R}^m$, $f(\mathbf{x})=(f_1,\dots,f_m)$, el Jacobian es la matriz $m\times n$ de todas las parciales: $$J = \frac{\partial f}{\partial \mathbf{x}} = \begin{bmatrix} \frac{\partial f_1}{\partial x_1} & \cdots & \frac{\partial f_1}{\partial x_n}\ \vdots & & \vdots \ \frac{\partial f_m}{\partial x_1} & \cdots & \frac{\partial f_m}{\partial x_n}\end{bmatrix}, \qquad J_{ij}=\frac{\partial f_i}{\partial x_j}.$$ Es la mejor aproximación lineal local de $f$. Si $m=1$, el Jacobian es (la transpuesta de) el gradient. El chain rule multivariable (Calc-07) es multiplicación de Jacobians.

Hessian: para $f:\mathbb{R}^n\to\mathbb{R}$, la Hessian es la matriz $n\times n$ de segundas parciales: $$H = \nabla^2 f, \qquad H_{ij}=\frac{\partial^2 f}{\partial x_i,\partial x_j}.$$ Es el "Jacobian del gradient". Mide curvatura en cada par de direcciones.

Simetría (teorema de Schwarz/Clairaut): si las segundas parciales son continuas, $\frac{\partial^2 f}{\partial x_i\partial x_j}=\frac{\partial^2 f}{\partial x_j\partial x_i}$, así que $H$ es simétrica → se le aplica todo LA-08 (spectral theorem, definiteness).

Clasificar critical points (donde $\nabla f=\mathbf{0}$) por la definiteness de $H$:

Los saddle points son la razón por la que la optimización en deep learning es difícil: hay muchísimos, y el gradient es cero en ellos aunque no sean mínimos.

Worked example

$f(x,y)=x^2 + xy + y^2$.

• Gradient: $\nabla f=(2x+y,\ x+2y)$. Critical point: $\nabla f=\mathbf{0}\Rightarrow (x,y)=(0,0)$.
• Hessian: $H=\begin{bmatrix}2&1\1&2\end{bmatrix}$ (constante aquí). Eigenvalues $3,1>0$ (de LA-07/08) → positive definite → el origen es un mínimo. ✓

Ejemplo saddle: $g(x,y)=x^2-y^2$ tiene $H=\begin{bmatrix}2&0\0&-2\end{bmatrix}$, indefinite → el origen es un saddle.

Notebook exercises (by hand)

1. Jacobian de $f(x,y)=(x^2y,\ \sin x + y)$ (una función $\mathbb{R}^2\to\mathbb{R}^2$).
2. Hessian de $f(x,y)=x^3 + 2xy + y^2$; ¿es simétrica?
3. Encuentra los critical points de $f(x,y)=x^2+y^2-4x$ y clasifícalos con la Hessian.
4. Muestra que $g(x,y)=x^2-y^2$ tiene un saddle en el origen.
5. Para $f:\mathbb{R}^n\to\mathbb{R}$, explica por qué el Jacobian de $\nabla f$ es la Hessian.
6. Si la Hessian de tu loss en un punto tiene eigenvalues ${5,5,-0.1}$, ¿qué es y qué implica para GD?

Python lab

import numpy as np, sympy as sp

x, y = sp.symbols("x y")

# Jacobian de una función vectorial
F = sp.Matrix([x**2*y, sp.sin(x) + y])
print("Jacobian:\n", F.jacobian([x, y]))

# Hessian de un escalar
f = x**2 + x*y + y**2
H = sp.hessian(f, (x, y))
print("Hessian:\n", H)                       # [[2,1],[1,2]]
print("eigenvalues:", H.eigenvals())         # {3:1, 1:1} -> PD -> mínimo

# clasifica un critical point numéricamente
Hn = np.array([[2.,1.],[1.,2.]])
w = np.linalg.eigvalsh(Hn)
print("PD?" , np.all(w > 0))                 # True -> mínimo

Examen final 📝

Intenta cada nivel antes de abrir las soluciones.

🟡 Medio

1. Jacobian de $f(x,y)=(x+y,\ xy,\ x^2)$ ($\mathbb{R}^2\to\mathbb{R}^3$).
2. Hessian de $f(x,y)=x^2+3xy+2y^2$; confirma que es simétrica.

🟠 Medio-difícil

3. Encuentra los critical points de $f(x,y)=x^3-3x+y^2$ y clasifícalos con la Hessian.
4. Para el softmax $\mathbf s=\text{softmax}(\mathbf z)$, se sabe que su Jacobian es $\frac{\partial s_i}{\partial z_j}=s_i(\delta_{ij}-s_j)$. Verifícalo para el caso 2D calculando $\partial s_1/\partial z_1$ y $\partial s_1/\partial z_2$.

🔴 Difícil

5. Demuestra que la Hessian de la loss de regresión lineal $L(\mathbf w)=|X\mathbf w-\mathbf y|^2$ es $2X^\top X$ (constante, independiente de $\mathbf w$), y usa LA-08 para explicar por qué esto garantiza que la loss es convexa.
6. El Jacobian conecta capas en backprop. Para $\mathbf z=g(\mathbf y)$, $\mathbf y=f(\mathbf x)$, demuestra que $J_{\mathbf z/\mathbf x}=J_{\mathbf z/\mathbf y}J_{\mathbf y/\mathbf x}$ (chain rule matricial) y explica por qué reverse-mode multiplica estos Jacobians de derecha a izquierda.