Calc-05 — Partial derivatives & gradient

Why this matters for ML

Tu modelo tiene miles o millones de parámetros: la loss es una función de muchas variables. El gradient es el vector de todas las derivadas parciales, y apunta en la dirección de máximo crecimiento de la loss. Gradient descent — el algoritmo que entrena casi todo el ML — simplemente da pasos en la dirección opuesta al gradient. Este módulo es donde el cálculo se vuelve el motor del aprendizaje.

Concepts covered

• Funciones de varias variables $f:\mathbb{R}^n\to\mathbb{R}$
• Partial derivatives $\partial f/\partial x_i$
• Gradient $\nabla f$ (vector de parciales)
• Directional derivative
• El gradient como dirección de máximo ascenso
• Interpretación geométrica (superficies, level sets)

Intuition first

🎬 3Blue1Brown Essence of Calculus cap. 7 (implica gradiente) y sobre todo Khan Academy — Multivariable Calculus (unidades de partial derivatives y gradient). Idea: la parcial mide la pendiente si te mueves solo por un eje.

Theory & key results

Función multivariable: $f(x_1,\dots,x_n)$ toma un vector y devuelve un escalar (p. ej. la loss). Su gráfica es una "superficie" en dimensión alta.

Partial derivative: $\frac{\partial f}{\partial x_i}$ = deriva respecto a $x_i$ tratando las demás variables como constantes. Mide la tasa de cambio si te mueves solo en la dirección del eje $x_i$.

Gradient: junta todas las parciales en un vector: $$\nabla f(\mathbf{x}) = \left(\frac{\partial f}{\partial x_1}, \dots, \frac{\partial f}{\partial x_n}\right).$$ Dos hechos clave:

1. $\nabla f$ apunta en la dirección de máximo ascenso (donde $f$ crece más rápido). Su magnitud $|\nabla f|$ es la pendiente en esa dirección.
2. $\nabla f$ es perpendicular a los level sets (curvas/superficies donde $f$ es constante).

Directional derivative: la tasa de cambio en una dirección unitaria $\mathbf{u}$ es $D_{\mathbf{u}}f = \nabla f\cdot\mathbf{u}$. Es máxima cuando $\mathbf{u}$ apunta como $\nabla f$ (por eso el gradient es "la mejor dirección").

Conexión con ML — gradient descent: para minimizar la loss $L(\boldsymbol\theta)$, muévete contra el gradient: $$\boldsymbol\theta \leftarrow \boldsymbol\theta - \eta,\nabla L(\boldsymbol\theta),$$ con learning rate $\eta$. Repetir esto es, en esencia, cómo aprende un modelo (detalles en Calc-10).

Worked example

$f(x,y)=x^2 + 3xy + y^2$.

• $\frac{\partial f}{\partial x} = 2x + 3y$ (y es constante).
• $\frac{\partial f}{\partial y} = 3x + 2y$.
• $\nabla f = (2x+3y,\ 3x+2y)$. En $(1,2)$: $\nabla f=(2+6,\ 3+4)=(8,7)$.

Directional derivative en $(1,2)$ hacia $\mathbf{u}=(1,0)$: $\nabla f\cdot\mathbf{u}=8$. Hacia la dirección de $\nabla f$ mismo (normalizado) sería $|\nabla f|=\sqrt{64+49}=\sqrt{113}\approx10.6$, el máximo posible.

Notebook exercises (by hand)

1. $f(x,y)=x^2 y + \sin(y)$: calcula $\partial f/\partial x$ y $\partial f/\partial y$.
2. $\nabla f$ para $f(x,y,z)=x^2+y^2+z^2$; ¿qué dirección apunta y por qué tiene sentido geométrico?
3. Para $f(x,y)=3x+4y$ (plano), calcula $\nabla f$ y nota que es constante. ¿Dirección de máximo ascenso?
4. Directional derivative de $f(x,y)=xy$ en $(2,3)$ hacia $\mathbf{u}=(1,1)/\sqrt2$.
5. Deriva $\nabla_{\mathbf{w}} |X\mathbf{w}-\mathbf{y}|^2$ componente a componente (¡es el gradiente de la loss de regresión!).
6. Explica por qué gradient descent resta el gradient en vez de sumarlo.

Python lab

import numpy as np, sympy as sp

x, y = sp.symbols("x y")
f = x**2 + 3*x*y + y**2
grad = [sp.diff(f, v) for v in (x, y)]
print("grad simbólico:", grad)
print("grad en (1,2):", [g.subs({x:1, y:2}) for g in grad])   # [8, 7]

# gradiente numérico de una f: R^n -> R
def num_grad(f, p, h=1e-6):
    p = np.asarray(p, float); g = np.zeros_like(p)
    for i in range(len(p)):
        e = np.zeros_like(p); e[i] = h
        g[i] = (f(p+e) - f(p-e)) / (2*h)
    return g

F = lambda v: v[0]**2 + 3*v[0]*v[1] + v[1]**2
print("grad numérico en (1,2):", num_grad(F, [1., 2.]))       # ~[8, 7]

# un paso de gradient descent para minimizar F
theta = np.array([3., 3.]); eta = 0.1
for _ in range(20):
    theta = theta - eta * num_grad(F, theta)
print("tras 20 pasos:", theta)                                 # se acerca a (0,0)

Examen final 📝

Intenta cada nivel antes de abrir las soluciones.

🟡 Medio

1. $\nabla f$ para $f(x,y)=x^2y+3y^2$; evalúalo en $(1,2)$.
2. $\nabla f$ para $f(x,y,z)=e^{x}\sin y+z^2$.

🟠 Medio-difícil

3. Para $f(x,y)=x^2+y^2$: dibuja/argumenta que $\nabla f$ en $(1,1)$ es perpendicular al level set (círculo) que pasa por ese punto.
4. Calcula la directional derivative de $f(x,y)=xy^2$ en $(2,1)$ hacia $\mathbf u=(3,4)/5$, e indica en qué dirección crece más rápido.

🔴 Difícil

5. Deriva $\nabla_{\mathbf w}L$ para $L(\mathbf w)=\frac{1}{m}\sum_{i=1}^m (\mathbf w^\top\mathbf x_i-y_i)^2$ (regresión lineal multivariable), primero componente a componente y luego en forma matricial $\frac{2}{m}X^\top(X\mathbf w-\mathbf y)$.
6. Demuestra que la dirección de máximo ascenso de $f$ en un punto es exactamente $\nabla f/|\nabla f|$ (maximiza $\nabla f\cdot\mathbf u$ sobre vectores unitarios $\mathbf u$; usa Cauchy–Schwarz, LA-01).