Calc-02 — Derivatives (single variable)

Why this matters for ML

La derivada es la idea que hace posible el aprendizaje: mide cuánto cambia la salida cuando mueves la entrada un poquito. El chain rule que ves aquí, en su versión multivariable, ES backpropagation. Y las derivadas de $e^x$, $\ln x$ y la sigmoid aparecen en cada loss y cada activación.

Concepts covered

• Derivada como límite (definición) y como pendiente/tasa de cambio
• Reglas: power, sum, product, quotient, chain rule
• Derivadas de funciones clave: $x^n$, $e^x$, $\ln x$, $\sin/\cos$, sigmoid
• Higher-order derivatives (segunda derivada, etc.)
• Notación ($f'$, $\frac{df}{dx}$)

Intuition first

🎬 3Blue1Brown Essence of Calculus cap. 2 ("The paradox of the derivative"), cap. 3 (reglas), cap. 4 (chain rule), cap. 5 ($e^x$). Esta es la columna vertebral del módulo.

Theory & key results

Definición: $$f'(x) = \frac{df}{dx} = \lim_{h\to0}\frac{f(x+h)-f(x)}{h}.$$ Es la pendiente de la recta tangente = tasa de cambio instantánea.

Reglas (memorízalas y sabe de dónde salen):

Derivadas clave para ML:

• $(e^x)' = e^x$ (¡se deriva a sí misma!)
• $(\ln x)' = 1/x$
• $(\sin x)' = \cos x$, $(\cos x)' = -\sin x$
• Sigmoid $\sigma(x)=\frac{1}{1+e^{-x}}$: $\sigma'(x)=\sigma(x),(1-\sigma(x))$ — bellísima y baratísima (se reusa el forward pass). Sale de aplicar quotient/chain rule.

Chain rule (la joya): derivar funciones compuestas multiplicando derivadas "capa por capa". Una red neuronal es composición de muchas funciones; backprop es el chain rule aplicado eficientemente (Calc-07).

Higher-order: $f''(x)$ es la derivada de la derivada = curvatura/aceleración. En optimización, $f''>0$ indica convexidad local (cuenco → mínimo) — esto se generaliza a la Hessian (Calc-06).

Worked example

$f(x)=(3x^2+1)^4$. Chain rule con outer $u^4$ e inner $u=3x^2+1$: $$f'(x)=4(3x^2+1)^3\cdot(6x)=24x(3x^2+1)^3.$$

Sigmoid: $\sigma(x)=(1+e^{-x})^{-1}$. Chain: $\sigma'=-(1+e^{-x})^{-2}\cdot(-e^{-x})=\frac{e^{-x}}{(1+e^{-x})^2}$. Reescribiendo, $=\sigma(x)(1-\sigma(x))$. ✓

Notebook exercises (by hand)

1. Deriva $f(x)=5x^3-2x+7$.
2. Deriva $g(x)=x^2 e^x$ (product rule).
3. Deriva $h(x)=\frac{x}{1+x^2}$ (quotient rule).
4. Deriva $p(x)=\ln(1+e^{x})$ (chain rule) — esta es la "softplus", muy usada en ML.
5. Demuestra $\sigma'(x)=\sigma(x)(1-\sigma(x))$ desde la definición de sigmoid.
6. Calcula $f''(x)$ para $f(x)=x^4$ e interpreta el signo.
7. Deriva $L(w)=(w x - y)^2$ respecto a $w$ (¡es el gradiente de un error cuadrático!).

Python lab

import numpy as np, sympy as sp

x = sp.symbols("x")
print(sp.diff((3*x**2 + 1)**4, x))                 # 24x(3x^2+1)^3
sig = 1/(1+sp.exp(-x))
print(sp.simplify(sp.diff(sig, x) - sig*(1-sig)))  # 0  -> identidad confirmada

# derivada numérica (finite differences) vs. analítica
f  = lambda t: (3*t**2 + 1)**4
df = lambda t: 24*t*(3*t**2 + 1)**3
h = 1e-6; t0 = 1.5
print("numérica:", (f(t0+h)-f(t0-h))/(2*h), " analítica:", df(t0))

Examen final 📝

Intenta cada nivel antes de abrir las soluciones.

🟡 Medio

1. Deriva $f(x)=3x^4-2x^2+e^x$.
2. Deriva $g(x)=x^2\ln x$ (product rule).

🟠 Medio-difícil

3. Deriva la "softplus" $p(x)=\ln(1+e^x)$ y muestra que $p'(x)=\sigma(x)$ (¡la sigmoid!).
4. Deriva $h(x)=\frac{e^x}{1+e^x}$ y comprueba que coincide con la sigmoid y con su derivada $\sigma(1-\sigma)$.

🔴 Difícil

5. Deriva la MSE de una neurona lineal $L(w)=\frac1n\sum_{i=1}^n (wx_i-y_i)^2$ respecto a $w$, iguala a 0 y despeja el $w$ óptimo (te sale la fórmula de regresión 1D).
6. Usando la definición por límite $f'(x)=\lim_{h\to0}\frac{f(x+h)-f(x)}{h}$, demuestra desde cero la power rule para $f(x)=x^3$.