Calc-08 — Taylor series & approximation

Why this matters for ML

Casi toda la teoría de optimización se apoya en aproximar la loss localmente por algo simple. Gradient descent usa la aproximación lineal (Taylor de 1er orden); Newton's method usa la cuadrática (2º orden, con la Hessian). Taylor también explica por qué las funciones de activación se comportan como lo hacen cerca de 0 y da las herramientas para analizar convergencia.

Concepts covered

• Aproximación lineal (recta tangente)
• Aproximación cuadrática
• Taylor series (1 variable) y polinomio de Taylor
• Taylor multivariable con gradient y Hessian
• Uso en gradient descent y Newton's method

Intuition first

🎬 3Blue1Brown Essence of Calculus cap. 11 ("Taylor series"). Idea: aproximar cualquier función suave, cerca de un punto, por un polinomio que copia su valor y sus derivadas.

Theory & key results

Aproximación lineal (1er orden): cerca de $a$, $$f(x) \approx f(a) + f'(a)(x-a).$$ Es la recta tangente. Base de "dar un pasito en la dirección de la derivada".

Aproximación cuadrática (2º orden): $$f(x) \approx f(a) + f'(a)(x-a) + \tfrac12 f''(a)(x-a)^2.$$ Añade curvatura → aproxima mejor.

Taylor series: si sigues añadiendo términos, $$f(x) = \sum_{n=0}^{\infty}\frac{f^{(n)}(a)}{n!}(x-a)^n.$$ Ejemplos famosos (en $a=0$, "Maclaurin"): $e^x=\sum \frac{x^n}{n!}$, $\sin x = x-\frac{x^3}{3!}+\dots$, $\ln(1+x)=x-\frac{x^2}{2}+\dots$

Taylor multivariable (¡el que usa ML!): cerca de $\mathbf{a}$, con gradient $\mathbf{g}=\nabla f(\mathbf{a})$ y Hessian $H=\nabla^2 f(\mathbf{a})$: $$f(\mathbf{x}) \approx f(\mathbf{a}) + \mathbf{g}^\top(\mathbf{x}-\mathbf{a}) + \tfrac12 (\mathbf{x}-\mathbf{a})^\top H (\mathbf{x}-\mathbf{a}).$$

• El término lineal $\mathbf{g}^\top(\cdot)$ → gradient descent (baja siguiendo $-\mathbf{g}$).
• El término cuadrático con $H$ → Newton's method (salta directo al mínimo de la parábola local): $\mathbf{x}^* = \mathbf{a} - H^{-1}\mathbf{g}$.

Aquí se ve por qué la Hessian (Calc-06) y su definiteness (LA-08) determinan la forma local de la loss.

Worked example

Aproxima $e^x$ cerca de 0.

• 1er orden: $e^x\approx 1 + x$. En $x=0.1$: $1.1$ vs. real $1.10517$.
• 2º orden: $e^x\approx 1 + x + x^2/2$. En $x=0.1$: $1.105$ vs. real $1.10517$ (mucho mejor).

Optimización: minimizar $f(x)=x^2$ con Newton desde $a=3$: $f'=2x=6$, $f''=2$, paso $=3 - 6/2 = 0$. ¡Un solo paso llega al mínimo exacto! (Newton es exacto para cuadráticas.)

Notebook exercises (by hand)

1. Polinomio de Taylor de orden 2 de $f(x)=\ln(1+x)$ en $a=0$.
2. Aproxima $\sqrt{1+x}$ a 1er orden cerca de 0; úsalo para estimar $\sqrt{1.02}$.
3. Escribe los primeros 3 términos de la Taylor series de $\sin x$ y evalúa en $x=0.2$.
4. Aproximación cuadrática multivariable de $f(x,y)=e^{x+y}$ en $(0,0)$ (necesitas $\nabla f$ y $H$).
5. Aplica un paso de Newton a $f(x)=x^2-4x+3$ desde $x=0$; ¿llegas al mínimo?
6. Explica cómo el término lineal de Taylor justifica la regla de gradient descent.

Python lab

import numpy as np, sympy as sp

x = sp.symbols("x")
# polinomios de Taylor de e^x en 0
for n in [1, 2, 3, 5]:
    p = sp.series(sp.exp(x), x, 0, n+1).removeO()
    print(f"orden {n}:", p, "  en 0.1 ->", float(p.subs(x, 0.1)))
print("e^0.1 real:", np.exp(0.1))

# Newton para minimizar x^2 - 4x + 3 (1 variable)
f1 = lambda t: 2*t - 4      # f'
f2 = lambda t: 2.0          # f''
t = 0.0
for _ in range(3):
    t = t - f1(t)/f2(t)
print("mínimo por Newton:", t)   # 2.0 en un paso

Examen final 📝

Intenta cada nivel antes de abrir las soluciones.

🟡 Medio

1. Aproximación lineal de $f(x)=\sqrt x$ en $a=9$; úsala para estimar $\sqrt{9.1}$.
2. Polinomio de Taylor de orden 2 de $\cos x$ en $a=0$.

🟠 Medio-difícil

3. Escribe la Taylor de orden 2 de $\ln(1+x)$ en 0 y estima el error al usarla para $\ln(1.1)$.
4. Aproximación cuadrática multivariable de $f(x,y)=e^{x}\cos y$ en $(0,0)$ (necesitas $\nabla f$ y $H$).

🔴 Difícil

5. Deriva Newton's method minimizando la aproximación cuadrática de Taylor de una $f:\mathbb{R}^n\to\mathbb{R}$: muestra que el paso óptimo es $\mathbf x^*=\mathbf a-H^{-1}\mathbf g$ y explica cuándo falla (Hessian no PD).
6. Justifica la regla de gradient descent desde Taylor de 1er orden: partiendo de $f(\mathbf x+\Delta)\approx f(\mathbf x)+\nabla f^\top\Delta$, encuentra el $\Delta$ de norma fija que más reduce $f$, y muestra que es $\Delta\propto-\nabla f$.