Calc-03 — Optimization (single variable)

Why this matters for ML

Entrenar = minimizar una loss. En 1D aprendes el patrón que se generaliza a millones de parámetros: buscar dónde la derivada es cero (critical points), y usar la segunda derivada para saber si es mínimo o máximo. También aquí aparece la distinción convexo vs. no convexo que explica por qué unas losses son fáciles y otras (redes neuronales) difíciles.

Concepts covered

• Critical points ($f'(x)=0$)
• First derivative test
• Second derivative test (curvatura)
• Convex vs. non-convex
• Global vs. local minima/maxima
• Conexión con minimizar loss functions

Intuition first

🎬 3Blue1Brown Essence of Calculus cap. 3 (implica optimización via $f'=0$). Piensa: en un mínimo o máximo, la tangente es horizontal.

Theory & key results

Critical point: un $x^*$ donde $f'(x^*)=0$ (o la derivada no existe). Los mínimos/máximos suaves ocurren en critical points.

First derivative test: mira el signo de $f'$ alrededor de $x^*$:

• $-$ luego $+$ → mínimo local (baja, sube).
• $+$ luego $-$ → máximo local.
• no cambia → punto de inflexión (ni min ni max).

Second derivative test (más rápido si $f'(x^*)=0$):

• $f''(x^*)>0$ → mínimo local (cuenco).
• $f''(x^*)<0$ → máximo local (domo).
• $f''(x^*)=0$ → no concluye (usa el first test).

Convexity: $f$ es convexa si $f''(x)\ge0$ en todo su dominio (curva siempre "hacia arriba", como un cuenco). Propiedad mágica para ML: una función convexa tiene un único mínimo, que es global. Linear/logistic regression tienen loss convexa → optimización garantizada. Las redes neuronales son no convexas → muchos mínimos locales y saddle points, y por eso entrenar es un arte.

Global vs. local: un mínimo local es el más bajo en su vecindad; el global es el más bajo de todos. En problemas no convexos, gradient descent puede quedar en un local. (En la práctica de deep learning, muchos mínimos locales son "suficientemente buenos".)

Worked example

Minimizar $f(x)=x^2-4x+7$. $f'(x)=2x-4=0\Rightarrow x^*=2$. $f''(x)=2>0$ → mínimo. Valor: $f(2)=4-8+7=3$. Como $f''>0$ en todo lado, es convexa → ese mínimo es global.

Loss cuadrática: $L(w)=(wx-y)^2$ tiene $L''=2x^2\ge0$ → convexa en $w$ → un solo mínimo (base de por qué la regresión lineal "siempre funciona").

Notebook exercises (by hand)

1. Encuentra y clasifica los critical points de $f(x)=x^3-3x$.
2. Minimiza $f(x)=2x^2+8x+1$; da $x^*$ y $f(x^*)$.
3. ¿Es $f(x)=e^x$ convexa? ¿Y $f(x)=\ln x$ (en $x>0$)? Justifica con $f''$.
4. Muestra que $f(x)=x^4$ tiene $f''(0)=0$ y aun así un mínimo en 0 (el second test falla; usa el first).
5. Da una función con un mínimo local que NO sea global.
6. Explica por qué que la loss sea convexa es una gran noticia para entrenar un modelo.

Python lab

import numpy as np, sympy as sp
import matplotlib.pyplot as plt

x = sp.symbols("x")
f = x**3 - 3*x
crit = sp.solve(sp.diff(f, x), x)
print("critical points:", crit)                  # [-1, 1]
for c in crit:
    print(c, "->", "min" if sp.diff(f,x,2).subs(x,c) > 0 else "max")

# visualiza convexidad
xs = np.linspace(-2.5, 2.5, 200)
plt.plot(xs, xs**2 - 4*xs + 7, label="convexa")
plt.plot(xs, xs**3 - 3*xs, label="no convexa")
plt.legend(); plt.grid(True); plt.savefig("calc03.png")

Examen final 📝

Intenta cada nivel antes de abrir las soluciones.

🟡 Medio

1. Encuentra y clasifica los critical points de $f(x)=x^3-6x^2+9x$.
2. Minimiza $f(x)=3x^2-12x+7$ y da el valor mínimo.

🟠 Medio-difícil

3. ¿Es convexa $f(x)=x^4-x^2$? Estudia $f''$ y explica dónde es convexa y dónde no.
4. Demuestra que la loss de la sigmoid al cuadrado puede tener regiones no convexas, pero que la binary cross-entropy $-[y\ln\sigma(z)+(1-y)\ln(1-\sigma(z))]$ es convexa en $z$ (calcula la 2ª derivada respecto a $z$).

🔴 Difícil

5. Demuestra que la suma de dos funciones convexas es convexa, y que si $g$ es convexa y $a>0$, $ag$ es convexa. ¿Por qué esto importa para construir loss functions "seguras de optimizar"?
6. La regularización L2 añade $\lambda w^2$ a una loss convexa $L(w)$. Demuestra que la loss regularizada sigue siendo convexa y explica por qué eso garantiza un mínimo único.