Calc-01 — Functions, limits, continuity

Why this matters for ML

Toda la maquinaria de derivadas (y por tanto todo el aprendizaje por gradiente) se apoya en limits. Y necesitas que tus loss functions y activaciones sean continuas (idealmente diferenciables) para poder optimizarlas por gradiente. Este módulo es corto pero es el cimiento lógico del resto del pilar.

Concepts covered

• Function como máquina input→output; domain y range
• Limit: definición intuitiva y notación
• Reglas de límites y límites al infinito
• Continuity
• Por qué importa para diferenciabilidad y optimización

Intuition first

🎬 3Blue1Brown Essence of Calculus cap. 1–2 (idea de cambio) y su video sobre límites. Objetivo: ver el límite como "a qué valor se acerca la función" sin necesidad de llegar.

Theory & key results

Function $f:\mathbb{R}\to\mathbb{R}$: a cada input $x$ le asocia un único output $f(x)$. Domain = inputs válidos; range = outputs posibles.

Limit: $\lim_{x\to a}f(x)=L$ significa que $f(x)$ se acerca a $L$ tanto como quieras cuando $x$ se acerca a $a$ (sin necesariamente valer $a$). Formalmente (ε–δ): para todo $\varepsilon>0$ existe $\delta>0$ tal que $0<|x-a|<\delta \Rightarrow |f(x)-L|<\varepsilon$. No necesitas dominar la ε–δ, pero sí la idea.

Reglas (si los límites existen): el límite de suma/producto/cociente es la suma/producto/cociente de los límites (cociente si el denominador no tiende a 0). Límites al infinito describen el comportamiento asintótico (útil para saturación de sigmoids).

Continuity: $f$ es continua en $a$ si $\lim_{x\to a}f(x)=f(a)$ (existe el límite, existe el valor, y coinciden). Intuición: puedes dibujarla sin levantar el lápiz. Una función diferenciable es continua (lo recíproco no siempre: $|x|$ es continua pero no diferenciable en 0).

Por qué en ML: gradient descent necesita derivadas; las derivadas necesitan límites; y solo funciones (al menos casi por todos lados) diferenciables se pueden optimizar por gradiente. El "kink" no diferenciable de ReLU en 0 es justo la razón por la que se define su derivada por convención ahí.

Worked example

$\lim_{x\to 2}(x^2+1)$: como $x^2+1$ es continua, el límite es el valor: $2^2+1=5$.

Caso con indeterminación: $\lim_{x\to 1}\frac{x^2-1}{x-1}$ da $\frac00$ al sustituir. Factoriza: $\frac{(x-1)(x+1)}{x-1}=x+1$ para $x\neq1$, así que el límite es $1+1=2$. (La función tiene un "hueco" en $x=1$ pero el límite existe.)

Notebook exercises (by hand)

1. $\lim_{x\to 3}(2x-4)$.
2. $\lim_{x\to 0}\frac{\sin x}{x}$ (resultado famoso; arguméntalo o memorízalo: 1).
3. $\lim_{x\to \infty}\frac{1}{1+e^{-x}}$ y $\lim_{x\to-\infty}$ de lo mismo (saturación de la sigmoid).
4. ¿Es $f(x)=|x|$ continua en 0? ¿Diferenciable en 0? Explica la diferencia.
5. Evalúa $\lim_{x\to 2}\frac{x^2-4}{x-2}$ factorizando.
6. Da un ejemplo de función discontinua y explica por qué sería problemática como loss.

Python lab

import numpy as np, sympy as sp

x = sp.symbols("x")
print(sp.limit((x**2 - 1)/(x - 1), x, 1))       # 2
print(sp.limit(sp.sin(x)/x, x, 0))              # 1
print(sp.limit(1/(1+sp.exp(-x)), x, sp.oo))     # 1  (sigmoid satura)

# aproximación numérica de un límite
f = lambda t: (t**2 - 1)/(t - 1)
for h in [0.1, 0.01, 0.001]:
    print(f"x=1+{h}: {f(1+h):.4f}")             # se acerca a 2

Examen final 📝

Intenta cada nivel antes de abrir las soluciones.

🟡 Medio

1. $\lim_{x\to 3}\frac{x^2-9}{x-3}$.
2. $\lim_{x\to\infty}\frac{3x^2+1}{x^2-5}$.

🟠 Medio-difícil

3. $\lim_{x\to 0}\frac{\sqrt{x+4}-2}{x}$ (racionaliza multiplicando por el conjugado).
4. Estudia la continuidad de $f(x)=\begin{cases}x^2 & x\le1\ 2x-1 & x>1\end{cases}$ en $x=1$.

🔴 Difícil

5. La ReLU $f(x)=\max(0,x)$ es continua en 0 pero no diferenciable ahí. Demuestra ambas cosas usando límites (compara los límites laterales de la tasa de cambio). ¿Por qué en la práctica se le asigna derivada 0 (o 1) en 0?
6. Demuestra que si $f$ es diferenciable en $a$, entonces es continua en $a$ (pista: escribe $f(x)-f(a)=\frac{f(x)-f(a)}{x-a}(x-a)$ y toma límite).