Prob-08 — Sampling, CLT & inference

Why this matters for ML

Nunca tienes "la población": tienes una muestra. Toda la práctica de ML —estimar métricas, comparar modelos, entender por qué el promedio de muchos datos es estable— descansa en teoría de muestreo. El Central Limit Theorem explica por qué la Gaussian aparece en todos lados y por qué los promedios (y SGD con mini-batches) se comportan tan bien. La inferencia te da el lenguaje para decir "esta mejora es real, no ruido".

Concepts covered

• Population vs. sample; estimadores
• Sampling distribution y standard error
• Law of Large Numbers (LLN)
• Central Limit Theorem (CLT)
• Confidence intervals
• Hypothesis testing (idea) y p-values
• Bias–variance de un estimador

Intuition first

🎬 Stat 110 Lecture 14 (LLN, CLT). StatQuest "The Central Limit Theorem". Khan "Statistics". Idea: promediar muchas observaciones reduce el ruido y produce una distribución normal, casi sin importar la original.

Theory & key results

Population vs. sample: la población es lo que quieres conocer (parámetro $\theta$); la muestra $x_1,\dots,x_n$ es lo que observas. Un estimador $\hat\theta$ es una función de la muestra (p. ej. la media muestral $\bar X$).

Sampling distribution: $\hat\theta$ es aleatorio (depende de qué muestra tocó). Su desviación estándar es el standard error. Para la media: $\text{SE}(\bar X)=\sigma/\sqrt{n}$ → más datos, menos error (a ritmo $1/\sqrt n$).

Law of Large Numbers: $\bar X_n \to \mu$ cuando $n\to\infty$. El promedio muestral converge al verdadero. (Justifica estimar expectations por muestreo — Monte Carlo.)

Central Limit Theorem (la estrella): para $X_i$ i.i.d. con media $\mu$ y varianza $\sigma^2$ (¡de casi cualquier distribución!), $$\bar X_n \approx \mathcal{N}!\left(\mu,\ \frac{\sigma^2}{n}\right)\quad\text{para } n \text{ grande.}$$ Por eso la Gaussian es "universal": cualquier cosa que sea suma/promedio de muchos efectos pequeños tiende a normal. Explica por qué el ruido se modela gaussiano y por qué los gradientes de mini-batch (promedios) son estimadores razonables del gradiente verdadero.

Confidence interval (CI): un rango que contiene el parámetro con cierta confianza. Para la media (n grande): $\bar X \pm z\cdot\text{SE}$, con $z=1.96$ para 95%. Interpretación correcta: "si repitiera el muestreo muchas veces, el 95% de los CIs contendrían $\mu$".

Hypothesis testing: planteas $H_0$ (hipótesis nula, "no hay efecto") y mides qué tan sorprendentes son tus datos si $H_0$ fuera cierta. El p-value es esa probabilidad; si es muy chico (p. ej. <0.05), rechazas $H_0$. Útil para "¿el modelo B es de verdad mejor que A?". (Cuidado con abusar de p-values.)

Bias–variance de un estimador: $\text{bias}=\mathbb{E}[\hat\theta]-\theta$; un buen estimador tiene bias y varianza bajos. Esto prefigura el bias–variance tradeoff de modelos (subajuste vs. sobreajuste).

Worked example

Población con $\mu=50$, $\sigma=10$. Tomo muestras de $n=100$. El CLT dice $\bar X\approx\mathcal{N}(50, 10^2/100)=\mathcal{N}(50, 1)$, así que $\text{SE}=1$. Un CI 95% típico: $\bar X\pm1.96$. Si observo $\bar X=52$, el intervalo $[50.04, 53.96]$ no contiene 50 por poco → evidencia (débil) de que $\mu\neq50$.

Notebook exercises (by hand)

1. $\text{SE}$ de la media para $\sigma=15$, $n=225$.
2. ¿Cuántas muestras necesito para reducir el SE a la mitad? (Pista: $1/\sqrt n$.)
3. Construye un CI 95% para $\bar X=10$, $\sigma=4$, $n=64$.
4. Enuncia el CLT con tus palabras y por qué "casi cualquier distribución".
5. Explica la diferencia entre "el parámetro está en el CI con prob 95%" (incorrecto) y la interpretación correcta.
6. Relaciona LLN con estimar $\mathbb{E}[X]$ por Monte Carlo (Calc-04).

Python lab

import numpy as np
import matplotlib.pyplot as plt

rng = np.random.default_rng(0)

# CLT: promedios de una distribución MUY no normal (exponencial) se vuelven normales
def sample_means(n, trials=100_000):
    data = rng.exponential(scale=1.0, size=(trials, n))   # media 1, muy sesgada
    return data.mean(axis=1)

for n in [1, 5, 30]:
    m = sample_means(n)
    print(f"n={n:2d}: media~{m.mean():.3f}  SE~{m.std():.3f}  (teórico {1/np.sqrt(n):.3f})")

plt.hist(sample_means(30), bins=60, density=True)         # ~ campana
plt.title("CLT: medias de exponenciales (n=30)"); plt.savefig("prob08.png")

# LLN: la media muestral converge
x = rng.normal(50, 10, 100_000)
running = np.cumsum(x)/np.arange(1, len(x)+1)
print("media con 100:", running[99], " con 100k:", running[-1])   # -> 50

Examen final 📝

Intenta cada nivel antes de abrir las soluciones.

🟡 Medio

1. $\text{SE}$ de la media para $\sigma=20$, $n=100$.
2. ¿Cuánto debo aumentar $n$ para reducir el SE a un tercio?

🟠 Medio-difícil

3. Construye un CI 95% para $\bar X=100$, $\sigma=15$, $n=36$.
4. Usando el CLT, aproxima $P(\bar X>52)$ para muestras de $n=100$ de una población con $\mu=50$, $\sigma=10$.

🔴 Difícil

5. Demuestra, usando propiedades de la varianza (Prob-04), que $\text{Var}(\bar X)=\sigma^2/n$ para muestras i.i.d., y explica por qué esto justifica que el gradiente de mini-batch de tamaño $B$ tiene varianza $\propto 1/B$.
6. Explica la interpretación frecuentista correcta de un intervalo de confianza del 95% y por qué la afirmación "hay 95% de probabilidad de que $\mu$ esté en este intervalo" es técnicamente incorrecta. ¿Cómo lo reformularía un bayesiano (credible interval)?