Prob-05 — Common distributions

Why this matters for ML

Cada distribución es una suposición sobre tus datos, y elegir la correcta define tu modelo: Bernoulli/Categorical modelan etiquetas de clasificación (y llevan a la cross-entropy), la Gaussian modela ruido continuo (y lleva al error cuadrático), la Poisson modela conteos. Reconocer "esto se distribuye como X" es lo que conecta un problema real con la matemática correcta.

Concepts covered

• Bernoulli y Binomial
• Categorical y Multinomial
• Poisson
• Uniform (discreta/continua)
• Gaussian / Normal (la más importante)
• Exponential
• Qué modela cada una en ML

Intuition first

🎬 Stat 110 Lectures 5 y 13 (binomial, normal). StatQuest tiene videos cortos por distribución. MML 6.5.

Theory & key results

Bernoulli($p$): un ensayo con éxito (1) prob. $p$ o fracaso (0). $\mathbb{E}=p$, $\text{Var}=p(1-p)$. → Modela una etiqueta binaria; base de logistic regression.

Binomial($n,p$): número de éxitos en $n$ Bernoulli independientes. $P(X=k)=\binom{n}{k}p^k(1-p)^{n-k}$. $\mathbb{E}=np$, $\text{Var}=np(1-p)$.

Categorical($\boldsymbol\pi$): un resultado entre $K$ clases con probs $\pi_1,\dots,\pi_K$ ($\sum\pi_k=1$). → La salida de un softmax; base de clasificación multiclase. (Multinomial = versión con $n$ ensayos.)

Poisson($\lambda$): número de eventos raros en un intervalo. $P(X=k)=\frac{\lambda^k e^{-\lambda}}{k!}$. $\mathbb{E}=\text{Var}=\lambda$. → Conteos (clicks, llegadas).

Uniform: todos los valores igual de probables. Continua en $[a,b]$: $f(x)=\frac{1}{b-a}$, $\mathbb{E}=\frac{a+b}{2}$. → Inicialización, priors no informativos.

Gaussian / Normal($\mu,\sigma^2$) — LA REINA: $$f(x)=\frac{1}{\sqrt{2\pi\sigma^2}}\exp!\left(-\frac{(x-\mu)^2}{2\sigma^2}\right),\quad \mathbb{E}=\mu,\ \text{Var}=\sigma^2.$$ Por qué domina el ML: (1) el CLT (Prob-08) hace que sumas/promedios tiendan a normal; (2) modela ruido de forma natural; (3) asumir ruido gaussiano + MLE da exactamente el error cuadrático (Prob-07); (4) matemática súper tratable. La standard normal es $\mathcal{N}(0,1)$.

Exponential($\lambda$): tiempo entre eventos Poisson. $f(x)=\lambda e^{-\lambda x}$ ($x\ge0$), $\mathbb{E}=1/\lambda$. Propiedad "sin memoria".

Worked example

Binomial: 10 lanzamientos de moneda justa, $P(\text{exactamente 3 caras})=\binom{10}{3}(0.5)^3(0.5)^7=120\cdot(0.5)^{10}\approx0.117$. Media esperada de caras: $np=5$.

Gaussian: para $\mathcal{N}(0,1)$, ~68% de la masa cae en $[-1,1]$, ~95% en $[-2,2]$ (regla 68–95–99.7).

Notebook exercises (by hand)

1. Binomial($5, 0.3$): $P(X=2)$.
2. Media y varianza de Bernoulli($0.7$).
3. Poisson($\lambda=2$): $P(X=0)$ y $P(X=1)$.
4. Para $\mathcal{N}(\mu,\sigma^2)$, muestra que $Z=(X-\mu)/\sigma$ es $\mathcal{N}(0,1)$ (standardization).
5. Empareja cada tarea de ML con su distribución: (a) clasificación binaria, (b) multiclase, (c) regresión con ruido, (d) contar eventos.
6. ¿Por qué asumir ruido gaussiano es "razonable por defecto"? (Menciona el CLT.)

Python lab

import numpy as np
from scipy import stats
import matplotlib.pyplot as plt

# binomial P(X=3) con n=10, p=0.5
print("binom:", stats.binom.pmf(3, 10, 0.5))          # ~0.117
# poisson P(X=0), P(X=1) con lambda=2
print("poisson:", stats.poisson.pmf([0,1], 2))
# regla 68-95-99.7 de la normal estándar
for k in [1,2,3]:
    print(f"±{k}σ:", stats.norm.cdf(k) - stats.norm.cdf(-k))

# dibuja algunas densidades
x = np.linspace(-5, 5, 300)
for mu, sd in [(0,1),(0,2),(1,0.5)]:
    plt.plot(x, stats.norm.pdf(x, mu, sd), label=f"N({mu},{sd}²)")
plt.legend(); plt.savefig("prob05.png")

# muestrea y verifica media/varianza empíricas
s = np.random.normal(1, 2, 500_000)
print("media~1:", s.mean(), " var~4:", s.var())

Examen final 📝

Intenta cada nivel antes de abrir las soluciones.

🟡 Medio

1. Binomial($8, 0.25$): $P(X=2)$ y $\mathbb{E}[X]$.
2. Para $\mathcal{N}(10, 4)$: ¿qué porcentaje de la masa cae en $[8,12]$?

🟠 Medio-difícil

3. Demuestra que la binomial es suma de $n$ Bernoulli independientes y usa eso para obtener $\mathbb{E}=np$ y $\text{Var}=np(1-p)$.
4. Deriva $\mathbb{E}[X]$ y $\text{Var}[X]$ de una Bernoulli($p$) desde la definición.

🔴 Difícil

5. Deriva la media $\mathbb{E}[X]=\mu$ de una $\mathcal{N}(\mu,\sigma^2)$ integrando (usa simetría / cambio de variable $z=(x-\mu)/\sigma$).
6. Explica y demuestra por qué maximizar la likelihood gaussiana de los residuos equivale a minimizar la MSE (esboza; conexión completa en Prob-07). ¿Qué distribución de ruido daría en cambio la MAE (error absoluto)?