Prob-07 — Estimation: MLE & MAP

Why this matters for ML

Este módulo responde la pregunta de fondo: ¿de dónde salen las loss functions? La respuesta es maximum likelihood: casi todos los modelos de ML se derivan como "elige los parámetros que hacen los datos más probables". El error cuadrático sale de MLE con ruido gaussiano; la cross-entropy sale de MLE con etiquetas Bernoulli/Categorical. MAP añade un prior y produce la regularización. Aquí probabilidad y cálculo se unen para fabricar modelos.

Concepts covered

• Likelihood y log-likelihood
• Maximum Likelihood Estimation (MLE)
• MLE → error cuadrático (ruido gaussiano) y → cross-entropy (Bernoulli)
• Maximum A Posteriori (MAP) y priors
• MAP → regularización (L2/L1)

Intuition first

🎬 StatQuest "Maximum Likelihood, clearly explained". MML 8.3; Goodfellow cap. 5.5. Idea: entre todos los parámetros posibles, elige el que mejor explica los datos observados.

Theory & key results

Likelihood: dados datos $\mathcal{D}={x_1,\dots,x_n}$ y un modelo con parámetro $\theta$, la likelihood es $L(\theta)=p(\mathcal{D}\mid\theta)$. Si los datos son i.i.d., $$L(\theta)=\prod_{i=1}^n p(x_i\mid\theta).$$

Log-likelihood: como productos son incómodos (y numéricamente inestables), tomamos log (Calc-00: productos→sumas): $$\ell(\theta)=\log L(\theta)=\sum_{i=1}^n \log p(x_i\mid\theta).$$ El $\log$ es monótono, así que maximiza en el mismo $\theta$.

MLE: $\hat\theta_{\text{MLE}}=\arg\max_\theta \ell(\theta)$. Se resuelve con cálculo: $\nabla_\theta\ell=0$ (Calc-05/10). Minimizar la negative log-likelihood (NLL) es lo mismo que maximizar $\ell$ → por eso las losses son NLLs.

Dos derivaciones estelares:

1. Ruido gaussiano ⇒ error cuadrático. Si $y_i=f_\theta(x_i)+\varepsilon_i$ con $\varepsilon_i\sim\mathcal{N}(0,\sigma^2)$, entonces $$\ell(\theta)=\text{const}-\frac{1}{2\sigma^2}\sum_i (y_i-f_\theta(x_i))^2.$$ Maximizar $\ell$ = minimizar la suma de errores cuadráticos. ¡La MSE loss es MLE gaussiano!
2. Etiquetas Bernoulli ⇒ cross-entropy. Si $y_i\in{0,1}$ con $p(y_i=1)=\hat p_i$, la NLL es $$-\ell=-\sum_i\big[y_i\log\hat p_i+(1-y_i)\log(1-\hat p_i)\big],$$ que es exactamente la binary cross-entropy loss de logistic regression.

MAP: en vez de solo la likelihood, incluye un prior $p(\theta)$ (Bayes, Prob-02): $$\hat\theta_{\text{MAP}}=\arg\max_\theta\big[\log p(\mathcal{D}\mid\theta)+\log p(\theta)\big].$$ El término del prior actúa como regularización:

• Prior gaussiano sobre $\theta$ ⇒ penalización L2 (ridge / weight decay).
• Prior Laplace ⇒ penalización L1 (lasso, sparsity).

Así, "regularizar para no sobreajustar" = "tener una creencia previa de que los pesos son pequeños". MLE es MAP con prior uniforme.

Worked example (MLE de una moneda)

Observas $n$ lanzamientos con $k$ caras (Bernoulli). Likelihood $L(p)=p^k(1-p)^{n-k}$. Log-likelihood $\ell(p)=k\log p+(n-k)\log(1-p)$. Deriva e iguala a 0: $$\ell'(p)=\frac{k}{p}-\frac{n-k}{1-p}=0\ \Rightarrow\ \hat p_{\text{MLE}}=\frac{k}{n}.$$ El estimador MLE es simplemente la frecuencia observada — reconfortantemente sensato. Con MAP y prior Beta obtendrías $\frac{k+\alpha}{n+\alpha+\beta}$ (suavizado tipo Laplace).

Notebook exercises (by hand)

1. Deriva $\hat p_{\text{MLE}}=k/n$ para la moneda (arriba) mostrando todos los pasos.
2. Deriva el MLE de $\mu$ para datos $x_i\sim\mathcal{N}(\mu,\sigma^2)$ (resultado: la media muestral).
3. Muestra que maximizar la log-likelihood gaussiana equivale a minimizar la MSE.
4. Escribe la NLL de logistic regression y confirma que es la binary cross-entropy.
5. Con un prior gaussiano $\theta\sim\mathcal{N}(0,\tau^2)$, muestra que el término del prior en MAP es $-\frac{1}{2\tau^2}|\theta|^2$ (regularización L2).
6. Explica en una frase por qué "log" hace la MLE tratable.

Python lab

import numpy as np
from scipy.optimize import minimize_scalar

# MLE de una moneda: n=100, k=63
n, k = 100, 63
neg_ll = lambda p: -(k*np.log(p) + (n-k)*np.log(1-p))
res = minimize_scalar(neg_ll, bounds=(1e-6, 1-1e-6), method="bounded")
print("MLE numérico:", res.x, " analítico k/n:", k/n)    # coinciden ~0.63

# MLE de la media gaussiana = media muestral
data = np.random.normal(5, 2, 10_000)
print("MLE mu:", data.mean())                             # ~5

# MSE == NLL gaussiana (salvo constantes): compara argmin
x = np.linspace(0, 10, 200)[:, None]
y = 3*x.ravel() + np.random.normal(0, 1, 200)
mse = lambda w: np.mean((w*x.ravel() - y)**2)
ws = np.linspace(0, 6, 1000)
print("w que minimiza MSE:", ws[np.argmin([mse(w) for w in ws])])  # ~3

Examen final 📝

Intenta cada nivel antes de abrir las soluciones.

🟡 Medio

1. Observas 7 caras en 10 lanzamientos. ¿Cuál es la MLE de $p$?
2. Escribe la log-likelihood de $n$ observaciones i.i.d. $\mathcal{N}(\mu,\sigma^2)$ con $\sigma$ conocido.

🟠 Medio-difícil

3. Deriva la MLE de $\mu$ para datos $\mathcal{N}(\mu,\sigma^2)$ (resultado: media muestral) resolviendo $\partial\ell/\partial\mu=0$.
4. Deriva la MLE de $\sigma^2$ para datos gaussianos con $\mu$ conocido.

🔴 Difícil

5. Deriva completamente que la MLE de logistic regression = minimizar binary cross-entropy: escribe la likelihood Bernoulli con $\hat p_i=\sigma(\mathbf w^\top\mathbf x_i)$, toma $-\log$, y muestra que el gradiente es $\frac{1}{m}X^\top(\hat{\mathbf p}-\mathbf y)$.
6. Demuestra que MAP con prior gaussiano $\mathbf w\sim\mathcal{N}(0,\tau^2 I)$ equivale a MLE + regularización L2, e identifica la relación entre $\tau^2$, $\sigma^2$ y el coeficiente $\lambda$ de ridge.