Prob-02 — Conditional probability & Bayes

Why this matters for ML

El teorema de Bayes es el corazón de una enorme parte del ML: clasificadores Naive Bayes, inferencia bayesiana, y la interpretación misma de "dado los datos, ¿qué modelo es más probable?" (que lleva directo a MAP en Prob-07). Entender $P(\text{clase}\mid\text{features})$ es entender qué hace un clasificador.

Concepts covered

• Conditional probability $P(A\mid B)$
• Multiplication rule y chain rule de probabilidad
• Independence
• Law of total probability
• Bayes' theorem
• Prior, likelihood, posterior

Intuition first

🎬 3Blue1Brown "Bayes theorem" y Stat 110 Lectures 3–4. Idea: condicionar es "reducir el universo" al evento que ya sabes que ocurrió.

Theory & key results

Conditional probability: la probabilidad de $A$ dado que $B$ ocurrió: $$P(A\mid B) = \frac{P(A\cap B)}{P(B)},\quad P(B)>0.$$ Reescribiendo: multiplication rule $P(A\cap B)=P(A\mid B),P(B)$.

Independence: $A$ y $B$ son independientes si saber uno no cambia el otro: $P(A\mid B)=P(A)$, equivalentemente $P(A\cap B)=P(A)P(B)$. (Ojo: independencia ≠ mutuamente excluyentes.)

Law of total probability: si ${B_i}$ particiona $\Omega$, $$P(A)=\sum_i P(A\mid B_i),P(B_i).$$ Es "promediar sobre todos los escenarios posibles".

Bayes' theorem: $$\boxed{,P(B\mid A) = \frac{P(A\mid B),P(B)}{P(A)},}$$ con $P(A)=\sum_i P(A\mid B_i)P(B_i)$ (total probability) en el denominador. Nombres (fundamentales en ML):

• $P(B)$ = prior (creencia antes de ver datos),
• $P(A\mid B)$ = likelihood (qué tan bien el modelo explica los datos),
• $P(B\mid A)$ = posterior (creencia actualizada tras ver datos),
• $P(A)$ = evidence (normalizador).

En ML: $P(\text{clase}\mid\text{datos}) \propto P(\text{datos}\mid\text{clase}),P(\text{clase})$.

Worked example (el clásico test médico)

Enfermedad con prevalencia $P(D)=1$. Test con sensibilidad $P(+\mid D)=99$ y falsos positivos $P(+\mid D^c)=5$. Si das positivo, ¿probabilidad real de estar enfermo? $$P(+)=0.99(0.01)+0.05(0.99)=0.0099+0.0495=0.0594.$$ $$P(D\mid +)=\frac{0.99\cdot0.01}{0.0594}\approx0.167.$$ ¡Solo ~17%! La intuición falla porque la enfermedad es rara (el prior domina). Lección central de Bayes para ML.

Notebook exercises (by hand)

1. $P(A\mid B)$ si $P(A\cap B)=0.12$ y $P(B)=0.3$.
2. Dos monedas justas: $P(\text{2 caras}\mid \text{al menos 1 cara})$.
3. Rehaz el test médico con prevalencia $10$; compara el posterior.
4. Bolsa A (2 rojas, 3 azules), bolsa B (4 rojas, 1 azul). Eliges bolsa al azar y sacas roja: ¿$P(\text{era bolsa B}\mid\text{roja})$?
5. Muestra que si $A,B$ independientes, entonces $A, B^c$ también.
6. Escribe Bayes en la forma $\text{posterior}\propto\text{likelihood}\times\text{prior}$ y explica cada término en un clasificador de spam.

Python lab

import numpy as np

# test médico con Bayes
def posterior(prior, sens, fpr):
    p_pos = sens*prior + fpr*(1-prior)
    return sens*prior / p_pos

for prev in [0.01, 0.10, 0.50]:
    print(f"prevalencia {prev}: P(D|+) = {posterior(prev, 0.99, 0.05):.3f}")

# verifica por simulación
rng = np.random.default_rng(0); n = 2_000_000
sick = rng.random(n) < 0.01
test_pos = np.where(sick, rng.random(n) < 0.99, rng.random(n) < 0.05)
print("MC P(D|+):", sick[test_pos].mean())     # ~0.167

Examen final 📝

Intenta cada nivel antes de abrir las soluciones.

🟡 Medio

1. $P(A\mid B)$ si $P(A\cap B)=0.15$, $P(B)=0.5$.
2. Dos dados: $P(\text{suma}=8\mid \text{primer dado}=5)$.

🟠 Medio-difícil

3. Clasificador de spam: $P(\text{spam})=0.4$, $P(\text{"gratis"}\mid\text{spam})=0.6$, $P(\text{"gratis"}\mid\text{no spam})=0.1$. Si un correo contiene "gratis", $P(\text{spam}\mid\text{"gratis"})$.
4. Demuestra que si $A$ y $B$ son independientes, entonces $A^c$ y $B$ también lo son.

🔴 Difícil

5. Deriva el clasificador Naive Bayes para dos features: muestra que $P(\text{clase}\mid x_1,x_2)\propto P(\text{clase})P(x_1\mid\text{clase})P(x_2\mid\text{clase})$ y explica qué suposición ("naive") permite factorizar la likelihood.
6. En el test médico del módulo, muestra cómo cambia el posterior si aplicas el test dos veces (ambos positivos, tests condicionalmente independientes dada la enfermedad). Calcula $P(D\mid ++)$ con prevalencia 1%, sensibilidad 99%, FPR 5%.