Prob-04 — Expectation, variance, moments

Why this matters for ML

La expectation es el promedio teórico: la loss que minimizas es una expectation ("expected risk"), y las predicciones óptimas suelen ser expectations. La variance mide incertidumbre/dispersión — clave en el trade-off bias–variance, en la inicialización de redes y en normalización. Estos dos números resumen una distribución entera.

Concepts covered

• Expectation $\mathbb{E}[X]$ (discreta y continua)
• Linearity of expectation
• Law of the unconscious statistician (LOTUS)
• Variance y standard deviation
• Moments (y momentos centrales)
• Propiedades bajo transformaciones lineales

Intuition first

🎬 Stat 110 Lecture 6. Idea: la expectation es el "centro de masa" de la distribución; la varianza, cuánto se dispersa alrededor.

Theory & key results

Expectation (media): $$\mathbb{E}[X]=\sum_x x,p(x)\ \ (\text{discreta}),\qquad \mathbb{E}[X]=\int x,f(x),dx\ \ (\text{continua}).$$ Es un promedio ponderado por probabilidad.

Linearity of expectation (potentísima): $$\mathbb{E}[aX+bY+c]=a,\mathbb{E}[X]+b,\mathbb{E}[Y]+c,$$ siempre, incluso si $X,Y$ no son independientes. Simplifica muchísimos cálculos.

LOTUS: para calcular $\mathbb{E}[g(X)]$ no necesitas la distribución de $g(X)$: $\mathbb{E}[g(X)]=\sum_x g(x)p(x)$ (o la integral).

Variance: $$\text{Var}(X)=\mathbb{E}[(X-\mu)^2]=\mathbb{E}[X^2]-(\mathbb{E}[X])^2,\quad \mu=\mathbb{E}[X].$$ Standard deviation $\sigma=\sqrt{\text{Var}(X)}$ (mismas unidades que $X$).

Propiedades:

• $\text{Var}(aX+b)=a^2\text{Var}(X)$ (el $+b$ no afecta la dispersión).
• Si $X,Y$ independientes: $\text{Var}(X+Y)=\text{Var}(X)+\text{Var}(Y)$.

Moments: el $k$-ésimo moment es $\mathbb{E}[X^k]$; el $k$-ésimo central moment es $\mathbb{E}[(X-\mu)^k]$. El 1º es la media, el 2º central es la varianza, el 3º (normalizado) es skewness, el 4º kurtosis. Resumen la forma de la distribución.

Worked example

Dado justo, $X\in{1,\dots,6}$. $\mathbb{E}[X]=\frac{1}{6}(1+\dots+6)=3.5$. $\mathbb{E}[X^2]=\frac{1}{6}(1+4+9+16+25+36)=\frac{91}{6}\approx15.17$. $\text{Var}(X)=15.17-3.5^2=15.17-12.25=2.917$; $\sigma\approx1.71$.

Linearity: si $Y=2X+1$, $\mathbb{E}[Y]=2(3.5)+1=8$ y $\text{Var}(Y)=4(2.917)=11.67$.

Notebook exercises (by hand)

1. $\mathbb{E}[X]$ y $\text{Var}(X)$ para $X$ = número de caras en 2 lanzamientos.
2. Usando linearity, $\mathbb{E}[X+Y]$ para dos dados (sin enumerar los 36 casos).
3. Demuestra $\text{Var}(X)=\mathbb{E}[X^2]-(\mathbb{E}[X])^2$ desde la definición.
4. Para $f(x)=2x$ en $[0,1]$: calcula $\mathbb{E}[X]$ y $\text{Var}(X)$ (integrales, LOTUS).
5. Muestra $\text{Var}(aX+b)=a^2\text{Var}(X)$.
6. Explica el trade-off bias–variance en una frase, usando "varianza = sensibilidad al dataset".

Python lab

import numpy as np, sympy as sp

# dado justo
x = np.arange(1,7); p = np.ones(6)/6
E  = (x*p).sum()
E2 = (x**2*p).sum()
print("E[X]:", E, " Var:", E2 - E**2)          # 3.5, 2.9167

# continua con sympy
t = sp.symbols("t")
f = 2*t
EX  = sp.integrate(t*f, (t,0,1))
EX2 = sp.integrate(t**2*f, (t,0,1))
print("E[X]:", EX, " Var:", sp.simplify(EX2 - EX**2))

# verifica por muestreo + linearity/var de suma independiente
rng = np.random.default_rng(0)
a = rng.integers(1,7,1_000_000); b = rng.integers(1,7,1_000_000)
print("Var(a):", a.var(), " Var(a+b):", (a+b).var(), " suma:", a.var()+b.var())

Examen final 📝

Intenta cada nivel antes de abrir las soluciones.

🟡 Medio

1. $\mathbb{E}[X]$ y $\text{Var}(X)$ para $X$ = valor de un dado justo.
2. Si $\mathbb{E}[X]=3$, $\text{Var}(X)=2$, calcula $\mathbb{E}[2X+1]$ y $\text{Var}(2X+1)$.

🟠 Medio-difícil

3. Para $f(x)=3x^2$ en $[0,1]$: calcula $\mathbb{E}[X]$ y $\text{Var}(X)$.
4. Usando linearity, calcula $\mathbb{E}[X_1+\dots+X_n]$ donde cada $X_i\sim\text{Bernoulli}(p)$ (te sale la media de una binomial sin sumar).

🔴 Difícil

5. Demuestra la fórmula de bias–variance para el error cuadrático esperado de un estimador: $\mathbb{E}[(\hat\theta-\theta)^2]=\text{Var}(\hat\theta)+\text{bias}(\hat\theta)^2$.
6. Demuestra que $\text{Var}(X+Y)=\text{Var}(X)+\text{Var}(Y)+2\text{Cov}(X,Y)$, y explica cuándo el término de covarianza desaparece (relación con Prob-06).