Prob-06 — Joint distributions, covariance, independence

Why this matters for ML

Los datos reales son multivariados: muchas features que covarían. La covariance matrix resume cómo se relacionan todas las features entre sí — y es exactamente la matriz que PCA descompone (LA-10). La multivariate Gaussian es el modelo continuo multivariado por defecto (Gaussian mixtures, procesos gaussianos, inicialización). Aquí se casan probabilidad y linear algebra.

Concepts covered

• Joint, marginal y conditional distributions
• Independence de variables aleatorias
• Covariance y correlation
• Covariance matrix (conexión con LA)
• Multivariate Gaussian (idea)

Intuition first

🎬 Stat 110 Lecture 7 (joint distributions) y Lecture 21 (multivariate normal). MML 6.4–6.5. Idea: una joint describe dos+ variables a la vez; marginal = "olvidar" una; conditional = "fijar" una.

Theory & key results

Joint distribution: $p(x,y)$ (o $f(x,y)$) da la probabilidad conjunta. Debe sumar/integrar a 1 sobre todo el plano.

Marginal: "suma/integra fuera" una variable: $$p(x)=\sum_y p(x,y)\quad\text{o}\quad f(x)=\int f(x,y),dy.$$

Conditional: $p(y\mid x)=\dfrac{p(x,y)}{p(x)}$ (Prob-02 en versión multivariada).

Independence: $X\perp Y \Leftrightarrow p(x,y)=p(x),p(y)$ para todo $x,y$. Si son independientes, $\mathbb{E}[XY]=\mathbb{E}[X]\mathbb{E}[Y]$.

Covariance: cómo varían juntas dos variables: $$\text{Cov}(X,Y)=\mathbb{E}[(X-\mu_X)(Y-\mu_Y)]=\mathbb{E}[XY]-\mathbb{E}[X]\mathbb{E}[Y].$$ Positiva = suben juntas; negativa = una sube y la otra baja; 0 = no lineal-relacionadas. Importante: independencia ⇒ covarianza 0, pero covarianza 0 NO implica independencia (solo ausencia de relación lineal).

Correlation (covarianza normalizada, sin unidades): $$\rho_{XY}=\frac{\text{Cov}(X,Y)}{\sigma_X\sigma_Y}\in[-1,1].$$

Covariance matrix (para un vector aleatorio $\mathbf{x}\in\mathbb{R}^n$): $$\Sigma = \mathbb{E}[(\mathbf{x}-\boldsymbol\mu)(\mathbf{x}-\boldsymbol\mu)^\top],\qquad \Sigma_{ij}=\text{Cov}(x_i,x_j).$$ Es simétrica y positive semidefinite (LA-08) — por eso PCA (eigendecomposition de $\Sigma$) siempre funciona y da direcciones ortogonales con varianzas ≥ 0. La diagonal son las varianzas de cada feature.

Multivariate Gaussian: $\mathcal{N}(\boldsymbol\mu,\Sigma)$ con densidad $$f(\mathbf{x})=\frac{1}{(2\pi)^{n/2}|\Sigma|^{1/2}}\exp!\left(-\tfrac12(\mathbf{x}-\boldsymbol\mu)^\top\Sigma^{-1}(\mathbf{x}-\boldsymbol\mu)\right).$$ Fíjate cómo aparece todo lo aprendido: quadratic form (LA-08), inverse y determinant (LA-05), exp (Calc). Las curvas de nivel son elipses cuyos ejes son los eigenvectors de $\Sigma$.

Worked example

Dos features con $\text{Var}(X)=4$, $\text{Var}(Y)=9$, $\text{Cov}(X,Y)=3$. $$\Sigma=\begin{bmatrix}4&3\3&9\end{bmatrix},\quad \rho=\frac{3}{\sqrt4\sqrt9}=\frac{3}{6}=0.5.$$ $\Sigma$ es simétrica; sus eigenvalues (positivos) dan las varianzas a lo largo de las direcciones principales → esas direcciones son justo los principal components de PCA.

Notebook exercises (by hand)

1. Joint discreta en una tabla $2\times2$: calcula marginales y verifica si $X\perp Y$.
2. Calcula $\text{Cov}(X,Y)$ y $\rho$ de la tabla anterior.
3. Da un ejemplo donde $\text{Cov}(X,Y)=0$ pero $X,Y$ NO son independientes (pista: $Y=X^2$ con $X$ simétrica).
4. Escribe la covariance matrix de features con var 1, 1 y covarianza 0.8; ¿es PSD?
5. Muestra que $\Sigma$ es simétrica desde su definición.
6. Relaciona: eigenvectors de $\Sigma$ ↔ principal components (una frase, conecta con LA-10).

Python lab

import numpy as np

# datos con covarianza conocida
rng = np.random.default_rng(0)
Sigma_true = np.array([[4., 3.],[3., 9.]])
L = np.linalg.cholesky(Sigma_true)                 # muestrea gaussiana multivariada
X = (L @ rng.normal(size=(2, 100_000))).T
print("cov empírica:\n", np.round(np.cov(X, rowvar=False), 2))
print("correlación:\n", np.round(np.corrcoef(X, rowvar=False), 2))

# covarianza 0 pero NO independientes: Y = X^2
x = rng.normal(size=200_000); y = x**2
print("Cov(X, X^2) ~ 0:", np.round(np.cov(x, y)[0,1], 3))   # ~0, pero dependen

# Sigma es simétrica PSD -> eigenvalues >= 0 (conecta con PCA)
print("eigenvalues de Sigma:", np.linalg.eigvalsh(Sigma_true))

Examen final 📝

Intenta cada nivel antes de abrir las soluciones.

🟡 Medio

1. Dada la tabla joint $P(0,0)=0.1,P(0,1)=0.2,P(1,0)=0.3,P(1,1)=0.4$: halla las marginales de $X$ e $Y$.
2. ¿Son $X$ e $Y$ del ej. 1 independientes? Justifica.

🟠 Medio-difícil

3. Calcula $\text{Cov}(X,Y)$ y $\rho$ de la tabla del ej. 1.
4. Escribe la covariance matrix de features con $\text{Var}(X_1)=2$, $\text{Var}(X_2)=8$, $\rho=0.5$; verifica que es PSD por sus eigenvalues.

🔴 Difícil

5. Da un ejemplo explícito donde $\text{Cov}(X,Y)=0$ pero $X,Y$ NO son independientes (usa $Y=X^2$ con $X$ simétrica en ${-1,0,1}$) y demuestra ambas afirmaciones.
6. Demuestra que la covariance matrix $\Sigma=\mathbb{E}[(\mathbf x-\boldsymbol\mu)(\mathbf x-\boldsymbol\mu)^\top]$ es siempre positive semidefinite (para cualquier vector $\mathbf a$, considera la varianza de $\mathbf a^\top\mathbf x$).