LA-03 — Matrices & linear maps

Why this matters for ML

Una capa de red neuronal es, en su corazón, $\mathbf{y} = W\mathbf{x} + \mathbf{b}$: una multiplicación por matriz más un sesgo. Toda transformación de features (rotar, proyectar, mezclar) es una matriz. Entender la matriz como transformación (no como tabla de números) es el salto conceptual más rentable de todo el pilar.

Concepts covered

• Matriz como datos y como linear map (transformación lineal)
• Matrix–vector product (dos interpretaciones)
• Matrix–matrix product como composición de transformaciones
• Transpose
• Matrices especiales: identity, diagonal, triangular, orthogonal, symmetric
• No conmutatividad ($AB \ne BA$)

Intuition first

🎬 3Blue1Brown E.o.L.A. cap. 3 ("Linear transformations and matrices") y cap. 4 ("Matrix multiplication as composition"). Estos dos videos son oro puro: la matriz es dónde caen los vectores base.

Theory & key results

Linear map: una función $T:\mathbb{R}^n\to\mathbb{R}^m$ que respeta suma y scaling: $T(\mathbf{x}+\mathbf{y})=T(\mathbf{x})+T(\mathbf{y})$ y $T(c\mathbf{x})=cT(\mathbf{x})$. Toda transformación lineal se representa con una matriz, y las columnas de esa matriz son a dónde van los vectores base.

Matrix–vector product $A\mathbf{x}$ — dos formas de leerlo (¡domina ambas!):

1. Fila por fila: cada entrada del resultado es el dot product de una fila de $A$ con $\mathbf{x}$.
2. Columna (la más importante): $A\mathbf{x}$ es una combinación lineal de las columnas de $A$, con pesos $x_i$: $$A\mathbf{x} = x_1\mathbf{a}$${:,1} + x_2\mathbf{a}{:,2} + \dots + x_n\mathbf{a}_{:,n}. Esta segunda lectura explica el column space (LA-04) y por qué $A\mathbf{x}=\mathbf{b}$ tiene solución solo si $\mathbf{b}$ está en el span de las columnas.

Matrix–matrix product: $(AB)$ representa "aplica $B$, luego $A$" — composición. Entrada $(i,j)$ = dot product de la fila $i$ de $A$ con la columna $j$ de $B$. Dimensiones: $(m\times k)(k\times n)=(m\times n)$; deben "encajar" en $k$.

No conmuta: en general $AB \ne BA$ (rotar-luego-estirar ≠ estirar-luego-rotar).

Transpose $A^\top$: refleja sobre la diagonal, $(A^\top)${ij}=A{ji}. Reglas: $(AB)^\top = B^\top A^\top$, $(A^\top)^\top = A$.

Matrices especiales:

• Identity $I$: no hace nada, $I\mathbf{x}=\mathbf{x}$.
• Diagonal: escala cada eje por separado.
• Triangular (upper/lower): ceros bajo/sobre la diagonal — clave para resolver sistemas (LA-04) y en LU/Cholesky.
• Symmetric ($A=A^\top$): aparece en covariance matrices y Hessians (LA-08).
• Orthogonal ($Q^\top Q = I$): rotaciones/reflexiones, preservan longitudes y ángulos (LA-06).

Worked example

$A=\begin{bmatrix}1&2\0&1\end{bmatrix}$ (un shear). ¿A dónde manda la base? Columna 1 = $A(1,0)^\top=(1,0)^\top$; columna 2 = $A(0,1)^\top=(2,1)^\top$. Entonces $(1,0)$ queda fijo y $(0,1)$ se inclina a $(2,1)$: la matriz es esas dos columnas. Composición: $A\cdot A = \begin{bmatrix}1&4\0&1\end{bmatrix}$ (shear doble). Verás que multiplicar acumula transformaciones.

Notebook exercises (by hand)

1. Multiplica $\begin{bmatrix}2&0\0&3\end{bmatrix}\begin{bmatrix}1\1\end{bmatrix}$ e interpreta geométricamente.
2. Con $A=\begin{bmatrix}1&2\3&4\end{bmatrix}$, $B=\begin{bmatrix}0&1\1&0\end{bmatrix}$: calcula $AB$ y $BA$; confirma que difieren.
3. Escribe $A(3,,-1)^\top$ como combinación lineal de las columnas de $A$.
4. Da la matriz que rota 90° en el plano (pista: ¿a dónde van $(1,0)$ y $(0,1)$?).
5. Verifica $(AB)^\top=B^\top A^\top$ con las matrices del ej. 2.
6. Explica por qué $\mathbf{y}=W\mathbf{x}+\mathbf{b}$ (capa de red) es afín, no puramente lineal, y qué añade $\mathbf{b}$.

Python lab

import numpy as np

A = np.array([[1., 2.],[3., 4.]])
B = np.array([[0., 1.],[1., 0.]])
print("AB=\n", A @ B, "\nBA=\n", B @ A)     # distintos

x = np.array([3., -1.])
# matrix-vector como combinación de columnas:
col_view = x[0]*A[:,0] + x[1]*A[:,1]
print(np.allclose(A @ x, col_view))          # True

# a dónde van los basis vectors = columnas de A
print("A e1 =", A @ np.array([1.,0.]), " (col 0)")

# rotación 90°
theta = np.pi/2
R = np.array([[np.cos(theta), -np.sin(theta)],
              [np.sin(theta),  np.cos(theta)]])
print("R@(1,0)=", R @ np.array([1.,0.]))     # ~ (0,1)

Examen final 📝

Intenta cada nivel antes de abrir las soluciones.

🟡 Medio

1. Con $A=\begin{bmatrix}1&2\0&1\end{bmatrix}$, $B=\begin{bmatrix}2&0\1&3\end{bmatrix}$: calcula $AB$ y $BA$ y confirma que difieren.
2. Da la matriz $2\times2$ que refleja sobre el eje $x$ y verifica a dónde manda $(3,5)$.

🟠 Medio-difícil

3. Demuestra que $(AB)^\top=B^\top A^\top$ para matrices $2\times2$ genéricas.
4. Una matriz de rotación $R_\theta$ compuesta consigo misma debería rotar $2\theta$. Verifica $R_\theta R_\theta=R_{2\theta}$ usando identidades trigonométricas (te salen las fórmulas de ángulo doble).

🔴 Difícil

5. Una capa de red es $\mathbf{y}=W\mathbf{x}$ con $W\in\mathbb{R}^{3\times4}$. Explica qué dimensiones tienen entrada y salida, por qué esta capa no puede aumentar el rank de la información más allá de 3, y qué añade una segunda capa $W_2\in\mathbb{R}^{2\times3}$ (composición).
6. Demuestra que el conjunto de matrices ortogonales $Q$ (con $Q^\top Q=I$) es cerrado bajo producto (si $Q_1,Q_2$ son ortogonales, $Q_1Q_2$ también). ¿Qué significa geométricamente?