Clase 16: Más de Mínimos Cuadrados¶

Bibliografía de la Clase

Numerical Linear Algebra. L.N. Trefethen. Chapter 2, Lecture 11: Least Squares Problems

Guía profesor Luis Salinas

Algunas demostraciones¶

Equivalencia de $A^{*}r=0$ y $Pb=Ax$

$Pb$ es la proyección ortogonal de $b \in \mathbb{C}^{m}$ sobre $Col(A)$ , i.e., $Pb=y$ , donde $y=Ax$ para algún $x \in \mathbb{C}^{n}$ , por lo tanto $Pb=Ax$ .

$Pb=Ax \Leftrightarrow b-Pb \perp Col(A) \Leftrightarrow A^{*}r=0$

Equivalencia de $A^{*}r=0$ y $A^{*}Ax=A^{*}b$ :

$A^{*}r=0 \Leftrightarrow A^{*}(b-Ax)=0 \Leftrightarrow A^{*}Ax=A^{*}b$

Unicidad de $y=Pb=Ax \ (y \in Col(A))$

$z \in Col(A) \Rightarrow y-z \perp b-y \ (y=Ax) \Rightarrow ||b-z||^{2}_{2}=||b-y||^{2}_{2} + ||y-z||^{2}_{2} > ||b-y||^{2}_2, \text{ para } z\neq y$

Además,

$A^{*}A \text{ es singular } \Rightarrow \exists x \in \mathbb{C}^{n}: A^{*}Ax=0 \ (x\neq 0) \Rightarrow x^{*}A^{*}Ax=0 \Leftrightarrow (Ax)^{*}(Ax)=0 \Rightarrow Ax=0 \Rightarrow A \text{ no es full rank}, \text{ por lo tanto } A^{*}A \text{ es no singular } \Leftrightarrow A \text{ tiene full rank}$

Por otro lado,

$A \text{ no full rank } \Rightarrow Ax=0 \text{ para algún } 0 \neq x \in \mathbb{C}^{n} \Rightarrow A^{*}Ax=0 \Rightarrow A^{*}A \text{ singular}$

Por lo tanto,

$A \text{ tiene full rank } \Rightarrow A^{*}A \in M(n \times n, \mathbb{C}) \text{ no singular} \Rightarrow A^{*}Ax=A^{*}x \text{ tiene solución única!}$

Pseudoinversa¶

Si $A$ es full rank, la solución de $x$ está dada por:

$x=(A^{*}A)^{-1}A^{*}b$

$(A^{*}A)^{-1}A^{*}$ se denomina la pseudoinversa de $A$ , y se denota $A^{+}$ .
$A^{+}$ transforma el vector $b \in \mathbb{C}^{m}$ al vector $x \in \mathbb{C}^{n}$ , lo que explica que $A^{+}$ tiene dimensión $(n \times m)$ (más columnas que filas).

Resumiendo:

El problema de mínimos cuadrados consiste en calcular alguno de los sgtes. vectores:

$x=A^{+}b \ \ \ \ \ \ y=Pb \text{ Donde se tiene que } A^{+}=(A^{*}A)^{-1}A^{*} \in M(n \times m, \mathbb{C}) \rightarrow \text{ pseudoinversa de } A P \in M(n \times m, \mathbb{C}) \rightarrow \text{ proyector ortogonal de } A$

¿Cómo calcular los vectores $x$ e $y$ ?

Utilizando las ecuaciones normales: $A^{*}Ax=A^{*}b$

Factorización QR¶

Se construye la factorización $A=\hat{Q}\hat{R}$
El proyector ortogonal $P$ puede ser de la forma: $P=\hat{Q}\hat{Q^{*}}$ , que permite obtener la proyección de $C^{m}$ sobre $Col(A)$ .

$y=Pb=\hat{Q}\hat{Q^{*}}b \in Col(A) y \in Col(A) \Rightarrow Ax=y \text{ tiene solución única} Ax=y=\hat{Q}\hat{Q^{*}}b \Rightarrow \hat{Q}\hat{R}x=\hat{Q}\hat{Q}^{*}b \Rightarrow \hat{R}x=\hat{Q^{*}}b \hat{R}x=\hat{Q^{*}}b \ \ \ / \ \hat{R}^{-1} x=R^{-1}\hat{Q}^{*}b=A^{+}b=(A^{*}A)^{-1}A^{*}b=x \Rightarrow \text{ La pseudoinversa está dada por: } A^{+}=\hat{R}^{-1}\hat{Q}^{*}$

Ventajas

Sistema triangular superior
no singular
fácil de resolver por backsubstitution

Factorización SVD¶

Considerar la SVD reducida de una matriz $A \in M(m \times n, \mathbb{C})$

$A=\hat{U}\hat{\Sigma}V^{*}. \text{ Como ya se ha visto anteriormente } Col(A)= \langle u_{1},u_{2}, \ldots , u_{r} \rangle, \text{r=rank(A)} \text{ Donde } u_{1},u_{2}, \ldots , u_{r} \text{ son los vectores columnas ortonormales de } \hat{U}.$

El proyector $P=\hat{U}\hat{U}^{*} \Rightarrow y=Pb=\hat{U}\hat{U}^{*}b$

$\hat{U}\hat{\Sigma}V^{*}x=\hat{U}\hat{U}^{*}b \Rightarrow \hat{\Sigma}V^{*}x=\hat{U}^{*}b \Rightarrow x=V\hat{\Sigma}^{-1}\hat{U}^{*}b=A^{+}b \Rightarrow A^{+} = V\hat{\Sigma}^{-1}\hat{U}^{*}$

Contenidos

Tema anterior

Próximo tema

Esta página

Clase 16: Más de Mínimos Cuadrados¶

Algunas demostraciones¶

Pseudoinversa¶

Factorización QR¶

Factorización SVD¶

Navegación

Contenidos

Tema anterior

Próximo tema

Esta página

Búsqueda rápida

Clase 16: Más de Mínimos Cuadrados¶

Algunas demostraciones¶

Pseudoinversa¶

Factorización QR¶

Factorización SVD¶

Navegación