Gilbert Strang의 18.065 강의 Lecture 2: Multiplying and Factoring Matrices를 정리한 내용이다. 5가지의 Matrix factorization 방법들과 4개의 Fundamental Sub-space에 대해서 다룬다.

Factorization methods

1. $A : LU$ (Elimination)
   • A = (Lower triangular matrix)(Upper triangular matrix)
2. $A : QR$ (Gram-Schmidt Process)
   • A = (Orthogonal matrix)(Upper triangular matrix)
3. $S : Q{\Lambda}Q^T$ (Symmetric Eigendecomposition)

   • S (symmetric matrix) = (Eigen vectors)(Diagonal Eigen value matrix)(Transposed Eigen vectors)

     $Q\Lambda Q^T = \begin{bmatrix} | & | & |\\ q_1 &...& q_n \\ | & | & |\\ \end{bmatrix} \begin{bmatrix} \lambda_1 & &\\ & ...& \\ & & \lambda_n \\ \end{bmatrix} \begin{bmatrix} q_1^T \\ \;\;\cdot\cdot\cdot \;\; \\ q_n^T\\ \end{bmatrix}$

     • 한 matrix는 n개의 eigen vector와 eigen value로 이루어진 diagonal matrix로 분해 가능!
     • Q는 n 개의 eigen vector로 이루어진 matrix로 Orthogonal 하다. (대부분 Orthonormal)
     • Λ는 eigen value로 이루어진 diagonal matrix로 그 값들이 모두 실수이다. (이는 Symmetric matrix이기 때문)

   • $S = Q\Lambda Q^T$을 (columns) x (rows) 방식으로 봐보자!

     $(cols \; Q\Lambda)(rows \;of\; Q^T) =\begin{bmatrix} &\\ &\\ \end{bmatrix} \begin{bmatrix} & & &\\ \end{bmatrix} = \begin{bmatrix} \;\;&\;\;&\;\;\\ \;&\;&\;\\ \;&\;&\;\\ \end{bmatrix}, \; rank = 1$

     • (column vector) x (row vector) 는 rank 1인 matrix이므로, S는 Sum of rank 1
     • $S = (Q\Lambda)( Q^T)$ = $Sum \; of \; rank \; 1 = \lambda_1q_1q_1^T + \cdot\cdot\cdot + \lambda_nq_nq_n^T$
       • $\lambda_n q_n q_n^T$는 Symmetric matrix
     • 위 $S$에 한 eigen vector $q_1$을 곱해보면 eigen vector, value의 정의와 동일함을 확인 가능
       • $Sq_1 = \lambda_1q_1q_1^T\;q_1 + \cdot\cdot\cdot + \lambda_nq_nq_n^T \; q_1 \\\;\;\;\;\;\;\,= \lambda_1q_1 \;\;\;\;\\(\because \; q_iTq_i = \|q_i\|^2=1,\ q_i^Tq_j = 0) \\ (\because Q\;is\; orthonormal \;matrix)$
4. $A : X\Lambda X^{-1}$ (Eigendecomposition**)**
   • A = (Eigen vectors)(Diagonal Eigen value matrix)(Inversed Eigen vectors)
5. $A : U\Sigma V^T$ (Singular Vector Decomposition)
   • A = (Orthogonal matrix)(Diagonal matrix)(Transposed Orthogonal matrix)
   • 모든 matrix에 적용 가능

Elimination (A = LU)

Elimination with multiplier

한 matrix를 Lower Triangular matrix와 Upper Triangular matrix로 만들어보자!

• 각 row에 적당한 수를 곱하고, row 간의 연산으로 Upper Triangular matrix를 만들 수 있음

  $\begin{bmatrix} 2 & 3\\ 4 & 7\\ \end {bmatrix} \rightarrow \begin{bmatrix} 2 & 3\\ 0 & 1\\ \end {bmatrix}$

• 이런 연산 과정을 Lower Triangular matrix로 matrix의 언어로 표현

  $\begin{bmatrix} 2 & 3\\ 4 & 7\\ \end {bmatrix} \rightarrow \begin{bmatrix} 1 & 0 \\ 2 & 1 \end {bmatrix} \begin{bmatrix} 2 & 3\\ 0 & 1\\ \end {bmatrix}$

  • 여기서 2는 multiplier로 row에 어떤 수를 곱하여 뺐는지를 나타냄

Elimination in the other view

(column) x (row)의 방식으로 생각해보자!

$A = \begin{bmatrix} x&...&x\\ ... & \;\;\; & \;\;\;\\ x& &\\ \end {bmatrix} = (col_1)(row_1) + \begin{bmatrix} 0 & - & 0\\ | & A_2\\ 0 &
\end {bmatrix}$

• $A$에서 첫 번째 column과 row만을 고려하여(위에서 x 부분), 해당 부분이 동일한 rank 1인 matrix를 끄집어내고, rank 1이 되도록 값을 설정한다. ($(col_1)(row_1)$은 $rank = 1$ )

  $\begin{bmatrix} 2 & 3 \\ 4 & 7 \\ \end{bmatrix} = \begin{bmatrix} 2 & 3 \\ 4 & \underline{\textit{?}} \\ \end {bmatrix} + \begin{bmatrix} 0 & 0 \\ 0 & \underline{\textit{?}} \\ \end{bmatrix} \Rightarrow \begin{bmatrix} 2 & 3 \\ 4 & \underline{\textit{6}} \\ \end {bmatrix} + \begin{bmatrix} 0 & 0 \\ 0 & \underline{\textit{?}} \\ \end{bmatrix}$

• 수식이 성립하도록 맞도록 새로운 matrix $A_2$를 계산한다.

  $\begin{bmatrix} 2 & 3 \\ 4 & 7 \\ \end{bmatrix} = \begin{bmatrix} 2 & 3 \\ 4 & \underline{\textit{6}} \\ \end {bmatrix} + \begin{bmatrix} 0 & 0 \\ 0 & \underline{\textit{1}} \\ \end{bmatrix}$