Gilbert Strang의 MIT OCW 강의 5. Positive Definite and Semidefinite Matrices 를 주로 참고하여 정리한 내용입니다. Positive (semi) Definite임을 검증할 수 있는 방법(정의)에 대한 내용이다. 해당 내용을 이해하기 위해선, eigen value decomposition, energy of matrix, trace of matrix, pivot elimination 등을 알아야 한다.

Symmetric Postive Definite

1. All eigen value $\lambda_i>0$
2. Energy $x^{T}Sx>0$ (for all $x\ne0$)
3. $S=A^{T}A$ (independent cols in A)
4. All Leading determinants > 0
5. All Pivots in elimination > 0

위의 5개의 정의 각각이 Positive Definite인지 검증(test) 할 수 있는 방법 들이다. Positive Definite S에 대한 가장 명쾌한 정의는 모든 고유 값들이 양수일 때, symmetric matrix가 Positive definite라고 할 수 있다. 하지만 행렬이 주어졌을때, PD인지 검증하려고 할때 고유값들을 모두 찾는 것은 어려울 수 있다.

다음과 같은 대칭 행렬 $S$가 주어졌을 때, Positive Definite한지 검증 해보자.

$S= \begin{bmatrix} 3 & 4 \\ 4 & 5\end{bmatrix}$

$2\times2$이니깐 eigen value를 구해 볼수도 있고, energy로 확인할 수 있고, 3번과 같이 Factorize를 할 수 있다. 가장 쉬운 방법은 Determinant를 계산하는 방법이다. det(S) = -1 이고, 이것은 곧 두개의 eigen value의 곱이다. (이것에 대한 증명은 다음 링크의 6번 문제를 참고.)

즉 eigen value 중 하나는 음수 이므로 Positive definite가 아니라, indefinite matrix이다. 그러면 S를 positive definite로 만들어 보자. 5를 6으로 바꿔 보자.

$S= \begin{bmatrix} 3 & 4 \\ 4 & 6\end{bmatrix}$

4번 방법에서 Leading은 무엇을 의미할까? 다음 예제에서 1x1 det값을 생각해보자

$S_1=\begin{bmatrix} -3 & 4 \\ 4 & -6\end{bmatrix}$

$det(S_1)= 18$ 로 동일하지만 $1\times1 \space det(S_1)= -3$이고, 이것은 양수가 아니다. 즉, Leading determinant라는 것은 upper left로부터의 det값이고, n개의 eigen value들이 있고, All Leading determinant > 0를 검증하는 것 또한 n번 계산해야 한다.

이제 Pivot과의 연관성에 대해 고려해 보자. First Pivot은 무엇인가? $1\times 1$ entry 값인 3이다. Second Pivots는 다음과 같은 elimination을 통해 구해야 한다.

$S= \begin{bmatrix} 3 & 4 \\ 4 & 6\end{bmatrix} \rightarrow \begin{bmatrix} 3 & 4 \\ 0 & 2/3\end{bmatrix}$

( $2\over3$ = ${2\times 2 \space det}\over{1\times 1 \space det}$)