Ch1. 선형대수와 최적화: 서론
1.1 서론
기계학습은 나머지 변수들로부터 특정 변수들을 예측하기 위해 여러 속성을 포함하는 데이터로부터 수학적 모델을 구축한다. 이러한 모델은 변수들간으니 선형 및 비선형 관계로 표현된다. 모델과 관측된 데이터 간의 일치도를 최적화(최대화)함으로써 데이터 기반 방식으로 이러한 관계를 발견할 수 있다. --> 최적화 문제
선형대수는 벡터 공간에서의 선형 연산을 다룬다. 데이터가 다중 차원의 점으로 표현되므로, 고차원 벡터에 선형 함수들을 적용하는 선형 변환과 관련된 선형대수는 데이터 문제에서 중요하다.
1.2 스칼라, 벡터, 행렬
스칼라(scalar):
스칼라는 대부분의 기계학습 으용에서 일밙거으로 실제 도메인에서 가져온 개별 숫자 값이다. (ex. 속성의 값)
소문자로 표현된다
벡터(vector):
벡터는 숫자 값의 배열, 스칼라 배열이다.
배열상의 개별 숫자 값 = 항 or 성분, 성분의 개수 = 벡터의 차원
(ex.[2,1,3])
상단의 막대로 벡터임을 표시한다
행렬(matrix):
행과 열을 모두 포함하는 숫자 값의 직사각형 배열
(ex. n명에 대한 d개의 속성 데이터셋= n*d 행렬, $A_{ij}$ = A행렬의 i열 j 행 값)
열과 행의 개수가 같을 경우 = 정방행렬(정사각행렬), 그렇지 않으면 비정방행렬
열보다 행이 많은 비정방행렬 = 세로행렬, 행보다 열이 많은 행렬 = 가로 행렬
대문자로 표현된다.
$$ scalar \subset vector \subset matrix $$
벡터는 행렬의 특수한 경우(1Xd or dX1 행렬)로 스칼라는 벡터와 행렬의 특수한 경우(1X1 행렬)로 볼 수 있다.
1.2.1 스칼라와 벡터에 대한 기본 연산
동일한 차원을 갖는 벡터들은 더하거나 뺄 수 있다.
$\bar{x} = \begin{bmatrix}
x_1 & \cdots & x_d \\
\end{bmatrix} \;\;
\bar{y} = \begin{bmatrix}
y_1 & \cdots & y_d \\
\end{bmatrix}
$ 라고 할때
벡터의 덧셈 : $ \bar{x} + \bar{y} = \begin{bmatrix}
x_1 + y_1 & \cdots & x_d + y_d \\
\end{bmatrix}$
벡터의 뺄셈 : $\bar{x} - \bar{y} = \begin{bmatrix}
x_1 - y_1 & \cdots & x_d - y_d \\
\end{bmatrix}$
으로 정의된다. (벡터의 덧셈에서는 (스칼라 덧셈의 경우와 같이) 교환법칙이 성립한다.)
또한, 벡터의 스칼라곱은 각 성분을 스칼라와 곱하는 방법으로 계산된다.
벡터의 스칼라곱: $ a\bar{x} = \begin{bmatrix} ax_1& \cdots & ax_d \\\end{bmatrix} $로 정의된다.
스칼라 곱셈은 벡터의 길이만 병경하며, 방향을 변경하지는 않는다. 즉 벡터 성분들의 상대적 크기에는 변화가 없다.
벡터의 점곱(dot product = inner product, 내적)는 두 벡터의 개별 성분들을 원소 별로 곱한 값의 합이다.
벡터의 점곱: $\bar{x}\cdot\bar{y} = \sum_{i=1}^{d}x_iy_i$
dot product는 교환법칙과 곱셈의 분배법칙이 성립한다.
$$ \bar{x}\cdot\bar{y} = \sum_{i=1}^{d}x_iy_i = \sum_{i=1}^{d}y_ix_i = \bar{y}\cdot\bar{x} $$
$$ \bar{x}\cdot(\bar{y} + \bar{z}) = \bar{x}\cdot\bar{y} + bar{x}\cdot\bar{z} $$
dot product는 Manhattan norm 계산에 사용된다.
* Norm 노옴, 노름
벡터의 길이 혹의 크기를 측정하는 방법
L1 norm = 맨허튼 norm
벡터의 요소에 대한 절대값의 합
$$L_1 = (\sum_{n}^{i}|x_i|) = |x_1| + \cdots + |x_n|$$
L2norm = 유클리드 norm
n 차원 좌표 평면에서 벡터의 크기 계산
$$L_2 = \sqrt{\sum_{n}^{i}|x_i|} = \sqrt{x^2_1 + \cdots + x^2_n} = \sqrt{x\cdot x} = \sqrt{x^T\cdot x}$$
norm의 일반화
$$ L_2 = \sqrt[p]{\sum_{n}^{i}|x_i|^p} = (\sum_{n}^{i}|x_i|^p)^\frac{1}{p} $$
벡터를 단위 길이로 정규화
벡터를 그 길이인 norm으로 나누어 단위길이로 정규화
{\bar{x}}^\prime = \frac{\bar{x}}{||\bar{x}||} = \frac{\bar{x}}{\sqrt{\bar{x}\cdot\bar{x}}}
코시-슈바르츠 부등식과 dot product
dot product는 코시-슈바르츠 부등식을 만족한다.
$$|\sum_{i=1}^{d}x_iy_i| = |\bar{x}\cdot\bar{y}| \leq ||\bar{x}||\;||\bar{y}||$$
=> 두 벡터사이의 점곱이 벡터길이의 곱보다 크지 않다
코시슈바르츠 부등식 증명
https://en.wikipedia.org/wiki/Cauchy%E2%80%93Schwarz_inequality#Proof_for_the_dot_product
- Proof for the dot product
Cauchy–Schwarz inequality - Wikipedia
From Wikipedia, the free encyclopedia Jump to navigation Jump to search Mathematical inequality relating inner products and norms The Cauchy–Schwarz inequality (sometimes called Cauchy–Bunyakovsky–Schwarz inequality)[1][2][3][4] is considered one of
en.wikipedia.org
두 벡터 사이의 각
$\bar{x}$와 $\bar{y}$ 사이의 각을 $\theta$라고하면,
$$ cos(\theta) = \frac{\bar{x}\cdot\bar{y}}{||\bar{x}|\;|\bar{y}||} $$
*sin, cos 법칙과 두 벡터 사이의 각 유도
$$\\
\overline{AB} = c = ||\bar{x}||\\
\overline{BC} = a = ||\bar{y}||\\
\overline{AC} = b = ||\bar{x}-\bar{y}||\\ $$
sin 법칙
$$\frac{a}{SinA} = \frac{b}{SinB} = \frac{c}{SinC} = 2R$$
제 1 cos 법칙
$$\\
a = bcosC + ccosB\\
b = ccosA + acosC\\
c = acosB + bcosA \\
$$
제 2 cos 법칙
$$\\
a^2 = b^2 + c^2 -2bccosA\\
b^2 = a^2 + c^2 - 2accosB\\
c ^2 = a^2 + b^2 -2abcosC \\
$$
제 2 cos 법칙에서 두 벡터 사이의 각 공식 유도
$$cos(\theta) = \frac{a^2 + b^2 - c^2}{2ab} = \frac{||\bar{x}||^2 + ||\bar{y}||^2 - ||\bar{x}-\bar{y}||^2}{2(||\bar{x}||\;||\bar{y}||)}\\ =
\frac{\bar{x}\cdot\bar{x} + \bar{y}\cdot\bar{y} - (\bar{x} - \bar{y})\cdot(\bar{x} - \bar{y})}{2(||\bar{x}||\;||\bar{y}||)}
= \frac{\bar{x}\cdot\bar{x} + \bar{y}\cdot\bar{y} - (\bar{x}\cdot\bar{x}-2\bar{x}\cdot\bar{y} + \bar{y}\cdot\bar{y})}{2(||\bar{x}||\;||\bar{y}||)}
\\
= \frac{\bar{x}\cdot\bar{y}}{\sqrt{\bar{x}\cdot\bar{x}}\sqrt{\bar{y}\cdot\bar{y}}}$$
sin 법칙/증명
cos 제 1법칙 /증명
cos 제 2법칙 /증명
sin, cos 정리
크기가 0이 아닌 두 벡터가 직교일 조건
$$\\
\bar{x}\cdot\bar{y} = 0\\
||\bar{x}||\;||\bar{x}||cos(\theta) = 0\\
||\bar{x}||\;||\bar{x}|| \neq 0
\theta = 90^{\circ} $$
각기 norm이 1인 벡터들의 집합에서 모든 벡터쌍이 직교 관계에 있다면 이러한 집합은 직교정규(orthonormal) 벡터집합이다.
투영(projection)
$\bar{p}$를 $\bar{n}$에 투영시킨 벡터를 $P_{proj}$라고 할때,
$$P_{proj} = (\frac{\bar{p}\cdot\bar{n}}{\bar{n}\cdot\bar{n}})\bar{n}$$
$\bar{n}$에 대해 해당 단위 벡터 방향으로 $\bar{p}$를 투영
??? p.8 - 2차원 좌표계에서 점 [10,15]가 있다고 하자. 이제 직교정규 벡터[3/5,4/5]와 [-4/5,3/5]
1.2.2 벡터와 행렬에 대한 기본 연산
전치 행렬
행렬에서 행과 열을 바꾼것
$A$의 전치행렬 = $A^T$
$A_{ij} = A^T_{ji}$
$A = m\times n \; matrix, \; A^T = n\times m \; matrix$
$A = (A^T)^T$
$(A+B)^T = A^T + B^T$
행렬의 덧셈
행렬은 크기가 정확히 같은 경우에만 덧셈을 할 수 있다. 행렬의 덧셈에서 교환법칙이 성립한다.
영행렬(zero matrix)
모든 항이 0인 행렬, 행렬이지만 숫자처럼 "0"으로 표기되는 경우가 많다.
$$A + 0 = A$$
*항등원, 역원
'연산에 대해서 닫혀있다'의 의미
집합 X의 임의의 두 원소를 선택하여 어떠한 연산을 해서 나온 결과가 반드시 집합 X에 포함되는 원소이다.
ex. 정수에 포함된 원소끼리는 더하면 반드시 정수가 나온다 => 정수는 덧셈에 대해서 닫혀있다.
항등원
집합 X가 연산*에 대해서 닫혀있을 때(*은 임의의 연산), X의 임의의 원소 a에 대하여 $a * e = e * a = a$를 만족시키는 원소 e($e\inX$)를 연산*에 대한 항등원이라고 한다.
덧셈에 대한 항등원: a + e = e + a = a 를 만족시키는 원소 e는 0
곱셈에 대한 항등원 : a × e = e × a = a 를 만족시키는 원소 e는 1
벡터 덧셈에 대한 항등원: $\bar0$, 영벡터
행렬 덧셈에 대한 항등원: 0, 영행렬
역원
집합 X가 연산*에 대해서 닫혀있을 때(*은 임의의 연산), 원소 e($e\inX$)가 연산 *의 항등원일 때, X의 한 원소 a에 대하여 $a * x = x * a = e$를 만족시키는 원소 x($x\inX$)를 연산*에 대한 항등원이라고 한다.
덧셈에 대한 항등원은 0 이므로 덧셈에 대한 역원 : a + x = x + a = 0 를 만족시키는 x = - a
곱셈에 대한 항등원은 1 이므로 곱셈에 대한 역원 : a × x= x × a = 1 를 만족시키는 x = 1/a
행렬곱
$n\times d $ 행렬은 $d$차원 열벡터와 곱하거나 $n$차원 행벡터와 곱할 수 있다
$$\begin{bmatrix}
a_{11}& a_{12} \\
a_{21}& a_{22} \\
a_{31}& a_{32} \\
\end{bmatrix}
\begin{bmatrix}
x_1 \\ x_2
\end{bmatrix}
\;= \;
\begin{bmatrix}
a_{11}x_1 + a_{12}x_2 \\
a_{21}x_1 + a_{22}x_2\\
a_{31}x_1 + a_{32}x_2
\end{bmatrix}
\; = \;
x_1\begin{bmatrix}
a_{11} \\
a_{21}\\
a_{31}
\end{bmatrix} +
x_2\begin{bmatrix}
a_{12} \\
a_{22}\\
a_{32}
\end{bmatrix}$$
$a\times d $ 행렬과 $d\times 1 $ 열벡터를 곱하면 $a\times 1 $ 행렬이 된다. 이는 $d$차원 공간에서 $a$차원 공간으로의 선형 변환으로 해석된다.
행렬곱에서는 교환법칙이 성립하지 않지만, 행렬곱의 특수한 경우인 $1\times n $행렬(행벡터)과 $n\times 1 $행렬(열벡터)의 곱에서는 교환법칙이 성립한다.(점곱에서 교환법칙이 성립하는 것과 같다)
$$\bar{x}\cdot\bar{v} = \bar{v}\cdot\bar{x}$$
행렬곱에서 분배법칙과 결합법칙은 언제나 성립한다
$$A(BC) = (AB)C$$
$$A(B+C) = AB + AC$$
행렬식(determinant)
행렬을 대표하는 값으로 $n \times n$ (n은 2 이상)의 정방행렬 $A$에 대해 $detA$로 표현한다.
기하학적으로는$ n = 2$에서 행렬의 각 열을 벡터로 보았을 때 벡터가 이루는 평형사변형의 넓이이고,
$n = 3$ 에서 벡터가 이루는 평행 육면체의 부피이다.
- $2 \times 2$ 행렬식 계산
$$det(A) = \begin{vmatrix}
a & b \\
c & d \\
\end{vmatrix} =
ad - bc $$
- $3 \times 3$ 행렬식 계산 - 대각선 법칙
- $3 \times 3$ 행렬식 계산 - 여인수 전개
$$A = \begin{vmatrix}
a_{11}&a_{12}&a_{13} \\
a_{21}&a_{22}&a_{23} \\
a_{31}&a_{32}&a_{33} \\
\end{vmatrix} $$
$a_{1}$ 열 기준으로,
$$det(A)=|A|=a_{11}(-1)^{1+1}\begin{vmatrix}a_{22}&a_{23} \\a_{32}&a_{33}\\\end{vmatrix}+a_{21}(-1)^{2+1}\begin{vmatrix}a_{12} & a_{13} \\a_{32} & a_{33} \\\end{vmatrix}+a_{31}(-1)^{3+1}\begin{vmatrix}a_{12} & a_{13} \\a_{22} & a_{23} \\\end{vmatrix}$$
$a_{1}$ 행 기준으로,
$$det(A)=|A|=a_{11}(-1)^{1+1}\begin{vmatrix}a_{22}&a_{23} \\a_{32}&a_{33}\\\end{vmatrix}+a_{12}(-1)^{1+2}\begin{vmatrix}a_{21} & a_{23} \\a_{31} & a_{33} \\\end{vmatrix}+a_{13}(-1)^{1+3}\begin{vmatrix}a_{21} & a_{22} \\a_{31} & a_{32} \\\end{vmatrix} = a_{11}A_{11} - a_{12}A_{12} + a_{12}A_{13}\;\; (A는 소행렬식)$$
- 대각행렬의 행렬식
대각행렬의 행렬식은 대각성분들의 곱이다
$$\begin{vmatrix}
2 & 0 &0 \\
0&3 &0 \\
0& 0 &5 \\
\end{vmatrix} = 2*3*5$$
-행렬식의 특징
1. 두 행을 서로 교환하여면 행렬식의 부호가 바뀐다
2. 한 행의 모든 성분에 상수 k를 곱하면 행렬식의 값이 k배가 된다.
3. 한 행에 다른 행의 상수배를 더하여도 행렬식의 값은 같다. -> 이를 활용하여 최대한 0을 많이 만들어 행렬식 계산
4. $|A| = |A^T|$
5. $|AB| = |A||B| = |BA|$
벡터의 외적(cross product)
$\vec{a}\times\vec{b}$ : a cross b 라고 읽으며 내적과는 달리 방향과 크기를 동시에 가지게된다.
$$\vec{a} = (a_1,a_2,a_3) \;\; \vec{b} = (b_1,b_2,b_3)$$
$$\vec{a}\times\vec{b} = (a_2b_3-a_3b_2, a_3b_1-a_1b_3,a_1b_2-a_2b_1) $$
외적값은 두 벡터 $\vec{a}$와 $\vec{b}$가 동시에 수직인 방향을 가지고, $\vec{a}$와nbsp;$\vec{b}$를 변으로하는 평행사변형의 넓이와 같은 크기를 가진다.
$$|\vec{a}\times\vec{b}| = |\vec{a}||\vec{b}|sin\theta$$
벡터의 외적 행렬식으로 계산하기
$$ i = (1,0,0), j = (0,1,0), k=(0,0,1)$$
$$\vec{a}\times\vec{b} = \begin{vmatrix}
i & j & k \\
a_1 & a_2 & a_3 \\
b_1 & b_2 & b_3 \\
\end{vmatrix} =
i(-1)^{1+1}\begin{vmatrix}
a_2 & a_3 \\
b_2 & b_3 \\
\end{vmatrix} +
j(-1)^{1+2}\begin{vmatrix}
a_1 & a_3 \\
b_1 & b_3 \\
\end{vmatrix} +
k(-1)^{1+3}\begin{vmatrix}
a_1 & a_2 \\
b_1 & b_2 \\
\end{vmatrix} $$
외적의 성질
1. $\vec{a}\times\vec{b} = -\vec{b}\times\vec{a}$
2. $\vec{a}\times\vec{a} = \vec{0}$
3. $\vec{a}\times k\vec{b} = k(\vec{a}\times \vec{b} )$
4 .$\vec{a}\times (\vec{b} + \vec{c}) = \vec{a}\times \vec{b} + \vec{a}\times \vec{c}$
5. 교환법칙은 성립하지 않음
행렬 내/외적
$$u = \begin{pmatrix}
u_1 \\
u_2 \\
u_3
\end{pmatrix}\;\;
v = \begin{pmatrix}
v_1 \\
v_2 \\
v_3
\end{pmatrix}$$
행렬의 내적(matrix inner product):
$$u^Tv = \begin{pmatrix}
u_1 & u_2 & u_3 \\
\end{pmatrix}\begin{pmatrix}
v_1 \\
v_2 \\
v_3
\end{pmatrix} = u_1v_1 + u_2v_2+u_3v_3$$
$$u^Tv = 0 \;(u,v\;\; is\;\; orthogonal)$$
행렬의 외적(matrix outer product):
$$u\otimes v$$
$$uv^T = \begin{matrix}
u_1 \\
u_2 \\
u_3
\end{matrix}
\begin{pmatrix}
v_1& v_2 & v_3 \\
\end{pmatrix} =
\begin{pmatrix}
u_1v_1 & u_1v_2 & u_1v_3 \\
u_2v_1 & u_2v_2 & u_2v_3 \\
u_3v_1 & u_3v_2 & u_3v_3 \\
\end{pmatrix} $$
1.2.3 특수행렬
대칭행렬:
자신의 전치가 자신과 동일한 정방행렬
$$A = A^T$$
단위행렬:
주대각선의 원소가 모두 1이며 나머지 원소는 모두 0인 정사각 행렬
$$\begin{bmatrix}
1 &0 &0 \\
0 &1 &0 \\
0& 0&1 \\
\end{bmatrix}$$
$$AI = IA = A$$
대각행렬:
행렬 각각의 $(i,j)$번째 항이 $i=j$일 경우에만 0이 아닌 값을 갖는 정사각행렬
$$\begin{bmatrix}
2 &0 &0 \\
0 &1 &0 \\
0 &0 &5 \\
\end{bmatrix}$$
비정방 대각행렬:
행렬 각각의 $(i,j)$번째 항이 $i=j$일 경우에만 0이 아닌 값을 갖는 $n \times d$행렬
$$\begin{bmatrix}
2 &0 &0 \\
0 &1 &0 \\
0 &0 &5 \\
0 &0 &0
\end{bmatrix}$$
삼각행렬:
상부 - 주대각성분 아래의 성분이 모두 0인 정사각행렬
$$\begin{bmatrix}
2 &5 &6 \\
0 &1 &7 \\
0 &0 &5 \\
\end{bmatrix}$$
하부 - 주대각성분 위의 성분이 모두 0인 $n \times d$행렬
$$\begin{bmatrix}
2 &0 &0 \\
5 &1 &0 \\
6 &7 &5 \\
\end{bmatrix}$$
-삼각행렬의 합과 곱은 삼각행렬이다.
비정방 삼각행렬:
-대각선은 좌측 상단 모서리에서 시작한다
상부 - 주대각성분 아래의 성분이 모두 0인 $n \times d$행렬
$$\begin{bmatrix}
2 &5 &6 \\
0 &1 &7 \\
0 &0 &5 \\ 0 &0 &0
\end{bmatrix}$$
하부 - 주대각성분 위의 성분이 모두 0인 $n \times d$행렬
$$\begin{bmatrix}
2 &0 &0 \\
5 &1 &0 \\
6 &7 &5 \\ 0 &0 &0
\end{bmatrix}$$
블록 대각행렬:
주대각선 위의 행렬들이 정사각행렬이고 주대각선 밖의 행렬들은 모두 영행렬인 행렬
순 삼각 행렬:
모든 대각선 원소가 0인 삼각행렬
$$\begin{bmatrix}
0 &0 &0 \\
5 &0 &0 \\
6 &7 &0 \\
\end{bmatrix}$$
희소행렬:
행렬 안의 대부분의 항이 0의 값을 가지는 행렬
1.2.4 행렬 누승, 행렬 다항식, 역행렬
행렬의 누승(행렬의 거듭제곱):
정방행렬에 대한 제곱 계산은 행렬 곱셈의 크기 제약을 위반하지 않고 수행될 수 있다.
$$A^n = AAAAAA..A$$
행렬의 0승은 같은 크기의 단위행렬로 정의된다.
$$A^0 = I = \begin{bmatrix}
1& 0 &0 \\
0& 1 &0 \\
0 &0 &1 \\
\end{bmatrix}$$
멱영행렬(nilpotent matrix):
어떤 정수 k에 대해 $A^k = 0$을 만족하는 행렬
ex. 크기가 $d \times d$인 모든 순 삼각 행렬은 $A^d = 0$를 만족시킨다.
소수 값에 대한 누승:
정방행렬에 대해서도 소수 값에 대한 누승이 정의되지만, 계산 결과의 존재가 보장되지는 않는다.
ex. $V = A^\frac{1}{2}$이 언제나 존재한다고 보장할 수는 없다.
행렬 다항식:
정방행렬 $A$는 스칼라 다항식 $f(x) = x^2 + 5x +2$에 대응되는 행렬다항식 $f(A) = A^2 + 5A +2$에 적용되며
곱셈의 교환법칙이 성립한다.
$$f(A)g(A) = g(A)f(A)$$
역행렬:
행렬 $A$의 역행렬은 $A$와 곱해서 항등행렬 I가 나오는 행렬이다.
$$A^{-1}A = AA^{-1} = I$$
역행렬은 선형방정식을 풀 때 유용히 활용할 수 있다.
ex.
역행렬은 $A^{-1} = (\frac{1}{detA})adjA$로 계산할 수 있으며, $detA$가 0이면 역행렬이 존재하지 않는다.
이때 $adjA$는 수반행렬로 A의 여인수 행렬으니 전치행렬이다.
추가적으로 원소 $a$를 포함하는 $1\times 1$ 행렬의 역은 $\frac{1}{a}$를 원소로 갖는 $1\times 1$ 행렬이다.
-> 스칼라 역의 일반화는 행렬의 역이다.
역행렬이 존재할 경우 역행렬은 단 하나만 존재한다.
삼각행렬의 역은 삼각행렬이고, 블록 대각행렬의 역은 블록 대각행렬이다.
두 개의 정방형 가역 행렬의 곱에 대한 역행렬은 순서가 바뀐 개별 행렬의 역의 곱이다.
$$(AB)^{-1} = B^{-1}A^{-1}$$
역변환이나 전치변환은 어떤 순서로 적용되어도 결과에 영향을 주지 않는다.
$$(A^T)^{-1} = (A^{-1})^{T}$$
가역행렬/정칙행렬, 특이행렬,직교행렬(orthogonal matrix):
역행렬이 존재하는 행렬을 가역행렬/ 정칙행렬이라고 하고, 역행렬이 존재하지 않는 행렬을 특이행렬이라고한다.
ex. 행들이 비례관계에 있는 경우 역행렬이 존재하지 않는다.
$$A = \begin{bmatrix}
1 &1 \\
2 &2 \\
\end{bmatrix} \;\;
det(A) = 1*2-1*2 =0 $$
역행렬과 전치행렬이 동일한 정방행렬을 직교행렬이라고한다.
$$AA^T = A^TA = I$$
ex.
$$\left ( \begin{bmatrix}
1 &0 \\
0 &1 \\
\end{bmatrix}\right )^T =
\left ( \begin{bmatrix}
1 &0 \\
0 &1 \\
\end{bmatrix}\right ) ^{-1} $$
행렬 역변환 보조정리:
$A$는 $d \times d$ 가역행렬, $\bar{v}, \bar{d}$는 영벡터가 아닌 $d$차원 열벡터.이 경우 $A + \bar{u}\bar{v}^T$가 가역성을 가지는 것과 \bar{v}^TA^{-1}\bar{u}\neq -1은 동치이다. 이 경우 다음과 같이 역행렬을 계산할 수 있다.
$$(A + \bar{u} \bar{v}^T)^{-1} = A^{-1} - \frac{A^{-1}\bar{u}\bar{v}^TA^{-1}}{1+\bar{v}^TA^{-1}\bar{u}}$$
증명:
증분선형 회귀에서 행렬 역변환 보조정리가 사용된다.
ex. $C = D^TD$형태의 행렬($D$는 $n \times d $행렬)에서 새로운 $d$차원 데이터 점 $\bar{v}$를 받으면 데이터 행렬의 크기가 $(n+1) \times d$ 되고, 행렬 $C = D^TD\bar{v}\bar{v}^T$가 되므로, $O(d^2)$시간 내에 역행렬을 갱신하기 위해 행렬 역변환 보조정리가 유용하게 사용된다.
너무 어렵당........ 그냥 선형대수학부터 보고오자.
--------06.16 책 난이도가 너무 어렵고 선형대수 기초가 부족하여 선형대수를 통달하고 다시 오겠습니다.----------