2. 벡터, 행렬 기본개념

Jan 29, 2024

Contents

전치행렬

전치행렬이란, 행렬에서 행과 열의 값을 전치시킨 행렬이다. 스칼라값의 현재 인덱스 값의 행, 열값이 서로 바뀌는 것을 의미한다. 전치 행렬임을 나타낼 때는 보통 윗첨자로 T를 기입한다. 벡터가 전치되는 경우, 수식적으로는 그냥 벡터의 스칼라 값들을 세로로 기입하면 되지만, 파이썬이나 기타 프로그래밍 언어에서는 ‘세로로 기입’한다는 개념 자체가 없기에, 굳이 전치 벡터를 나타내고 싶다면 벡터가 아닌 행렬로 값을 표현하여야 제대로 적용된다.

Transposed matrics= matrics^T

예시

mat = [[1,2,3,4,5]]

mat^T = [[1],[2],[3],[4]]

Norm

Norm이란, 벡터의 크기를 수치화 하는 함수이다. 기본적으로 Norm 이라 하면 L2 Norm으로 받아들인다. 이 외에 L1 Norm, 제곱 L2, Max Norm이 있다. Max Norm 을 제외한 Norm 함수에 대한 일반식 LP Norm은 다음과 같다.

||X||_p = (\sum_i{|x_i|})^\frac{1}{p}

L2 Norm

가장 일반적으로 사용되는 Norm이다. ||X|| 만 되어 있으면 그냥 L2 Norm으로 보면 된다.

||X||_2 = \sqrt{\sum_ix_i^2}

L2 Norm이라는 것은 결국 0 벡터(원점벡터)에서 해당 벡터까지의 유클리드 거리와 같다.

L1 Norm

L1 Norm은 제곱값에 루트를 씌우는 것이 아닌, 단순히 절댓값을 더한 값이다. 보통 0인 것과 0이 아닌 것을 가려야 하는 경우에 사용한다.

||X||_1 = \sum_i|x_i|

Max Norm

max norm은 단순히 벡터의 스칼라 중 절댓값이 가장 큰 값을 취하는 norm이다.

||X||_\infin = {MAX}_i |x_i|

벡터의 종류

단위벡터(unit vector)

단위 벡터란 Norm이 1인 벡터로, 이때 Norm은 L1이 될 수도, L2가 될 수도 있다. 보통은 L2 Norm으로 단위 벡터를 정하면, 원점에서 유클리드 거리가 1인 벡터이다.

단위 벡터를 기하학적으로 이해하면, 크기가 1이나, 방향성을 유지하고 있는 벡터이다. 즉, 어떤 벡터를 특정 방향으로 바꿔주고자 한다면, 그 방향의 단위 벡터를 곱하여 바꿔줄 수 있다.

기저(basis)

기저란 벡터공간에서 선형 관계에 있지 않는 벡터들의 모음으로, 서로 독립인 벡터들이다. 어떤 공간을 이루는 필수적인 구성요소이다.

기저가 성립하는 조건은 다음과 같다.

1. spanned set이 vector space의 전제가 되어야 한다

즉, 모든 벡터들은 선형 결합으로 나타날 수 있어야 하고

2. 기저 요소들은 서로 선형독립이어야 한다

이 두 조건을 만족하는 벡터들의 집합을 기저벡터라고 한다.

(+)선형독립과 선형종속

선형 독립

선형 독립이란 벡터의 개수만큼 차원이 확장(span)하는 것. 즉, 벡터와 벡터가 겹치지 않음. 쉽게 생각하면 두 벡터가 겹치지만 않으면 모두 독립이라고 할 수 있다.

선형 종속

선형 종속이란 벡터의 개수만큼 차원이 확장되지 못하는 경우를 의미함. 이 경우, 벡터가 다른 벡터와 겹치게 되어 발생함. 어떤 벡터를 나머지 벡터의 조합으로 나타낼 수 있으면 선형 종속이다.

선형 결합(linear combination)

벡터에 스칼라 값을 곱해 더한다는 것을 의미한다. 선형 결합의 결과를 span이라고 한다. span은 점, 선, 면 또는 다차원 공간일 수 있다.

(+)생성공간(span)

생성공간이란 주어진 두 벡터의 조합으로 만들 수 있는 모든 가능한 벡터의 집합을 의미한다. 즉, 주어진 벡터들의 선형 조합을 통해 만들 수 있는 공간을 의미한다.

마치 쫄쫄이 옷(기저)을 쭉 늘렸을 때, 늘어난 옷과 같은 상태를 span이라고 한다. 즉, 현재 가진 벡터들로 표현할 수 있는 영역을 span이라고 한다.

3차원 공간에서 벡터 2개를 span하면, 평면까지만 span할 수 있다.

차원

차원은 주어진 공간에서 모든 기저들이 같는 벡터 수를 의미한다.

Rank

컬럼 공간의 차원을 의미한다.

열공간, 행공간

컬럼벡터가 나타낼 수 있는 범위를 의미한다.

C(A)

또는

range(A)

로 표기한다.

반대로 행공간은 행 벡터가 나타낼 수 있는 범위를 의미한다.

R(A)

로 표기한다.

직교벡터

직교벡터란 벡터와 해당 벡터의 전치행렬의 곱, 다시 말해 내적이 0이 되는 벡터를 의미한다. 기저벡터는 직교벡터가 될 수 있다. 그렇다고 모든 기저 벡터가 직교 벡터는 아니다.

X^TX = 0\newline or\newline X\cdot X = 0

내적이 0 이라는 것은 기하학적인 의미가 있다.

먼저 내적이라는 것은 삼각함수로 표현할 수 있다.

\vec a \cdot \vec b = |\vec a| |\vec b |cos \theta

cos 90은 무엇인가?

cos 90은 0이다. 한 벡터가 원점 벡터이거나 (0,1) (2,0) 같은 기저 벡터가 아닌 이상, 벡터의 곱샘으로만 0이 나올 수는 없다. 그 말은 곧, 두 벡터의 사잇각이 90도가 되어야만 내적값이 0이 될 수 있다는 것이다. 기하학적으로 보면 두 벡터가 직교한다는 것은 곳, 두 벡터의 성질이 완전히 반대라는 것을 의미한다.