확률 관련 개념 (Random Variable, Covariance Matrix, Multivariate Gaussian)

Gaussian Mixture를 공부 하다가, 

랜덤 벡터에 대한 가우시안 분포에서 왜 공분산이 따라 다니는지

이해가 안가서 한 번 정리 해봄...

 

결과적으론 랜덤 벡터에 대한 가우시안 분포의 결합확률밀도 함수에

공분산이 일부분으로 포함되어 있었다.

Random Variable

Random process (동전 뒤집기, 주사위 굴리기, ...)

Outcomes -> Number

랜덤 프로세스의 결과를 숫자에 매핑하는 것 (quantifying)

 

X = { 1 if 동전 앞면, 0 if 동전 뒷면 }

Y = Sum of upward face after rolling 7 dice

 

이렇게 어떤 결과에 대해 수치화가 가능해지는 순간

P(Y<=20) 같이 특정 조건에 대한 확률에 대해 생각할 수 있게 됨 (RV가 어떤 값/속성을 갖는 확률)

P(Y is even)

 

Random Vector, Covariance Matrix

두 개 이상의 Random Variable로 이루어진 벡터, 랜덤 벡터

 

랜덤 벡터가 주어지면,

각 랜덤 변수간의 상관성을 수치화하는 공분산을 구할 수 있다

 

Cov(Xi, Xj) = E[(Xi-E[Xi])(Xj-E[Xj])]

기댓값 연산의 선형성을 이용하면

= E[XiXj] - E[Xi]E[Xj]

으로도 정리 가능

 

두 랜덤 변수가 얼마나 서로 유사한지 판단하는 측도이다.

http://www.sharetechnote.com/html/Handbook_EngMath_CovarianceMatrix.html

 

따라서 여러 랜덤 변수로 이루어진 랜덤 벡터에서는

공분산과 분산을 행렬 형태로 표현할 수 있으며

이를 Convariance Matrix라고 표현한다.

Cov(Xi, Xj) = Cov(Xj, Xi) 이며 (대칭)

주대각요소 Cov(Xi, Xi) = Var(Xi) 는 해당 랜덤 변수의 분산에 해당 함.

 

Probability Distribution

Gaussian ; normal distribution

평균 μ과 표준편차 σ 두 개의 파라미터로 표현 된다.

정규 분포는 평균을 중심으로 좌우 대칭이고,

식을 구성하는 (x - μ) 텀에 의해 중심의 위치가 결정 된다.

분산이 작을 수록 뾰족한 모양을 만듬.

https://medium.com/@SeoJaeDuk/archived-post-multivariate-gaussian-distributions-and-entropy-3-991578ca534c

 

정규 분포의 랜덤 변수 X~N(μ, σ^2)에 대해서

Z = (X-μ)/σ를 적용 시켜 줌으로 써

Z~N(0, 1)로 변환이 가능하다. (표준 정규 분포 ; standard normal distribution)

 

Multivariate Gaussian ;

위에서 살펴본 가우시안 분포는 단일 랜덤 변수에 대한 것이고,

여러 개의 랜덤 변수로 이루어진 랜덤 벡터에 대해서는 어떻게 정의하나?

 

예를 들어, 정규 분포를 따르는 수학 성적, 물리 성적 각각에 대한 분포는 쉽게 생각이 가능한데,

이를 동시에 고려 한다면?

 

아래와 같이 결합확률밀도함수로 표현 가능.

x ; a vector with D values

∑ ; covariance matrix

https://medium.com/@SeoJaeDuk/archived-post-multivariate-gaussian-distributions-and-entropy-3-991578ca534c

 

bivariate 기준으로 생각을 했을 때,

평균은 타원의 중심에 위치하고

 

http://www.sharetechnote.com/html/Handbook_EngMath_CovarianceMatrix.html

 

랜덤 변수 X, Y에 대한 공분산이 

Cov(X, Y) = 상관계수 * X의 표준편차 * Y의 표준편차

로 표현된다고 할 때 (위 그림에서 표현 된 관계에 의해서)

 

 

이 세 값에 의해 타원의 장축, 단축 길이 및 좌표 축과 이루는 각도 등이 변한다.

상관계수가 = 0 인 경우 원,

상관계수가 > 0 인 경우 오른쪽으로 기울어진 타원

상관계수가 < 0 인 경우 왼쪽으로 기울어진 타원

|상관계수| 값이 커지면 점점 타원이 장축 방향의 직선에 근접하여 찌그러져 가는 특성이 있다.

(장축 방향 직선 방정식 ; y = 상관계수 * (Y 표준편차 / X 표준편차) * (x - X 평균) + Y 평균)

 

 

그 외 기타 분포

 

Poisson ; P(λ) ; 단위 시간 동안 어떤 사건이 발생하는 수에 대한 분포

단위 시간 동안 평균적으로 발생하는 사건의 수에 해당하는 λ가 파라미터.

Binomial Distribution을 이용해서 poisson 확률분포를 표현하는 확률질량함수가 유도 됨.

 

단위 시간을 변화하는 시간으로 확장한 것을 Poisson Process라고 부르며,

이 때 시간 0에서 t 까지 평균 사건의 수는 λt 이다.

2 편은 -> https://www.youtube.com/watch?v=Jkr4FSrNEVY

 

추가 참고 자료

www.sharetechnote.com/html/Handbook_EngMath_CovarianceMatrix.html

ShareTechnote

destrudo.tistory.com/15

공분산(Covariance)과 상관계수(Correlation)