sji

베이즈 정리를 구성하는 Posterior, Likelihood, Prior가 헷갈리는 이유는 각각을 구분하는 기준을 아직 모르기 때문이다. 우선 셋을 구분하기 위해선 문제 해결을 위해 구하고자 하는 대상, 주어진 대상(관측 값)이 뭔지 알아야 한다. 즉, 구하는 대상, 주어진 대상이 바뀌면 저 셋도 바뀌게 된다. Posterior 관측 값이 주어졌을 때, 구하고자 하는 대상이 나올 확률 Likelihood 구하고자 하는 대상이 정해졌다고 가정할 때, 주어진 대상이 나올 확률 Prior 구하고자 하는 대상 자체에 대한 확률 예를 들어, 주어진 대상 = 학습 데이터이고 구하는 대상 = 모델 파라미터면 Posterior = P(w|D) Likelihood = P(D|w) Prior = P(w) 인 것이다. M..

이전에 아래 글에서 Likelihood & MLE에 대한 정리를 했었는데, 분류 문제에 대한 설명은 되지만, 리그레션 문제에 대한 설명을 하려 할 때 감이 잘 오지 않는다. Likelihood & MLE(최대 우도 추정) 1 Likelihood & Maximum Likelihood Estimation(MLE) Likelihood(우도; 가능도)란? 어떤 모델(파라미터;확률분포)과 데이터가 주어졌을 때, 이 모델이 데이터를 얼마나 잘 설명하는지? 수치화 할 수 있는 척도이다... aimaster.tistory.com 이번엔 Regression에서 MSE를 Loss 함수로 쓰는 이유를 정리하려 한다. (결론 부터 말하면, 리그레션 모델의 출력을 가우시안 분포의 평균 값으로 가정하고 MLE를 했을 때, Lik..

Likelihood & Maximum Likelihood Estimation(MLE) Likelihood(우도; 가능도)란? 어떤 모델(파라미터;확률분포)과 데이터가 주어졌을 때, 이 모델이 데이터를 얼마나 잘 설명하는지? 수치화 할 수 있는 척도이다. Likelihood는 모델의 파라미터 θ에 대한 함수이다. 관측된 데이터가 주어졌을 때, 어떤 파라미터 θ가 입력되느냐에 따라 Likelihood 함수 결과값의 높고 낮음이 결정 된다. 예를 들어, 이항 분포의 확률 B(n, p)을 정의하는 확률 질량 함수가 있고 n번 동전을 던져 x번 앞면이 나올 확률은 다음과 같이 구할 수 있다하자. 모델 파라미터 p를 모르는 상태에서 데이터를 관측한 결과 n=100, x=24가 나왔다면 이를 대입한 100C24 * ..