sji

Likelihood & Maximum Likelihood Estimation(MLE) Likelihood(우도; 가능도)란? 어떤 모델(파라미터;확률분포)과 데이터가 주어졌을 때, 이 모델이 데이터를 얼마나 잘 설명하는지? 수치화 할 수 있는 척도이다. Likelihood는 모델의 파라미터 θ에 대한 함수이다. 관측된 데이터가 주어졌을 때, 어떤 파라미터 θ가 입력되느냐에 따라 Likelihood 함수 결과값의 높고 낮음이 결정 된다. 예를 들어, 이항 분포의 확률 B(n, p)을 정의하는 확률 질량 함수가 있고 n번 동전을 던져 x번 앞면이 나올 확률은 다음과 같이 구할 수 있다하자. 모델 파라미터 p를 모르는 상태에서 데이터를 관측한 결과 n=100, x=24가 나왔다면 이를 대입한 100C24 * ..

one-shot learning에 대한 좋은 설명 블로그가 있는데, 평소에 말이 많은 사람인지, 본론이 시작되기 전에 서론을 지나치게 길게 써놔서 번역하여 중요 부분만 간략히 정리해본다. One Shot Learning and Siamese Networks in Keras [Epistemic status: I have no formal training in machine learning or statistics so some of this might be wrong/misleading, but I’ve tried my best.] sorenbouma.github.io 뉴럴넷을 이용하면 고차원의 데이터에 대해 좋은 퍼포먼스를 보인다. 하지만, 일반적으로는 학습데이터가 클 때만 해당되는 말이다. 반면 사람은..

트랜스포머에 대해서 복습. 일단 아래의 글을 보고 이해를 해본다. The Illustrated Transformer Discussions: Hacker News (65 points, 4 comments), Reddit r/MachineLearning (29 points, 3 comments) Translations: Chinese (Simplified), Japanese, Korean, Russian Watch: MIT’s Deep Learning State of the Art lecture referencing this post In the previous pos jalammar.github.io 인코더 부분 self attention layer는 특정 단어를 인코딩 하기 위해서, 특정 단어와 문장 내..