두 확률 분포 사이의 다름의 정도를 측정하는 방법에 대해 정리해 본다. Cross Entropy Cross Entropy를 이해하기 앞서서 information에 대해서 정의해야 한다. information(정보량)은 uncertainty(불확실성)을 나타내는 지표이며, 확률에 -log를 취한 것이다. 확률이 낮으면 값이 커지고, 높을 수록 값이 작아짐. information에 대한 기대값(평균)이 바로 Entropy이며, 분포의 평균적인 불확실성을 표현하는 값이다. Entropy가 높다면, 분포가 flat한 것이고 (어떤 지점에서든 헷갈리니까 ; 확률이 비슷비슷) 낮다면, 분포가 sharp한 것이다. (확률이 대부분 낮고, 특정 포인트가 높음 ; 확실하니까) 그러면, Cross Entropy란 뭐냐, ..