KL divergence 구현 예시

두 분포간의 dissimilarity를 측정하는 KL-divergence 식

두 분포간의 dissimilarity를 측정하는 KL-divergence 식

def kl_divergence(p, q):
    return np.sum(np.where(p != 0, p * np.log(p / q), 0))
    
if __name__ == '__main__':
    x = np.arange(-10, 10, 0.001)
    p = norm.pdf(x, 0, 2)
    q = norm.pdf(x, 2, 2)
    
    print(kl_divergence(p, q))

 

KL Divergence Python Example

Cross Entropy, KL-Divergence