js散度kl散度区别_js const

js散度kl散度区别_js constJS散度相似度衡量指标。 https://blog.csdn.net/wateryouyo/article/details/52831115 https://blog.csdn.net/FrankieHello/article/details/80614422?utm_source=copy KL散

JS散度相似度衡量指标。

https://blog.csdn.net/wateryouyo/article/details/52831115

https://blog.csdn.net/FrankieHello/article/details/80614422?utm_source=copy 

KL散度、JS散度和交叉熵

三者都是用来衡量两个概率分布之间的差异性的指标。不同之处在于它们的数学表达。

对于概率分布P(x)和Q(x)

1)KL散度(Kullback–Leibler divergence)

又称KL距离,相对熵。

js散度kl散度区别_js const

当P(x)和Q(x)的相似度越高,KL散度越小。

KL散度主要有两个性质:

(1)不对称性

尽管KL散度从直观上是个度量或距离函数,但它并不是一个真正的度量或者距离,因为它不具有对称性,即D(P||Q)!=D(Q||P)。

(2)非负性

相对熵的值是非负值,即D(P||Q)>0。

 

2)JS散度(Jensen-Shannon divergence)

JS散度也称JS距离,是KL散度的一种变形。

js散度kl散度区别_js const

但是不同于KL主要又两方面:

(1)值域范围

JS散度的值域范围是[0,1],相同则是0,相反为1。相较于KL,对相似度的判别更确切了。

(2)对称性

即 JS(P||Q)=JS(Q||P),从数学表达式中就可以看出。

3)交叉熵(Cross Entropy)

在神经网络中,交叉熵可以作为损失函数,因为它可以衡量P和Q的相似性。

js散度kl散度区别_js const

交叉熵和相对熵的关系:

js散度kl散度区别_js const

 

以上都是基于离散分布的概率,如果是连续的数据,则需要对数据进行Probability Density Estimate来确定数据的概率分布,就不是求和而是通过求积分的形式进行计算了。

(0)
编程小号编程小号
上一篇 2023-08-29
下一篇 2023-08-30

相关推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注