NDCG:推荐系统/搜索评价指标

NDCG:推荐系统/搜索评价指标本文转载自【胖喵】博主,详细请看https://www.cnblogs.com/by-dream/p/9403984.html1.CG:累计增益CG,cumulativegain,只考虑到了相关

本文转载自【胖喵】博主,详细请看https://www.cnblogs.com/by-dream/p/9403984.html

1. CG:累计增益

CG,cumulative gain,只考虑到了相关性的关联程度,没有考虑到位置的因素。它是一个搜素结果相关性分数的总和。指定位置p上的CG为:

NDCG:推荐系统/搜索评价指标

reli 代表i这个位置上的相关度。

举例:假设搜索“篮球”结果,最理想的结果是:B1、B2、 B3。而出现的结果是 B3、B1、B2的话,CG的值是没有变化的,因此需要下面的DCG。

2. DCG:折损累计增益

DCG, Discounted 的CG,就是在每一个CG的结果上处以一个折损值,为什么要这么做呢?目的就是为了让排名越靠前的结果越能影响最后的结果。假设排序越往后,价值越低。到第i个位置的时候,它的价值是 1/log2(i+1),那么第i个结果产生的效益就是 reli * 1/log2(i+1),所以:

NDCG:推荐系统/搜索评价指标

当然还有一种比较常用的公式,用来增加相关度影响比重的DCG计算方式是:

NDCG:推荐系统/搜索评价指标

3. NDCG:归一化折损累计增益

Normalized 的DCG,由于搜索结果随着检索词的不同,返回的数量是不一致的,而DCG是一个累加的值,没法针对两个不同的搜索结果进行比较,因此需要归一化处理,这里是处以IDCG。

NDCG:推荐系统/搜索评价指标

IDCG为理想情况下最大的DCG值。

NDCG:推荐系统/搜索评价指标

其中 |REL| 表示,结果按照相关性从大到小的顺序排序,取前p个结果组成的集合。也就是按照最优的方式对结果进行排序。

4. 实际案例

假设搜索回来的5个结果,其相关性分数分别是 3、2、3、0、1、2

那么 CG = 3+2+3+0+1+2

可以看到只是对相关的分数进行了一个关联的打分,并没有召回的所在位置对排序结果评分对影响。

而我们看DCG:

NDCG:推荐系统/搜索评价指标

所以 DCG  = 3+1.26+1.5+0+0.38+0.71 = 6.86

接下来我们归一化,归一化需要先结算 IDCG,假如我们实际召回了8个物品,除了上面的6个,还有两个结果,假设第7个相关性为3,第8个相关性为0。那么在理想情况下的相关性分数排序应该是:3、3、3、2、2、1、0、0。计算IDCG@6:

NDCG:推荐系统/搜索评价指标

所以IDCG = 3+1.89+1.5+0.86+0.77+0.35 = 8.37

最终 NDCG@6 = 6.86/8.37 = 81.96%

今天的文章NDCG:推荐系统/搜索评价指标分享到此就结束了,感谢您的阅读。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
如需转载请保留出处:http://bianchenghao.cn/62751.html

(0)
编程小号编程小号

相关推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注