lda主题模型困惑度_⾃然语⾔处理（2）主题模型LDA （1数学
基础篇）
1前⾔
要想彻底搞明⽩ LDA 的实现原理，就需要具备⼀定的数学基础。LDA ⽤到的数学知识包括：
⼀个公式和两个概念：贝叶斯公式、共轭分布和共轭先验
⼀个函数：gamma 函数
四个分布：⼆项分布、多项分布、beta 分布、dirichlet 分布
⼀个采样：gibbs 采样
下⾯将分别对这⼏个部分作介绍。
2⼀个公式和两个概念
先来看⼀下贝叶斯公式：
表⽰未知参数，X 表⽰样本
1. 先验概率：在事件尚未发⽣前，对该事件发⽣概率的估计。利⽤过去历史资料计算出来得到的先验概率叫做客观先验概率；凭主观经
验来判断⽽得到的先验概率叫做主观先验概率。
2. 后验概率：通过调查或其它⽅式获取新的附加信息，利⽤贝叶斯公式对先验概率进⾏修正后⽽得到的概率。
3. 似然函数：给定模型参数
的条件下，样本数据服从这⼀概率模型的相似程度。
4. 先验分布：反映在进⾏统计试验之前根据其他有关参数知识得到的分布。也就是说在观测获取样本之前，⼈们对
已经有⼀些知识，此时这个
的分布函数为
，
的概率密度函数为
，分别称为先验分布函数和先验概率密度函数，统称先验分布。
5. 后验分布：根据样本 X 的分布以及
的先验分布
，采⽤求解条件概率的⽅式可以计算出已知 X 的条件下，
的条件分布
。因为该分布是在获取样本 X 之后计算出来的，所以称为后验分布。
6. 共轭分布和共轭先验：在贝叶斯概率理论中，如果后验概率
和先验概率
满⾜同样的分布律，那么，先验分布和后验分布被叫做
共轭分布。同时，先验分布叫做似然函数的共轭先验分布共轭分布 共轭先验分布。
3 ⼀个函数
gamma 函数定义如下：
，gamma 函数可以看作阶乘在实数集上的拓展，对于正整数 n，具有如下性质：
。
4 四个分布
4.1 ⼆项分布
⼆项分布是从伯努利分布推导出来的。伯努利分布，⼜称两点分布或0-1分布，是⼀个离散型的随机分布，其中的随机变量只有两种取值，
⾮正即负{+,−}。⽽⼆项分布即重复 n 次伯努利试验，记为 X∽B(n,p) 。简⾔之，只做⼀次实验，是伯努利分布，重复做了 n 次，是⼆项
分布。⼆项分布的概率密度函数为：
，其中
，是⼆项分布的系数。
⼀个典型的例⼦就是抛硬币，我们做 n 次实验，有 k 次为正⾯的概率。
4.2 多项分布
多项分布是⼆项分布在多维上的推⼴，是指单次试验中随机变量的取值不再是 0-1 ，⽽是有多种离散值。⽐如掷骰⼦，有 6 个⾯，n 次试
验结果服从 k=6 的多项分布。其中 k 个离散值的概率满⾜：
。多项分布的概率密度函数为：
其中
表⽰随机变量
发⽣的次数，
表⽰随机变量
今天的文章 2026年lda主题模型困惑度（lda主题模型困惑度一直下降）分享到此就结束了，感谢您的阅读。
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。
如需转载请保留出处：https://bianchenghao.cn/bian-cheng-ri-ji/50823.html