深度学习aps_物院新闻黄海平副教授课题组提出深度学习信用分配的物理模型

点击蓝字

关注我们

物院新闻  Academic News

黄海平副教授课题组

提出深度学习信用分配

的物理模型

基于多层神经网络的深度学习方法，无论在工业应用还是在科学研究都具有广泛的应用。但是，巨量的网络连接参数以及多层嵌套的非线性函数使得深度学习难以定量理解。通俗地讲，人们并不知道网络最后一层的决策行为是如何由巨量的表征参数决定的(即信用分配问题)。   黄海平副教授课题组从统计系综角度提出了深度学习的SaS (spike and slab)模型，该模型假设网络的连接服从SaS分布(图1)，从而不仅能让学习定义在系综水平(即搜索一组候选网络拓扑)，而且能定量的刻画网络连边的属性，比如非常重要，不重要，和不确定(图2)。干扰非常重要的边将对网络的决策造成显著的影响。该模型可以利用平均场理论进行训练; 不同于经典的反向传播算法(点估计), SaS模型本质上是更高级的系综估计。SaS模型的一个重要性质是存在保值变换，即在模型的测试误差维持不变情形下可通过网络超参数的变换得到任意多组等价系综，这可能有助于从物理角度对深度学习进行更深入的研究。总之，该理论模型具有丰富的物理性质，又能直接用于分析深度学习，所以将启发人们对深度学习信用分配、网络压缩(用于低能耗计算)、迁移学习，甚至大脑如何解决信用分配等基础科学问题的深入思考。

该研究结果于2020年10月22日在《物理评论快报》刊出[C. Li and H. Huang, Phys. Rev. Lett.125, 178301 (2020)]. 论文链接https://journals.aps.org/prl/abstract/10.1103/PhysRevLett.125.178301。   该研究论文第一作者为中山大学硕士生李婵 (2018年9月起在黄海平副教授课题组参与本科生科研训练，2020年9月起攻读理论物理硕士)。黄海平副教授为该论文的唯一通讯作者。该研究受到国家自然科学青年基金，国家重点研发计划的资助。

黄海平副教授课题组近期在神经网络的理论研究取得多项突破. 例如, 在今年6月16日出版的<>上阐述了先验对无监督学习的影响, 即重组了内禀对称性自发破缺的过程 [Phys. Rev. Lett. 124, 248302 (2020)] (见报道链接：https://mp.weixin.qq.com/s/QdF3F5QH1mAthUzy5ICzjQ). 在今年9月1日出版的Phys Rev E (Rapid Communications)发表了训练带离散权重的受限玻尔兹曼机的算法, 此前对这类网络一直未有算法 [Phys. Rev. E 102, 030301(R) (2020)].

–SP·SYSU–

撰稿：李婵、黄海平

排版：徐菡

初审：雷世菁

审核：董建文

审核发布：许东黎

点击“阅读原文”，进入论文链接。