1. CNN
1.1、单通道卷积核
一个矩阵代表一个图像的表示,卷积核Filter对矩阵进行卷积(矩阵相乘再相加),得到卷积特征;
1.2、多通道
多个卷积核进行卷积,提取不同位置的特征;多通道特征相加;得到最后的卷积矩阵。
1.3、池化层
1.3.1、步长
步长(stride)是指每次移动的跨度;填充(padding)是指在矩阵周边进行扩充的长度
1.3.2、池化
选择一个区域,进行池化;池化一般有两种,平均池化和最大池化
1.4、全连接层
1.4.2、激活函数
relu激活函数,计算量小,梯度为常量(0,1),可以缓解梯段消失,可以有效防止过拟合
https://zhuanlan.zhihu.com/p/97326991
2、Text
2.1、文本常用处理
截断和填充
3、TextCNN
我们之前提前CNN时,通常会认为是属于CV领域,用于计算机视觉方向的工作,但是在2014年,Yoon Kim针对CNN的输入层做了一些变形,提出了文本分类模型textCNN。与传统图像的CNN网络相比, textCNN 在网络结构上没有任何变化(甚至更加简单了), 从图一可以看出textCNN 其实只有一层卷积,一层max-pooling, 最后将输出外接softmax 来n分类。
3.1、textcnn的特点:
textcnn通过一维卷积来获取句子中的n-gram特征表示;预训练词向量作为embedding layer。
3.2、textcnn结构图
1、embedding 为7*5;
2、通过6组卷积核;2组3种(2*5, 3*5, 4*5)卷积核;卷积核第二维的维度与词embedding层的一致,在移动过程中相当于提取n-gram特征。
3、得到卷积向量维度(d_embedding – d_filter+1)/stride (例如黄色的部分,(7-2+1)/1=6 )
4、最大池化,拼接
5、softmax,分类
参数
参考文献
https://www.cnblogs.com/ModifyRong/p/11319301.html(文章)
https://www.bilibili.com/video/BV1H5411a7bx?from=search&seid=2503221631212378925 (视频)
今天的文章textcnn详解分享到此就结束了,感谢您的阅读。
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
如需转载请保留出处:https://bianchenghao.cn/9392.html