textcnn详解

textcnn详解一.TextCNN是什么  我们之前提前CNN时,通常会认为是属于CV领域,用于计算机视觉方向的工作,但是在2014年,YoonKim针对CNN的输入层做了一些变形,提出了文本分类模型textCNN。与传统图像的CNN网络相比,textCNN在网络结构上没有任何变化(甚至更加简单了),从图一可以看出textCNN其实只有一层卷积,一层max-pooling,最后将输出外接softmax来n分类。…

1. CNN

1.1、单通道卷积核

textcnn详解

一个矩阵代表一个图像的表示,卷积核Filter对矩阵进行卷积(矩阵相乘再相加),得到卷积特征;

 

1.2、多通道

textcnn详解

多个卷积核进行卷积,提取不同位置的特征;多通道特征相加;得到最后的卷积矩阵。

1.3、池化层

1.3.1、步长

步长(stride)是指每次移动的跨度;填充(padding)是指在矩阵周边进行扩充的长度

1.3.2、池化

选择一个区域,进行池化;池化一般有两种,平均池化和最大池化

textcnn详解

1.4、全连接层

textcnn详解

1.4.2、激活函数

relu激活函数,计算量小,梯度为常量(0,1),可以缓解梯段消失,可以有效防止过拟合

https://zhuanlan.zhihu.com/p/97326991

textcnn详解

2、Text

2.1、文本常用处理

       截断和填充

textcnn详解

3、TextCNN 

  我们之前提前CNN时,通常会认为是属于CV领域,用于计算机视觉方向的工作,但是在2014年,Yoon Kim针对CNN的输入层做了一些变形,提出了文本分类模型textCNN。与传统图像的CNN网络相比, textCNN 在网络结构上没有任何变化(甚至更加简单了), 从图一可以看出textCNN 其实只有一层卷积,一层max-pooling, 最后将输出外接softmax 来n分类。

3.1、textcnn的特点:

textcnn通过一维卷积来获取句子中的n-gram特征表示;预训练词向量作为embedding layer。

textcnn详解

 

3.2、textcnn结构图

 

textcnn详解1、embedding 为7*5;

2、通过6组卷积核;2组3种(2*5, 3*5, 4*5)卷积核;卷积核第二维的维度与词embedding层的一致,在移动过程中相当于提取n-gram特征。

3、得到卷积向量维度(d_embedding – d_filter+1)/stride   (例如黄色的部分,(7-2+1)/1=6 )

4、最大池化,拼接

5、softmax,分类

参数

textcnn详解

 

 

 

 

 

 

 

参考文献

https://www.cnblogs.com/ModifyRong/p/11319301.html(文章)

https://www.bilibili.com/video/BV1H5411a7bx?from=search&seid=2503221631212378925 (视频)

 

今天的文章textcnn详解分享到此就结束了,感谢您的阅读。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
如需转载请保留出处:https://bianchenghao.cn/9392.html

(0)
编程小号编程小号

相关推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注