Python基于Kmeans算法实现文本聚类的简单练习

Python基于Kmeans算法实现文本聚类的简单练习接触机器学习时间不长,也一直有兴趣研究这方面的算法。最近在学习Kmeans算法,但由于工作的原因无法接触到相关的项目实战。为了理清思路、熟悉代码,在参照了几篇机器学习大神的博文后,做了一个简单的Kmeans算法的简单练习。作为一枚机器学习的门外汉,对于文中的一些错误和不足,还望您多多包涵,也欢迎您的批评和建议(第一次发博客,有点语无伦次,见谅哈)。先说一下我的大致思路:1、利用爬虫进行文本数据的爬…

接触机器学习时间不长,也一直有兴趣研究这方面的算法。最近在学习Kmeans算法,但由于工作的原因无法接触到相关的项目实战。为了理清思路、熟悉代码,在参照了几篇机器学习大神的博文后,做了一个简单的Kmeans算法的简单练习。作为一枚机器学习的门外汉,对于文中的一些错误和不足,还望您多多包涵,也欢迎您的批评和建议(第一次发博客,有点语无伦次,见谅哈)。

先说一下我的大致思路:

1、利用爬虫进行文本数据的爬取。本文爬取了豆瓣电影TOP250榜单内的电影剧情简介作为聚类文本。

2、利用jieba分词对文本进行预处理(文本分词、停用词过滤、语料库的建立等)。

3、利用scikit-learn计算词语的tfidf并建立VSM。

4、利用Kmeans进行文本聚类。

5、结果展示。

话不多说,直接进入正题吧。

一、文本数据的爬取

先上代码:

# -*- coding: utf-8 -*-
import urllib.request
import re
from lxml import etree
urllib.request.urlcleanup()
import urllib.error
import time
'''豆瓣设置了反扒机制,通过设置代理并将爬虫伪装成浏览器,以及在出现错误时设置延时后发现能狗成功'''
def use_proxy(proxy_ip,url):
	try:
		req=urllib.request.Request(url)
		req.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:57.0) Gecko/20100101 Firefox/57.0')
		proxy=urllib.request.ProxyHandler({'http':proxy_ip})
		opener=urllib.request.build_opener(proxy,urllib.request.HTTPHandler)
		urllib.request.install_opener(opener)
		data=urllib.request.urlopen(req).read().decode('utf-8','ignore')
		return data
	except urllib.error.URLError as e:
		if hasattr(e,'code'):
			print(e.code)
		if hasattr(e,'reason'):
			print(e.reason)
		time.sleep(10) #出现异常延时10s
	except Exception as e:
		print('exception:'+str(e))
		time.sleep(1)
'''爬取榜单上电影的链接'''
for i in range(0,225,25):
    url='https://movie.douban.com/top250?start='+str(i)
    proxy_ip='127.0.0.1:8888'
    data=use_proxy(proxy_ip,url)
    response = etree.HTML(data)
    link = response.xpath('//div[@class="pic"]/a/@href')
    '''在爬取过程中发现豆瓣上有4部电影的链接无法打开,将其剔除'''
        unlink=['https://movie.douban.com/subject/5912992/',
            'https://movie.douban.com/subject/1292000/',
            'https://movie.douban.com/subject/1300299/',
            'https://movie.douban.com/subject/1417598/']
    for j in range(0,len(link)):
        thisurl=link[j]
        if thisurl in unlink:
                continue
        '''爬取剧情简介文本,并写入本地文件'''
        data=use_proxy(proxy_ip,thisurl)
        pat='<span property="v:summary".*?>(.*?)</span>'
        content=re.compile(pat,re.S).findall(data)
        pat1='<title>(.*?)</title>'
        title=re.compile(pat1,re.S).findall(data)
        content_data=content[0].replace('<br />','').strip().replace('\n','').replace(' ','')
        filename='D:/Python_work/Data Mining/db250/'+title[0].strip()+'.txt'
        with open(filename,'w',encoding='utf-8') as fh:
            fh.write(content_data)

爬取结果:

Python基于Kmeans算法实现文本聚类的简单练习Python基于Kmeans算法实现文本聚类的简单练习

二、文本预处理

文本预处理主要利用jieba分词进行中文分词,根据停用词的语料库进行停用词的过滤以及特殊字符的处理,建立语料库。

本文停用词库的建立参考博文:点击打开链接

代码如下:

# -*- coding: utf-8 -*-
from os import listdir
import jieba
from sklearn import feature_extraction  
from sklearn.feature_extraction.text import TfidfTransformer  
from sklearn.feature_extraction.text import CountVectorizer  
all_file=listdir('D:/Python_work/Data Mining/db250') #获取文件夹中所有文件名
labels=[] #用以存储电影名称
corpus=[] #空语料库
'''停用词的过滤'''
typetxt=open('D:/Python_work/Data Mining/文本相似度计算/停用词.txt') 
texts=['\u3000','\n',' '] #爬取的文本中未处理的特殊字符
'''停用词库的建立'''
for word in typetxt:
    word=word.strip()
    texts.append(word)
'''语料库的建立'''
for i in range(0,len(all_file)):
    filename=all_file[i]
    filelabel=filename.split('.')[0]
    labels.append(filelabel) #电影名称列表
    file_add='D:/Python_work/Data Mining/db250/'+ filename
    doc=open(file_add,encoding='utf-8').read()
    data=jieba.cut(doc) #文本分词
    data_adj=''
    delete_word=[]
    for item in data:
        if item not in texts: #停用词过滤
            data_adj+=item+' '
        else:
            delete_word.append(item)        
    corpus.append(data_adj) #语料库建立完成

结果展示(corpus):

Python基于Kmeans算法实现文本聚类的简单练习

三、计算词语的tfidf值,此部分代码主要参考大神博文:点击打开链接

代码:

vectorizer=CountVectorizer()#该类会将文本中的词语转换为词频矩阵,矩阵元素a[i][j] 表示j词在i类文本下的词频  
transformer=TfidfTransformer()#该类会统计每个词语的tf-idf权值
tfidf=transformer.fit_transform(vectorizer.fit_transform(corpus))#第一个fit_transform是计算tf-idf,第二个fit_transform是将文本转为词频矩阵
weight=tfidf.toarray()#将tf-idf矩阵抽取出来,元素a[i][j]表示j词在i类文本中的tf-idf权重 
word=vectorizer.get_feature_names()#获取词袋模型中的所有词

结果展示:

word:Python基于Kmeans算法实现文本聚类的简单练习 weight:

Python基于Kmeans算法实现文本聚类的简单练习

weight为 246×9293矩阵,每一行代表一个文本,列为总次数,每一行对应的值为相关文本词语的TFIDF值

四、Kmeans聚类的实现

from sklearn.cluster import KMeans
mykms=KMeans(n_clusters=10)
y=mykms.fit_predict(weight)
for i in range(0,10):
    label_i=[]
    for j in range(0,len(y)):
        if y[j]==i:
            label_i.append(labels[j])
    print('label_'+str(i)+':'+str(label_i))

结果如下:

Python基于Kmeans算法实现文本聚类的简单练习

五、刚学机器学习不久,此篇文章纯粹是作练习用,结果没有什么价值,此外对于Kmeans部分也只是简单的调用,后续还需要进行更深入的学习。非科班出身,代码也是业余时间的个人爱好,文章中的一些问题也欢迎各位大佬指出,也希望能结识喜欢机器学习的小伙伴,多交流,一起学习,一起成长!

今天的文章Python基于Kmeans算法实现文本聚类的简单练习分享到此就结束了,感谢您的阅读。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
如需转载请保留出处:https://bianchenghao.cn/9601.html

(0)
编程小号编程小号

相关推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注