接触机器学习时间不长,也一直有兴趣研究这方面的算法。最近在学习Kmeans算法,但由于工作的原因无法接触到相关的项目实战。为了理清思路、熟悉代码,在参照了几篇机器学习大神的博文后,做了一个简单的Kmeans算法的简单练习。作为一枚机器学习的门外汉,对于文中的一些错误和不足,还望您多多包涵,也欢迎您的批评和建议(第一次发博客,有点语无伦次,见谅哈)。
先说一下我的大致思路:
1、利用爬虫进行文本数据的爬取。本文爬取了豆瓣电影TOP250榜单内的电影剧情简介作为聚类文本。
2、利用jieba分词对文本进行预处理(文本分词、停用词过滤、语料库的建立等)。
3、利用scikit-learn计算词语的tfidf并建立VSM。
4、利用Kmeans进行文本聚类。
5、结果展示。
话不多说,直接进入正题吧。
一、文本数据的爬取
先上代码:
# -*- coding: utf-8 -*-
import urllib.request
import re
from lxml import etree
urllib.request.urlcleanup()
import urllib.error
import time
'''豆瓣设置了反扒机制,通过设置代理并将爬虫伪装成浏览器,以及在出现错误时设置延时后发现能狗成功'''
def use_proxy(proxy_ip,url):
try:
req=urllib.request.Request(url)
req.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:57.0) Gecko/20100101 Firefox/57.0')
proxy=urllib.request.ProxyHandler({'http':proxy_ip})
opener=urllib.request.build_opener(proxy,urllib.request.HTTPHandler)
urllib.request.install_opener(opener)
data=urllib.request.urlopen(req).read().decode('utf-8','ignore')
return data
except urllib.error.URLError as e:
if hasattr(e,'code'):
print(e.code)
if hasattr(e,'reason'):
print(e.reason)
time.sleep(10) #出现异常延时10s
except Exception as e:
print('exception:'+str(e))
time.sleep(1)
'''爬取榜单上电影的链接'''
for i in range(0,225,25):
url='https://movie.douban.com/top250?start='+str(i)
proxy_ip='127.0.0.1:8888'
data=use_proxy(proxy_ip,url)
response = etree.HTML(data)
link = response.xpath('//div[@class="pic"]/a/@href')
'''在爬取过程中发现豆瓣上有4部电影的链接无法打开,将其剔除'''
unlink=['https://movie.douban.com/subject/5912992/',
'https://movie.douban.com/subject/1292000/',
'https://movie.douban.com/subject/1300299/',
'https://movie.douban.com/subject/1417598/']
for j in range(0,len(link)):
thisurl=link[j]
if thisurl in unlink:
continue
'''爬取剧情简介文本,并写入本地文件'''
data=use_proxy(proxy_ip,thisurl)
pat='<span property="v:summary".*?>(.*?)</span>'
content=re.compile(pat,re.S).findall(data)
pat1='<title>(.*?)</title>'
title=re.compile(pat1,re.S).findall(data)
content_data=content[0].replace('<br />','').strip().replace('\n','').replace(' ','')
filename='D:/Python_work/Data Mining/db250/'+title[0].strip()+'.txt'
with open(filename,'w',encoding='utf-8') as fh:
fh.write(content_data)
爬取结果:
二、文本预处理
文本预处理主要利用jieba分词进行中文分词,根据停用词的语料库进行停用词的过滤以及特殊字符的处理,建立语料库。
本文停用词库的建立参考博文:点击打开链接
代码如下:
# -*- coding: utf-8 -*-
from os import listdir
import jieba
from sklearn import feature_extraction
from sklearn.feature_extraction.text import TfidfTransformer
from sklearn.feature_extraction.text import CountVectorizer
all_file=listdir('D:/Python_work/Data Mining/db250') #获取文件夹中所有文件名
labels=[] #用以存储电影名称
corpus=[] #空语料库
'''停用词的过滤'''
typetxt=open('D:/Python_work/Data Mining/文本相似度计算/停用词.txt')
texts=['\u3000','\n',' '] #爬取的文本中未处理的特殊字符
'''停用词库的建立'''
for word in typetxt:
word=word.strip()
texts.append(word)
'''语料库的建立'''
for i in range(0,len(all_file)):
filename=all_file[i]
filelabel=filename.split('.')[0]
labels.append(filelabel) #电影名称列表
file_add='D:/Python_work/Data Mining/db250/'+ filename
doc=open(file_add,encoding='utf-8').read()
data=jieba.cut(doc) #文本分词
data_adj=''
delete_word=[]
for item in data:
if item not in texts: #停用词过滤
data_adj+=item+' '
else:
delete_word.append(item)
corpus.append(data_adj) #语料库建立完成
结果展示(corpus):
三、计算词语的tfidf值,此部分代码主要参考大神博文:点击打开链接
代码:
vectorizer=CountVectorizer()#该类会将文本中的词语转换为词频矩阵,矩阵元素a[i][j] 表示j词在i类文本下的词频
transformer=TfidfTransformer()#该类会统计每个词语的tf-idf权值
tfidf=transformer.fit_transform(vectorizer.fit_transform(corpus))#第一个fit_transform是计算tf-idf,第二个fit_transform是将文本转为词频矩阵
weight=tfidf.toarray()#将tf-idf矩阵抽取出来,元素a[i][j]表示j词在i类文本中的tf-idf权重
word=vectorizer.get_feature_names()#获取词袋模型中的所有词
结果展示:
word: weight:
weight为 246×9293矩阵,每一行代表一个文本,列为总次数,每一行对应的值为相关文本词语的TFIDF值
from sklearn.cluster import KMeans
mykms=KMeans(n_clusters=10)
y=mykms.fit_predict(weight)
for i in range(0,10):
label_i=[]
for j in range(0,len(y)):
if y[j]==i:
label_i.append(labels[j])
print('label_'+str(i)+':'+str(label_i))
结果如下:
五、刚学机器学习不久,此篇文章纯粹是作练习用,结果没有什么价值,此外对于Kmeans部分也只是简单的调用,后续还需要进行更深入的学习。非科班出身,代码也是业余时间的个人爱好,文章中的一些问题也欢迎各位大佬指出,也希望能结识喜欢机器学习的小伙伴,多交流,一起学习,一起成长!
今天的文章Python基于Kmeans算法实现文本聚类的简单练习分享到此就结束了,感谢您的阅读。
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
如需转载请保留出处:https://bianchenghao.cn/9601.html