欢迎大家来到“Python从零到壹”,在这里我将分享约200篇Python系列文章,带大家一起去学习和玩耍,看看Python这个有趣的世界。所有文章都将结合案例、代码和作者的经验讲解,真心想把自己近十年的编程经验分享给大家,希望对您有所帮助,文章中不足之处也请海涵。Python系列整体框架包括基础语法10篇、网络爬虫30篇、可视化分析10篇、机器学习20篇、大数据分析20篇、图像识别30篇、人工智能40篇、Python安全20篇、其他技巧10篇。您的关注、点赞和转发就是对秀璋最大的支持,知识无价人有情,希望我们都能在人生路上开心快乐、共同成长。
前一篇文章讲述了BeautifulSoup技术,它是一个可以从HTML或XML文件中提取数据的Python库,一个分析HTML或XML文件的解析器,包括安装过程和基础语法。这篇文章之前是详细讲解 BeautifulSoup 爬取DB数据,但因为某些原因,先修改为对作者个人博客网站的爬取,并结合翻页和详情页面进行讲解。本案例非常适合入门的案例,也能普及简单的预处理知识,希望对您有所帮助。
本文参考了作者CSDN的文章,链接如下:
同时,作者新开的“娜璋AI安全之家”将专注于Python和安全技术,主要分享Web渗透、系统安全、人工智能、大数据分析、图像识别、恶意代码检测、CVE复现、威胁情报分析等文章。虽然作者是一名技术小白,但会保证每一篇文章都会很用心地撰写,希望这些基础性文章对你有所帮助,在Python和安全路上与大家一起进步。
前文赏析:
- [Python从零到壹] 一.为什么我们要学Python及基础语法详解
- [Python从零到壹] 二.语法基础之条件语句、循环语句和函数
- [Python从零到壹] 三.语法基础之文件操作、CSV文件读写及面向对象
- [Python从零到壹] 四.网络爬虫之入门基础及正则表达式抓取博客案例
- [Python从零到壹] 五.网络爬虫之BeautifulSoup基础语法万字详解
- [Python从零到壹] 六.网络爬虫之BeautifulSoup爬取作者个人博客网站详解
前文作者详细介绍了BeautifulSoup技术,这篇文章主要结合具体实例进行深入分析,讲述一个基于BeautifulSoup技术的爬虫,爬取作者个人博客信息,主要内容包括:
- 分析网页DOM树结构
- 爬取作者个人博客列表
- 链接跳转分析
- 爬取每篇文字对应的详细信息
本文从实战出发,让读者初步了解分析网页结构方法并调用BeautifulSoup技术爬取网络数据,后面章节将进一步深入讲解。
一.分析网页DOM树结构
1.分析网页结构及简单爬取
作者的个人网站主要是对博客的介绍,其它网站类似,大家要学会如何进行网站的DOM树结构分析,包括DB。本文主要介绍BeautifulSoup技术爬取作者博客信息。第一部分将介绍分析网页DOM树结构。爬取作者博客的地址为:
上图中显示了作者的博客信息,包括博客名称、博客原文链接、博客摘要等信息,接下来需要对其进行DOM树结构分析。HTML网页是以标签对的形式出现,如< html >< /html >、< div >< /div >等,这种标签对呈树形结构显示,通常称为DOM树结构。
在得到一个网页之后,我们需要结合浏览器对其进行元素分析。比如作者博客网站,选中第一篇博客《再见北理工:忆北京研究生的编程时光》,右键鼠标“检查”(Chrome浏览器称为“检查”,其他浏览器可能称为“审查元素”等),如下图2所示。
显示结果如图3所示,可以发现它是在< div class=”essay”>< /div >路径下,它包括一个< h1>< /h1>记录标题,一个< p>< /p>记录摘要信息,每一个< div class=”essay”>< /div >分别对应一篇论文的信息。其中,博客《再见北理工:忆北京研究生的编程时光》HTML中对应内容为:
<div class=”essay”>
<h1>....</h1>
<p>.....</p>
</div >
通过class值为“essay”可以定位博客的信息。调用BeautifulSoup扩展包的find_all(attrs={“class”:“essay”}) 函数可以获取其信息。对应的HTML部分代码如下:
<div class="essay">
<h1 style="text-align:center">
<a href="http://blog.csdn.net/eastmount/article/details/52201984">再见北理工:忆北京研究生的编程时光</a>
</h1>
<p style="text-indent: 2em;"> 两年前,我本科毕业写了这样一篇文章:《 回忆自己的大学四年得与失 》,
感慨了自己在北理软院四年的所得所失;两年后,我离开了帝都,回到了贵州家乡,准备开启一段新的教师生涯,
在此也写一篇文章纪念下吧!还是那句话:这篇文章是写给自己的,希望很多年之后,回想起自己北京的六年时光,
也是美好的回忆。文章可能有点长,但希望大家像读小说一样耐心品读,....
</p>
</div>
下面通过Python3代码可以获取博客的信息,调用BeautifulSoup中的find_all()函数获取< div class=’essay’ >的信息,其结果如图4所示。
代码soup.find_all(attrs={“class”:“essay”})用于获取节点< div class=“essay”>的内容,然后采用循环输出,但该class类型只包括了一段内容。接着再定位div中的超链接,通过tag.find(“a”).get_text()获取内容,tag.find(“a”).attrs[‘href’]获取超链接url,最后获取段落摘要。
test01.py
# -*- coding: utf-8 -*-
import re
import urllib.request
from bs4 import BeautifulSoup
# 爬虫函数
def crawl(url, headers):
page = urllib.request.Request(url, headers=headers)
page = urllib.request.urlopen(page)
contents = page.read()
soup = BeautifulSoup(contents, "html.parser")
print("个人博客爬取:")
essay0 = soup.find_all(attrs={
"class":"essay"})
for tag in essay0:
print(tag)
print('')
print(tag.a)
print("博客标题:\n", tag.find("a").get_text())
print("超链接:\n", tag.find("a").attrs['href'])
content = tag.find("p").get_text()
print("博客摘要:\n", content.replace(' ',''))
print('')
# 主函数
if __name__ == '__main__':
url = "http://www.eastmountyxz.com/"
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) \
AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'}
crawl(url, headers)
运行结构如图4所示,爬取了作者第一篇博客的信息,包括序号、博客标题、超链接、摘要等。
注意:urllib.error.HTTPError: HTTP Error 418
如果直接使用urllib.request.urlopen(url)会提示该错误,这是因为爬虫被拦截,需要模拟浏览器访问,这里可以打开浏览器按下F12,找到对应Headers内容,然后在Python代码中设置User-Agent即可模拟该浏览器请求。
urlopen()函数:
- Python2:urllib2.urlopen(url)
- Python3:urllib.request.urlopen(url)
- urlopen()函数用于创建一个表示远程url的类文件对象,然后像操作本地文件一样操作这个类文件对象来获取远程数据
read()函数:
- 调用read()读取网页内容并赋值给contents变量
BeautifulSoup函数:
- soup = BeautifulSoup(contents, “html.parser”)
- 调用BeautifulSoup解析所抓取网页源码的DOM树结构
find_all()函数:
- 调用BeautifulSoup的find_all()函数获取属性class为“item”的所有值,并调用代码content.replace(‘\n’,‘’)将换行符替换为空值,从而实现删除多余换行,最后循环输出结果。
2.定位节点及网页翻页分析
通过前一部分我们获取了第一篇博客的简介信息,但是这些信息是融合在一起的,而在数据分析时,通常需要将某些具有使用价值的信息提取出来,并存储至数组、列表或数据库中,比如博客标题、发表时间、博客点赞数、博客阅读量等特征。尤其是电影、微博等数据。
作者简单归纳了两种常见的方法:
- (1) 文本分析。从获取的博客简介文本信息中提取某些特定的值,通常采用字符串处理方法进行提取。
- (2) 节点定位。在写爬虫过程中定位相关节点,然后进行爬取所需节点操作,最后赋值给变量或存储到数据库中。
同理,爬取其余文章的代码如下,通过循环获取essay1、essay2、essay3内容,这些div布局中的格式都一样,包括一个标题和一个摘要信息,代码如下:
# -*- coding: utf-8 -*-
import re
import urllib.request
from bs4 import BeautifulSoup
# 爬虫函数
def crawl(url, headers):
page = urllib.request.Request(url, headers=headers)
page = urllib.request.urlopen(page)
contents = page.read()
soup = BeautifulSoup(contents, "html.parser")
print("个人博客爬取:")
#整理输出
i = 0
while i<=3:
if i==0:
num = "essay"
else:
num = "essay" + str(i)
essay = soup.find_all(attrs={
"class":num})
for tag in essay:
print("博客序号:", i)
print("博客标题:", tag.find("a").get_text())
print("超链接:", tag.find("a").attrs['href'])
content = tag.find("p").get_text()
print("博客摘要:\n", content.replace(' ',''))
i += 1
print('')
# 主函数
if __name__ == '__main__':
url = "http://www.eastmountyxz.com/"
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) \
AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'}
crawl(url, headers)
输出结果如下图所示:
讲到这里,我们第一页的4篇博客信息就爬取成功了,如果网站存在翻页怎么办呢?这就涉及到链接跳转和网站的翻页分析。网站的翻页分析通常有四种方法:
- 点击下一页分析url网址,分析它们之间的规律,这种方法的网站通常采用GET方法进行传值,而有的网站采用局部刷新技术,翻页后的url仍然不变。
- 获取“下一页”或页码的超链接,再依次调用urllib2.urlopen(url)函数访问URL并实现网页跳转。
- 分析网站Networks提交请求的参数,通过Python设置参数实现翻页,常用于POST表单。
- 采用网页自动操作技术,获取下一页按钮或超链接进行自动点击跳转,如selenium技术中的鼠标点击事件。
本文主要采用第一种分析方法,后面讲述Selenium技术时,会介绍鼠标模拟点击事件操作的跳转方法。
通常,我们点击不同页面,可以看到网页URL的变化情况。比如:
第1页URL:http://www.eastmountyxz.com/page=1
第2页URL:http://www.eastmountyxz.com/page=2
...
第14页URL:http://www.eastmountyxz.com/page=14
第15页URL:http://www.eastmountyxz.com/page=15
其它方式:
第1页URL:http://www.eastmountyxz.com/blog250?start=25&filter=
第2页URL:http://www.eastmountyxz.com/blog250?start=25&filter=
第3页URL:http://www.eastmountyxz.com/blog250?start=50&filter=
...
第10页URL:http://www.eastmountyxz.com/blog250?start=225&filter=
它是存在一定规律的,blog250?start=25表示获取第2页(序号为26到50号)的博客信息;blog250?start=50表示获取第3页(序号为51到75号)的博客信息,依次类推,我们写一个循环即可获取完整的博客信息。核心代码如下:
i = 0
while i<10:
num = i*25
url = 'http://www.eastmountyxz.com/blog?start=' + str(num) + '&filter='
crawl(url)
i = i + 1
注意:当i初始值为0,num值为0,获取第1页信息;当i增加为1,num值为25,获取第2页信息;当i增加为9,num值为225,获取第10页的信息。
讲到这里,爬取作者博客网站信息的DOM树结构分析、网页链接跳转已经分析完成,下一小节是讲解完整的代码。
二.爬取作者个人博客网站信息
完整代码为test02.py文件,如下所示。
test02.py
# -*- coding: utf-8 -*-
import re
import urllib.request
from bs4 import BeautifulSoup
import codecs
# 爬虫函数
def crawl(url, headers):
page = urllib.request.Request(url, headers=headers)
page = urllib.request.urlopen(page)
contents = page.read()
soup = BeautifulSoup(contents, "html.parser")
print("个人博客爬取:")
infofile.write("")
#整理输出
i = 0
while i<=3:
if i==0:
num = "essay"
else:
num = "essay" + str(i)
essay = soup.find_all(attrs={
"class":num})
for tag in essay:
print("博客序号:", i)
infofile.write(str(i) + "\r\n")
title = tag.find("a").get_text()
print("博客标题:", title)
infofile.write(title + "\r\n")
url_ = tag.find("a").attrs['href']
print("超链接:", url_)
infofile.write(url_ + "\r\n")
content = tag.find("p").get_text()
print("博客摘要:\n", content.replace(' ',''))
infofile.write(content + "\r\n")
i += 1
print('')
# 主函数
if __name__ == '__main__':
#存储文件
infofile = codecs.open("Result_Douban.txt", 'a', 'utf-8')
url = "http://www.eastmountyxz.com/"
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) \
AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'}
crawl(url, headers)
infofile.close()
运行结果如图9所示,成功将爬取的博客信息存储到“Result_Douban.txt”文件中,如下图所示。
在代码中,主函数定义循环依次获取不同页码的URL,然后调用crawl(url)函数对每页的博客信息进行定向爬取。在crawl(url)函数中,通过urlopen()函数访问CSDN博客网址,然后调用BeautifulSoup函数进行HTML分析,前面第一部分讲解了每篇博客都位于 < div class=“essay” >…< /div >节点下,故采用如下for循环依次定位到每篇博客,然后再进行定向爬取。
for tag in soup.find_all(attrs={
"class":"item"}):
#分别爬取每篇博客具体的信息
三.链接跳转分析及详情页面爬取
在第二部分我们详细分析了如何爬取个人博客信息,同时爬取了每篇博客对应详细页面的超链接。本小节主要结合每篇博客的超链接url网站,定位到具体的博客页面,进行深一步的详情页面爬取。这里作者还是采用第一篇博客举例,前面爬取了该博客的超链接地址为:
该网页打开如图10所示。
1.爬取详情页面基本信息
下面对详情页面进行DOM树节点分析,其基本信息位于< div id=‘article_content’ >…< /div >标签下,核心内容位于该节点下的子节点中,即< div id=‘content_views’ >…< /div >。使用如下代码获取内容:
info = soup.find(attrs={
"id":"content_views"})
print(info.get_text())
2.爬取详情博客标题
同样,通过浏览器审查元素,可以得到如图11所示的标题HTML源码,其标题位于< div class=‘title-article >…< /div >节点下。同时可以利用代码 replace(’\n’,‘’).replace(’ ‘,’’) 过滤所爬取HTML中多余的空格和换行符号。
other = soup.find(attrs={
"class":"title-article"}).get_text()
print other.replace('\n','').replace(' ','') #过滤空格和换行
讲到这里,使用BeautifulSoup技术分析爬取作者个人网站的博客信息实例已经讲解完毕,但在实际爬取过程中可能由于某些页面不存在会导致爬虫停止,这时需要使用异常语句“try-except-finally”进行处理。
同时,爬取过程中需要结合自己所需数据进行定位节点,存储至本地文件中,也需要结合字符串处理过滤一些多余的空格或换行。
四.总结
在学习网络爬虫之前,读者首先要掌握分析网页节点、审查元素定位标签,甚至是翻页跳转、URL分析等知识,然后才是通过Python、Java或C#实现爬虫的代码。本文作者结合自己多年的网络爬虫开发经验,深入讲解了BeautifulSoup技术网页分析并爬取了作者个人博客信息,读者可以借用本章的分析方法,结合BeautifulSoup库爬取所需的网页信息,并学会分析网页跳转,尽可能爬取完整的数据集。
同时,本章所爬取的内容是存储至TXT文件中的,读者也可以尝试着存储至Excel、CSV、Json文件中,甚至存储至数据库,这将为您后面的数据分析提供强大的数据支撑,数据处理起来更为方便。那么,Python究竟怎么将所爬取的文本存储至数据库呢?后续作者将带给您答案。
该系列所有代码下载地址:
扩充代码:
# -*- coding: utf-8 -*-
# By:Eastmount CSDN
import urllib.request
import re
from bs4 import BeautifulSoup
import codecs
#-----------------------------------爬取详细信息-------------------------------------
def getInfo(url, headers):
page = urllib.request.Request(url, headers=headers)
page = urllib.request.urlopen(page)
content = page.read()
soup = BeautifulSoup(content, "html.parser")
print('简介:')
info = soup.find(attrs={
"id":"info"})
print(info.get_text())
other = soup.find(attrs={
"class":"related-info"}).get_text()
print(other.replace('\n','').replace(' ',''))
#评论
print('\n评论信息:')
for tag in soup.find_all(attrs={
"id":"hot-comments"}):
for comment in tag.find_all(attrs={
"class":"comment-item"}):
com = comment.find("p").get_text()
print(com.replace('\n','').replace(' ',''))
print("\n\n\n----------------------------------------------------------------")
#-------------------------------------爬虫函数-------------------------------------
def crawl(url, headers):
page = urllib.request.Request(url, headers=headers)
page = urllib.request.urlopen(page)
contents = page.read()
soup = BeautifulSoup(contents, "html.parser")
for tag in soup.find_all(attrs={
"class":"item"}):
num = tag.find('em').get_text()
print(num)
name = tag.find_all(attrs={
"class":"title"})
zwname = name[0].get_text()
print('[中文名称]', zwname)
url_movie = tag.find(attrs={
"class":"hd"}).a
urls = url_movie.attrs['href']
print('[网页链接]', urls)
info = tag.find(attrs={
"class":"star"}).get_text()
info = info.replace('\n',' ')
info = info.lstrip()
mode = re.compile(r'\d+\.?\d*')
i = 0
for n in mode.findall(info):
if i==0:
print('[分数]', n)
elif i==1:
print('[评论]', n)
i = i + 1
getInfo(urls, headers)
#-------------------------------------主函数-------------------------------------
if __name__ == '__main__':
#消息头
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) \
AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'}
#翻页
i = 0
while i<10:
print('页码', (i+1))
num = i*25
url = 'http://www.eastmountyxz.com/blog250?start=' + str(num) + '&filter='
crawl(url, headers)
i = i + 1
2020年在github的绿瓷砖终于贴完了第一年提交2100余次,获得1500多+stars,开源93个仓库,300个粉丝。挺开心的,希望自己能坚持在github打卡五年,督促自己不断前行。简单总结下,最满意的资源是YQ爆发时,去年2月分享的舆情分析和情感分析,用这系列有温度的代码为武汉加油;最高赞的是Python图像识别系列,也获得了第一位来自国外开发者的贡献补充;最花时间的是Wannacry逆向系列,花了我两月逆向分析,几乎成为了全网最详细的该蠕虫分析;还有AI系列、知识图谱实战、CVE复现、APT报告等等。当然也存在很多不足之处,希望来年分享更高质量的资源,也希望能将安全和AI顶会论文系列总结进来,真诚的希望它们能帮助到大家,感恩有你,一起加油~
(By:娜璋之家 Eastmount 2021-02-17 夜于贵阳 https://blog.csdn.net/Eastmount )
参考文献如下:
- 作者书籍《Python网络数据爬取及分析从入门到精通》
- 作者博客:https://blog.csdn.net/Eastmount
- Crummy.com网站. BeautifulSoup 4.2.0文档
- [python知识] 爬虫知识之BeautifulSoup库安装及简单介绍 – Eastmount
今天的文章[Python从零到壹] 六.网络爬虫之BeautifulSoup爬取作者个人博客网站详解分享到此就结束了,感谢您的阅读,如果确实帮到您,您可以动动手指转发给其他人。
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
如需转载请保留出处:https://bianchenghao.cn/27523.html