爬虫请求解析后的数据，需要保存下来，才能进行下一步的处理，一般保存数据的方式有如下几种：
文件：txt、csv、excel、json等，保存数据量小。
关系型数据库：mysql、oracle等，保存数据量大。
非关系型数据库：Mongodb、Redis等键值堆形式存储数据，保存数据量大。
二进制文件：保存爬取的图片、视频、音频等格式数据。
首先，爬取豆瓣读书《平凡的世界》的3页短评信息，然后保存到文件中。
具体代码如下（忽略异常）：
爬到评论数据保存到列表中：
1.使用open()方法写入文件
保存数据到txt
将上述爬取的列表数据保存到txt文件：
2.保存数据到csv
CSV（Comma-Separated Values、逗号分隔值或字符分割值）是一种以纯文件方式进行数据记录的存储格式，保存csv文件，需要使用python的内置模块csv。
写入列表或者元组数据： 创建writer对象，使用writerow()写入一行数据，使用writerows()方法写入多行数据。
使用writer对象写入列表数据，示例代码如下：
写入字典数据： 创建DictWriter对象，使用writerow()写入一行数据，使用writerows()方法写入多行数据。
使用 DictWriter 对象写入字典数据，示例代码如下：
将上述爬取到的数据保存到csv文件中：
3.使用pandas保存数据
pandas支持多种文件格式的读写，最常用的就是csv和excel数据的操作，因为直接读取的数据是数据框格式，所以在爬虫、数据分析中使用非常广泛。
一般，将爬取到的数据储存为DataFrame对象（DataFrame 是一个表格或者类似二维数组的结构，它的各行表示一个实例，各列表示一个变量）。 pandas保存数据到excel、csv
pandas保存excel、csv，非常简单，两行代码就可以搞定：
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。
如需转载请保留出处：https://bianchenghao.cn/bian-cheng-ri-ji/5375.html