可以用来去除字典、漏洞数量等
使用方法,将要去重的部分保存成为csv格式,并命名为all.csv,直接执行后,会在当前目录下生成qc.csv的文件!
#coding:utf-8
ciku=open(r'all.csv','r') #打开需要去重文件
xieci=open(r'qc.csv','w') #打开处理后存放的文件
cikus=ciku.readlines()
list2 = {}.fromkeys(cikus).keys() #列表去重方法,将列表数据当作字典的键写入字典,依据字典键不可重复的特性去重
i=1
for line in list2:
if line[0]!=',':
# print line[0:-1].decode('utf-8').encode('gbk')
# print u"writing"+i
i+=1
xieci.writelines(line)
xieci.close()
今天的文章python去重脚本分享到此就结束了,感谢您的阅读。
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
如需转载请保留出处:https://bianchenghao.cn/72889.html