Python删除文件中重复的内容「建议收藏」1 背景 在将多个文件进行合并时 存在一个问题是许多文件中含有相同的内容 但是希望合并后的文件内容具有唯一性 即文件中的数据唯一 不会有重复的情况 txt1 内容为 txt2 内容为 希望合并后的文件内容为 123 234 456 123 254 456 123 234 456 254 2 程序核心代码 class train txt 文件中包含许多重复的内容
1.背景：在将多个文件进行合并时，存在一个问题是许多文件中含有相同的内容，但是希望合并后的文件内容具有唯一性，即文件中的数据唯一，不会有重复的情况
| #txt1内容为： | #txt2内容为： | #希望合并后的文件内容为： |
| 123
234
456 | 123
254
456 | 123
234
456
254 |
2.程序核心代码：
"""
class_train.txt文件中包含许多重复的内容，因此
剔除class_train.txt文件中重复的内容
input: class_train.txt
output: train.txt
"""
train_list = ['bottle_train.txt','chair_train.txt','diningtable_train.txt',
'pottedplant_train.txt','sofa_train.txt','tvmonitor_train.txt']
train = 'train.txt'
train_data = set()
for i in train_list:
f = open(i,'r')
for line in f:
if line[12:14] == ' 1':
train_data.add(line)
f.close()
outfile=open(train,'w')
for i in list(train_data):
outfile.write(i)
outfile.close()
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。
如需转载请保留出处：https://bianchenghao.cn/hz/125815.html