Python删除文件中重复的内容「建议收藏」

Python删除文件中重复的内容「建议收藏」1.背景:在将多个文件进行合并时,存在一个问题是许多文件中含有相同的内容,但是希望合并后的文件内容具有唯一性,即文件中的数据唯一,不会有重复的情况  #txt1内容为: #txt2内容为: #希望合并后的文件内容为: 123 234 456 123 254 456 …

大家好,又见面了,我是你们的朋友全栈君。

1.背景:在将多个文件进行合并时,存在一个问题是许多文件中含有相同的内容,但是希望合并后的文件内容具有唯一性,即文件中的数据唯一,不会有重复的情况

 

#txt1内容为:

#txt2内容为:

#希望合并后的文件内容为:

123

234

456

123

254

456

123

234

456

254

 

2.程序核心代码:

"""
class_train.txt文件中包含许多重复的内容,因此
剔除class_train.txt文件中重复的内容
input: class_train.txt
output: train.txt
"""

train_list = ['bottle_train.txt','chair_train.txt','diningtable_train.txt',
              'pottedplant_train.txt','sofa_train.txt','tvmonitor_train.txt']
train = 'train.txt'

train_data = set()

for i in train_list:
  
    f = open(i,'r')

    for line in f:
        if line[12:14] == ' 1': 
            train_data.add(line)
            
    f.close()

outfile=open(train,'w')

for i in list(train_data):
    outfile.write(i)

outfile.close()

 

 

 

 

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/142656.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • RAR压缩解压命令

    RAR压缩解压命令RAR压缩解压命令这几天一直没空更新博客,现在补上:先介绍一下rar的命令格式及相关参数含义(摘自rar):用法:         rar–         a      添加文件到压缩文件 c      添加压缩文件注释 cf      添加文件注释 c

  • JavaScript代码规范

    JavaScript代码规范1111

  • UNITY3D MAC版本号破解

    UNITY3D MAC版本号破解

  • C++ stl_stl函数

    C++ stl_stl函数学校并未教授C++,当初接触的C++的STL,也是皮毛而已。结合对Java的集合框架等内容的认识,回顾这部分内容,收获很大。文章目录概述STL六大组件简介三大组件介绍1.容器2.算法3.迭代器常用容器1.string容器string容器基本概念string容器常用操作2.vector容器vector容器基本概念vector迭代器vector的数据结构vector常用API操作…

  • 管理学第三章_企业集团管理第五章自测

    管理学第三章_企业集团管理第五章自测文章目录主要内容项目范围6个过程范围管理的重要性总表5.1范围管理概述5.2规划范围管理5.3收集需求主要内容项目范围6个过程(1)规划范围管理:对如何定义、确认和控制项目范围的过程进行描述。(2)收集需求:为实现项目目标,明确并记录项目干系人的相关需求的过程。(3)定义范围:详细描述产品范围和项目范围,编制项目范围说明书,作为以后项目决策的基础。(4)刨建工作分解结构(WBS):把整个项目工作分解为较小的、易于管理的组成部分,形成一个自上而下的分解结构。(5)确认范围:正式验收已完成的可交付

  • 高性能网站建设进阶指南解说

    高性能网站建设进阶指南解说

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号