python中重复的代码段
作者：siseniao
从该文章改进：https://post.smzdm.com/p/an370emp/?zdm_ss=Android_1106136211_&send_by=1106136211&from=other&invite_code=zdmwffzv7winv
原文每次扫描都需要重新计算MD5，对于大文件来说，磁盘消耗较大，增加了缓存文件存储md5，每次扫描只计算新文件，提高效率。
不废话，直接贴代码：
import os
import hashlib
# 只删除以下列表中的重复文件类型.如果想删除其他类型的文件,自己添加一下就行了
file_type = ['.jpg', '.jpeg', '.png', '.gif', '.psd', '.bmp', '.webp', '.mp4', '.mkv', '.avi', '.mov', 'mpeg', 'mpg',
'.rar', '.zip']
check_files = []
#自行修改目录列表
work_dir_list = [r'/volume2/111', r'/volume1/222']
def save_md5_file(files_dict:dict):
if files_dict is None:
return
try:
with open("md5.txt", "w") as f:
for path_md5, file_md5, in files_dict.items():
f.write(str(path_md5) + "=" + str(path_md5) + 'n')
except Exception as e:
pass
def open_md5_file():
files_md5 = {}
try:
with open("md5.txt", "r") as f:
for md5_line in iter(lambda: f.readline(), ""):
list_keys = md5_line.split('=')
if len(list_keys) == 2:
files_md5[list_keys[0].strip()] = list_keys[1].strip()
except Exception as e:
pass
return files_md5
def remove_repeat_files():
for work_dir in work_dir_list:
for root, dirs, files in os.walk(work_dir):
for name in files:
p_type = os.path.splitext(os.path.join(root, name))[1]
if p_type in file_type:
check_files.append(os.path.join(root, name))
for name in dirs:
p_type = os.path.splitext(os.path.join(root, name))[1]
if p_type in file_type:
check_files.append(os.path.join(root, name))
files_dict = {}
files_md5 = open_md5_file()
r_index = 0
print('Files Num:%s' % len(check_files))
for file_path in check_files:
try:
md5_path = hashlib.md5()
md5_path.update(file_path.encode('utf-8'))
path_md5 = md5_path.hexdigest()
file_md5 = files_md5.get(path_md5)
if file_md5 is None:
md5_hash = hashlib.md5()
with open(file_path, "rb+") as f:
for byte_block in iter(lambda: f.read(4096), b""):
md5_hash.update(byte_block)
file_md5 = md5_hash.hexdigest()
print('Check file MD5:%s' % file_path)
files_md5[path_md5] = file_md5
if files_dict.get(file_md5) is None:
files_dict[file_md5] = file_path
else:
d_path = files_dict[file_md5]
d_path_stats = os.stat(d_path)
file_stats = os.stat(file_path)
d_time = d_path_stats.st_ctime
f_time = file_stats.st_ctime
if d_time > f_time:
os.remove(d_path)
files_dict[file_md5] = file_path
print('Delete File:', d_path)
r_index += 1
else:
os.remove(file_path)
print('Delete File:', file_path)
r_index += 1
except Exception as e:
pass
print('File Count:%s, Repeat Files Num:%s. All deleted!' %( len(check_files),str(r_index)))
save_md5_file(files_md5)
if __name__ == '__main__':
remove_repeat_files()
可以在ssh或者任务计划里执行
平翰青2733求助:如何用python脚本删除文本中的重复行(相同记录只保留一个) -
别莎春18840757954 ______ 一个用 set 的版本:s,r=set(), file('data')print [i for i in r if not (i in s or s.add(i))]复制代码或可读性好一点的s,r=set(), file('data')print [i for i in r if i not in s and s.add(i)==None]复制代码
平翰青2733如何解决Python中range语句print多次的问题? -
别莎春18840757954 ______ 代码是什么样的?for _ in range(): print() 的话本来就是执行多次
平翰青2733写一段代码从数组中删除重复元素,并分析该算法的复杂度 - 上学吧找...
别莎春18840757954 ______ 有两个方法: 1. 使用列表的count方法,因为count方法可以做对象内的元素进行出现次数叠加计算 list1=[1,2,3,4,4,5,6,7] list1.count(1) #结果为1 list1.count(4) #结果为2 for i in list1: if list1.count(i)>=2: print('该元素%s重复'%i) #结果: 该元素4...
平翰青2733python有哪些方法可让list中的元素重复N次 -
别莎春18840757954 ______ 用*运算符 [1,2,3]*3 结果 [1, 2, 3, 1, 2, 3, 1, 2, 3]
平翰青2733用Python怎么写 去掉文本文件的一行中重复的空格符号 的代码 -
别莎春18840757954 ______ import re text = ' 123 456 789 ' print re.sub(r'\s{2,}', '', text) 删除连续2个(包括2个)以上的空格
平翰青2733用python单元测试怎么测一段代码 -
别莎春18840757954 ______ 单元测试是用来对一个模块、一个函数或者一个类来进行正确性检验的测试工作.比如对函数abs(),我们可以编写出以下几个测试用例: 输入正数,比如1、1.2、0.99,期待返回值与输入相同; 输入负数,比如-1、-1.2、-0.99,期待返回值...
平翰青2733Python的集合有哪些操作 -
别莎春18840757954 ______ 集合是一个无序的,不重复的数据组合,它有着两个主要作用:去重以及关系测试.去重指的是当把一个列表变成了集合,其中重复的内容就自动的被去掉了 关系测试指的是,测试两组数据之间的交集、差集、并集等关系. 去重测试代码如下...