python删除指定内容行

作者：siseniao

从该文章改进：https://post.smzdm.com/p/an370emp/?zdm_ss=Android_1106136211_&send_by=1106136211&from=other&invite_code=zdmwffzv7winv

原文每次扫描都需要重新计算MD5，对于大文件来说，磁盘消耗较大，增加了缓存文件存储md5，每次扫描只计算新文件，提高效率。

不废话，直接贴代码：

import os

import hashlib

# 只删除以下列表中的重复文件类型.如果想删除其他类型的文件,自己添加一下就行了

file_type = ['.jpg', '.jpeg', '.png', '.gif', '.psd', '.bmp', '.webp', '.mp4', '.mkv', '.avi', '.mov', 'mpeg', 'mpg',
            '.rar', '.zip']
check_files = []

#自行修改目录列表
work_dir_list = [r'/volume2/111', r'/volume1/222']


def save_md5_file(files_dict:dict):
   if files_dict is None:
       return
   try:
       with open("md5.txt", "w") as f:
           for path_md5, file_md5, in files_dict.items():
               f.write(str(path_md5) + "=" + str(path_md5) + 'n')

   except Exception as e:
       pass


def open_md5_file():
   files_md5 = {}
   try:
       with open("md5.txt", "r") as f:
           for md5_line in iter(lambda: f.readline(), ""):
               list_keys = md5_line.split('=')
               if len(list_keys) == 2:
                   files_md5[list_keys[0].strip()] = list_keys[1].strip()
   except Exception as e:
       pass

   return files_md5


def remove_repeat_files():
   for work_dir in work_dir_list:
       for root, dirs, files in os.walk(work_dir):
           for name in files:
               p_type = os.path.splitext(os.path.join(root, name))[1]
               if p_type in file_type:
                   check_files.append(os.path.join(root, name))
           for name in dirs:
               p_type = os.path.splitext(os.path.join(root, name))[1]
               if p_type in file_type:
                   check_files.append(os.path.join(root, name))
   files_dict = {}
   files_md5 = open_md5_file()
   r_index = 0
   print('Files Num:%s' % len(check_files))

   for file_path in check_files:
       try:
           md5_path = hashlib.md5()
           md5_path.update(file_path.encode('utf-8'))
           path_md5 = md5_path.hexdigest()
           file_md5 = files_md5.get(path_md5)
           if file_md5 is None:
               md5_hash = hashlib.md5()
               with open(file_path, "rb+") as f:
                   for byte_block in iter(lambda: f.read(4096), b""):
                       md5_hash.update(byte_block)
                   file_md5 = md5_hash.hexdigest()
               print('Check file MD5:%s' % file_path)
               files_md5[path_md5] = file_md5

           if files_dict.get(file_md5) is None:
               files_dict[file_md5] = file_path
           else:
               d_path = files_dict[file_md5]
               d_path_stats = os.stat(d_path)
               file_stats = os.stat(file_path)
               d_time = d_path_stats.st_ctime
               f_time = file_stats.st_ctime
               if d_time > f_time:
                   os.remove(d_path)
                   files_dict[file_md5] = file_path
                   print('Delete File:', d_path)
                   r_index += 1
               else:
                   os.remove(file_path)
                   print('Delete File:', file_path)
                   r_index += 1
       except Exception as e:
           pass

   print('File Count:%s, Repeat Files Num:%s. All deleted!' %( len(check_files),str(r_index)))
   save_md5_file(files_md5)


if __name__ == '__main__':
   remove_repeat_files()
   

可以在ssh或者任务计划里执行

宋垄志1058Python如何删除文本文件的某一段 -
沙琪沫13928301904 ______ 循环使用replace删除

宋垄志1058如何用python删除一个文件 -
沙琪沫13928301904 ______ os.remove('文件') 直接从系统里面删除文件,不经过回收站. os.rmdir('文件夹') 直接从系统里面删除空文件夹,不经过回收站. shutil.rmtree('文件夹') 直接从系统里面删除文件夹(文件夹里面可以有别的文件),不经过回收站.所以要小心不要误删. 可使用第三方包,send2trash send2trash.send2trash() 可以删除任何东西,删除的东西送回回收站.

宋垄志1058python3怎么删除列表里指定的字典呢? -
沙琪沫13928301904 ______ i = list(filter(lambda x: x['name'] != 'wang', i))

宋垄志1058python怎么删除文件夹以及里面的所有文件 -
沙琪沫13928301904 ______ 可以调用os 模块 例如 import os os.remove()——删除指定文件 os.rmdir()——删除指定目录 os.system()-----执行系统命令 例如 os.system(＂rm test.txt＂) 注意,由于对文件进行操作, 请注意,执行python脚本的权限. 否则可能执行失败

宋垄志105845,如何使用python删除一个文件 -
沙琪沫13928301904 ______ import os# 列出目录 print (＂目录为: %s＂ % os.listdir(os.getcwd()))# 移除 os.remove(＂aa.txt＂)# 移除后列出目录 print (＂移除后 : %s＂ % os.listdir(os.getcwd()))

宋垄志1058如何删除一个list中最后一个元素 -
沙琪沫13928301904 ______ 1、python删除列表中指定元素的方法. 2、代码实例,创建一个列表. 3、打印定义的列表,使用print(). 4、删除列表中的指定元素,使用remove(). 5、再次打印删除元素后的列表. 6、列表的remove()方法其他注意事项.

宋垄志1058Python中如何删除一个文件 -
沙琪沫13928301904 ______ file = 'c:/test.txt' if os.path.exists(file): os.remove(file) else: print 'no such file:%s' % file

宋垄志1058python如何删除字符串中指定位置的字符 -
沙琪沫13928301904 ______ 不用转list.python可以很方便地操作字符串.s = s[:3] + s[4:]...

宋垄志1058如何用python删除特定文件夹 -
沙琪沫13928301904 ______ #!/usr/bin/env python import os import shutil delList = [] delDir = ＂/home/test＂ delList = os.listdir(delDir ) for f in delList: filePath = os.path.join( delDir, f ) if os.path.isfile(filePath): os.remove(filePath) print filePath + ＂ was removed!＂ elif os.path.isdir...

宋垄志1058Python删除指定目录下指定文件的实现 -
沙琪沫13928301904 ______ import os>>> os.remove('文件目录文件名') 比如删除d盘中一个ser.txt文件:import os os.remove('D:\ser.txt')