用于在指定目录及其子目录中查找并删除重复文件。脚本会根据文件内容（SHA-256 哈希值）比较文件，而不是根据文件名。脚本会告知用户找到的重复文件，并删除副本，只保留每个文件的一个实例。

Bash 脚本

 #!/bin/bash
 
 # 检查是否提供了目录作为参数
 if [ "$#" -ne 1 ]; then
     echo "用法：$0 目录"
     echo "示例：$0 /path/to/my_directory"
     exit 1
 fi
 
 directory=$1
 
 # 检查目录是否存在
 if [ ! -d "$directory" ]; then
     echo "指定的目录不存在。"
     exit 1
 fi
 
 # 创建临时文件以保存哈希值
 tempfile=$(mktemp)
 
 # 生成目录及其子目录中所有文件的 SHA-256 哈希值
 find "$directory" -type f -exec sha256sum {} + > "$tempfile"
 
 # 根据哈希值查找重复文件，忽略第一个唯一文件
 duplicates=$(awk '{print $1}' "$tempfile" | sort | uniq -d)
 
 if [ -z "$duplicates" ]; then
     echo "未找到重复文件。"
     rm "$tempfile"
     exit 0
 fi
 
 # 处理每个重复哈希值
 echo "$duplicates" | while read hash; do
     # 查找具有相同哈希值的文件
     files=$(grep "$hash" "$tempfile" | awk '{print $2}')
     first_file=$(echo "$files" | head -n 1)
     rest_files=$(echo "$files" | tail -n +2)
 
     if [ -n "$rest_files" ]; then
         echo "找到重复文件，保留：$first_file"
         echo "删除以下重复文件："
         for file in $rest_files; do
             echo "删除：$file"
             rm "$file"
         done
     fi
 done
 
 rm "$tempfile"
 echo "处理完成。重复文件已删除。"

使用说明

0. 保存脚本到文件：将脚本内容保存到一个文件中，例如 remove_duplicates.sh。
1. 给文件添加执行权限：
2. bash复制
3. chmod +x remove_duplicates.sh
4. 运行脚本：提供目标目录作为参数运行脚本。例如：
5. bash复制
6. ./remove_duplicates.sh /path/to/my_directory
7. 该命令会查找 /path/to/my_directory 目录及其子目录中的重复文件，并删除副本，只保留每个文件的一个实例。

注意事项

• 备份数据：在运行此脚本之前，请务必备份重要数据，以防止意外丢失文件。
• 文件权限：确保脚本具有足够的权限来删除文件。如果脚本没有权限删除某些文件，可以使用 sudo 来运行脚本。
• 脚本逻辑：脚本会保留每个重复文件的第一个实例，并删除其余的副本。如果需要保留最后一个实例，可以修改脚本逻辑，将 head -n 1 和 tail -n +2 的顺序调换。
• 大文件处理：如果目录中包含大量文件，脚本可能会运行较慢。可以考虑在低负载时运行脚本，或者对脚本进行优化。

Tags：linux查看文件内容