求 NAS 照片去重方案

请不要把任何和邀请码有关的内容发到 NAS 节点。

邀请码相关的内容请使用 /go/in 节点。

如果没有发送到 /go/in，那么会被移动到 /go/pointless 同时账号会被降权。如果持续触发这样的移动，会导致账号被禁用。

This topic created in 1330 days ago, the information mentioned may be changed or developed.

大佬们有没有用起来不错的 nas 照片跟视频的去重方案呀有很多重复的备份照片很头疼求分享

NAS

去重

照片

方案

24 replies • 2023-03-16 15:29:35 +08:00

stevenbipt

Mar 15, 2023

如果是文件相同写个脚本跑一下文件的 hash 应该就能找出来了,如果是文件不同比如分辨率不同这种图片找 cv 库看看有没有什么对比算法,视频的话感觉够呛,可以考虑一下视频的特征这些是否相同来匹配一下

coderluan

Mar 15, 2023

把磁盘挂载到 Windows 下面，然后随便找个去重软件跑一下，Duplicate File Finder 之类的

yfugibr

Mar 15, 2023 via Android

https://github.com/ermig1979/AntiDupl
试试这个？

hello365

Mar 15, 2023

我前几个月清理重复照片用的 Duplicate Cleaner Pro 5 ，感觉清理规则很丰富，买的授权，网上也有破解版的，别的软件没对比过。

shunia

Mar 15, 2023

@yfugibr #3 这个 repo 一直在更新，但是完全没发版是为啥，必须自己编译？

shunia

Mar 15, 2023

楼主的需求很有市场，期待一个靠谱的回复。

shunia

Mar 15, 2023

@stevenbipt #1 就你说的第一句话要做成一个实际可用的版本就需要操心很多事情啊。性能，可靠性，备份等等。
总不会说干着干着程序挂了图片被整没了吧？

windirt

Mar 15, 2023

群晖 NAS ，自带的存储空间分析器
创建一个报告，潜在的重复文件打勾，指定检索的文件夹，忽略文件名，修改时间，会按照 md5 对比，然后执行报告，就在后台慢慢整理了，整理完就会有一个表格，自己按表格处理吧

santom

Mar 15, 2023

我威联通用的 Fdupes
https://www.qnapclub.eu/en/qpkg/418

aircargo

Mar 15, 2023

前几年还有自动分析对比的功能，现在新版本貌似都没了。

FightPig

Mar 15, 2023

我用的绿联的，好像自带了

taikobo

Mar 15, 2023

推荐 dupeguru

LeeReamond

Mar 15, 2023

自己写一个去重感觉比较靠谱，之前测试过开源的照片方案感觉都不太行，遑论去重组件了

yfugibr

Mar 15, 2023 via Android

@shunia #5 不太清楚，我用的还是 2020 年的那个版本，也没遇到啥问题

bao3

Mar 15, 2023

群晖的话有自动去重。楼上有人写了

virlaser

Mar 15, 2023

把目录挂到电脑上用 duplicate cleaner 扫
可以根据相似度对比照片
可以根据一定时间窗口内的视频关键帧对比视频

GeekSuPro

Mar 15, 2023

极空间自带重复文件照片去重

gumuxi

Mar 15, 2023

我也有这个需求，NAS 是 OMV 系统的，插个眼，没有合适的我得空自己开发一个。

dolorain

Mar 15, 2023

自己写个脚本跑 hash 一撞就行了呀，以下是代码：

#!/bin/bash

# 指定需要检查的目录路径
dir_path="/path/to/directory"

# 切换到目录
cd $dir_path

# 循环遍历目录下的所有文件
for file1 in *; do

# 如果当前文件不是图片文件，则跳过检查
if ! [[ $(file "$file1") =~ "image" ]]; then
continue
fi

# 计算当前文件的哈希值
hash1=$(md5sum "$file1" | awk '{ print $1 }')

# 遍历当前文件之后的所有文件，寻找是否存在哈希值相同的图片
for file2 in $(ls $file1 ../*); do

# 如果当前文件不是图片文件或与自身重复，则跳过检查
if [ "$file1" = "$file2" ] || ! [[ $(file "$file2") =~ "image" ]]; then
continue
fi

# 计算当前文件的哈希值
hash2=$(md5sum "$file2" | awk '{ print $1 }')

# 如果哈希值相同，则判定为重复图片，删除其中一张图片
if [ "$hash1" = "$hash2" ]; then
echo "Duplicate image found: $file1 and $file2. Deleting $file2"
rm -f "$file2"
fi

done

done

echo "老子处理完了."