文件查重去重，有没有比较好的方案？

lvcha · 发表于 2019-11-29 13:55

提示: 作者被禁止或删除内容自动屏蔽

braverbt · 发表于 2019-11-29 15:54

linux下写个shell脚本跑fslint fdupes就可以了,可以选择比对模式(字节码 md5什么的).
win下用Duplicate Cleaner 和 DoubleKiller.

lvcha · 发表于 2019-11-29 16:11

提示: 作者被禁止或删除内容自动屏蔽

braverbt · 发表于 2019-11-29 16:16

lvcha 发表于 2019-11-29 16:11
是，就是windows我试了下fdups，一小时才1%有点晕。。

默认是md5模式,大文件单线程计算一定很慢.
换其他模式会好一些~

		自动登录	找回密码
密码			立即注册

lvcha lvcha 当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2011-6-22 头像被屏蔽	发表于 2019-11-29 13:55 \| 显示全部楼层 \|阅读模式提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

lvcha lvcha 当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2011-6-22 头像被屏蔽	楼主\| 发表于 2019-11-29 16:11 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

[硬件] 文件查重去重，有没有比较好的方案？