若荼泱 发表于 2022-9-20 14:02

有没有 MD5 查重然后链接的 PC 软件?

https://www.bilibili.com/video/av730654523
看这个视频有感,虽然菊花把名字起得很玄学,但不得不说是一个很好的思路。
计算 MD5 费时费力,这位说菊花是后台计算,电脑上应该没有这种算力问题吧?那有类似软件吗?现在包括 CCleaner 等清理软件都是直接删一份。
而且特别提到所有你能看见的文件都是链接的副本,真正的主文件藏起来保护了,只有所有副本都消失了主文件才会被删。

V5Style 发表于 2022-9-20 14:07

手动方式有硬链接,Windows里的系统文件(例如system32里的)基本都是从一个地方(WinSxS)硬链接出来的。用Duplicate Cleaner可以进行批量查重和链接。
自动方式就是macOS的APFS的写时复制。

若荼泱 发表于 2022-9-20 14:12

V5Style 发表于 2022-9-20 14:07
手动方式有硬链接,Windows里的系统文件(例如system32里的)基本都是从一个地方(WinSxS)硬链接出来的。 ...

原来真有,我看看 Duplicate Cleaner。

小野賢章 发表于 2022-9-20 14:17

zfs 的 dedup 就是这个功能

phorcys02 发表于 2022-9-20 14:33

zfs你值得拥有

吴怀在 发表于 2022-9-20 15:01

五月病少女 发表于 2022-9-20 16:23

最佳方案就是写时复制吧

前有QQ内置虚幻4,这又微信分享全备份,腾讯真有你的

—— 来自 HUAWEI WLZ-AL10, Android 10上的 S1Next-鹅版 v2.5.4

Nanachi 发表于 2022-9-20 16:30

试探索iOS微信文件存储机制
https://sspai.com/post/75769

接下来我们正式开始实验。我们讲接收到的文件转发给三个不同的小号。重启手机,可以看到,如冯大辉所料,微信所占用的存储空间并没有增加。依然是1.77GB(数据1.26GB)。微信显然做了最基本的文件存储去重。

接下来,我从另一个微信号将刚刚发送的文件再次转发给小号三遍。当我点进新发送的文件时,看到需要接受文件,我有一种不详的预感。难道微信真会重新接收一遍文件?所幸,当我点击接收文件后,文件在一瞬间就接收完成了。显然,微信也伴有服务器端的去重,在服务器上的同一份文件,在本地并不会接收多次。重启手机也可以看到,微信占用的空间并无增加。

果子真的是张小龙亲爹啊

GMJ 发表于 2022-9-20 17:03

以后等鸿蒙OS的电脑上就自带了

若荼泱 发表于 2022-9-20 19:54

Nanachi 发表于 2022-9-20 16:30
试探索iOS微信文件存储机制
https://sspai.com/post/75769



https://p.sda1.dev/7/f8991598403d68ecd16b0e61f2537371/chrome_5I2uQURLGI.png
为什么和评论里说的完全不一样……

华蝶风雪 发表于 2022-9-20 20:05

本帖最后由 华蝶风雪 于 2022-9-20 20:15 编辑

若荼泱 发表于 2022-9-20 19:54
为什么和评论里说的完全不一样……
有可能是文件类型造成的,也有可能是微信版本

拆骨羊肉2 发表于 2022-9-20 21:03

若荼泱 发表于 2022-9-20 19:54
为什么和评论里说的完全不一样……

我提前准备好了一个Ubuntu的iso镜像(880MB)。将它发送给这个小号。下载后重启手机,可以看到,微信占用的空间变成了1.77GB,其中数据占1.26GB。多出来大约1GB的空间,可能是除了文件以外的缓存、其他需要的程序和资源文件。

视频里说的是发送的视频

—— 来自 vivo V2183A, Android 12上的 S1Next-鹅版 v2.5.4

indtability 发表于 2022-9-20 22:30

copy on write 跟 dedup 是不同的概念吧,zfs 和 btrfs 都有 dedup 功能,不过印象里 btrfs 的是 offline 的,zfs 对内存需求大,所以都没用过,倒是自动压缩开着没啥影响,效果也不错。

话说真要做这个功能为啥不直接换文件系统呢,在文件系统之上做这个功能费时费力效果也难说很好,做链接怎么处理用户就是想要两个一样的文件呢?复制然后修改难道也会改掉原来的文件吗?搞不懂…

—— 来自 Xiaomi M2012K11AC, Android 11上的 S1Next-鹅版 v2.5.4
页: [1]
查看完整版本: 有没有 MD5 查重然后链接的 PC 软件?