说好的海量小文件跨盘对拷tar最快呢？

诶哟卧草 · 发表于 2023-12-22 22:15

七百万张图片，1.5T
昨晚10点到今天晚上10点，24小时了
256个文件夹才拷了100个出头

之前我用rsync的时候我记得7小时就搞定了。往上都说小文件用tar更快，上大当了

PS：之前rsync是从ssd到hdd
现在tar是从hdd到ssd，不知道和这个有没有关系

kuleisite1992 · 发表于 2023-12-22 22:20

感觉你在说废话。

SSD往HDD里灌的时候是连续数据流，从500MB+读取速度往200MB+写入速度的地方复制
从HDD里往外扒的时候是大量碎片+超小缓存+超长寻道时间，是从20-180MB+读取速度的地方往500MB+写入的地方复制。

和菜头 · 发表于 2023-12-22 22:21

是不是SSD写爆了？

诶哟卧草 · 发表于 2023-12-22 22:27

kuleisite1992 发表于 2023-12-22 22:20
感觉你在说废话。

SSD往HDD里灌的时候是连续数据流，从500MB+读取速度往200MB+写入速度的地方复制

其实我源数据是在一个ssd上的，就是快死了，所以每天rsync备份给hdd的。
现在在从hdd往新ssd里倒数据中，听你这么说的话我感觉还是从原始ssd拷算了

诶哟卧草 · 发表于 2023-12-22 22:27

和菜头发表于 2023-12-22 22:21
是不是SSD写爆了？

写爆了是啥概念

便当爱 · 发表于 2023-12-22 22:48

这你自己测一下不就知道了嘛，4K读写hdd一般都几m把，ssd最次的也几十。速度差距十几倍怕是有的。

5long · 发表于 2023-12-22 22:55

如果有说人用 tar 比 rsync 更快，那么他肯定拿出了跑分的环境和数据，才有说服力吧
如果跑分环境和实际应用环境差别太大，那么跑分的结论就没有意义
越说越感觉自己被钓鱼了

和菜头 · 发表于 2023-12-22 23:01

诶哟卧草发表于 2023-12-22 22:27
写爆了是啥概念

缓存用光了之后降速，顺序写性能有可能不如机械硬盘

冰寒之月 · 发表于 2023-12-22 23:41

有没有可能是到你hdd4k读取上限了

Midnight.Coup · 发表于 2023-12-23 00:16

本帖最后由 Midnight.Coup 于 2023-12-23 00:18 编辑

Tar 要先打包再传，虽说打包挺快但也要时间，要比也得相同条件比吧

phorcys02 · 发表于 2023-12-23 21:35

Midnight.Coup 发表于 2023-12-23 00:16
Tar 要先打包再传，虽说打包挺快但也要时间，要比也得相同条件比吧

一般不都是tar到一个管道（ssh）里对面同时解开么

日日夜夜 · 发表于 2023-12-23 21:50

hdd一般文件系统的海量小文件当然只有不去找metadata的方法能明显快过rsync啊，dd之类的

Midnight.Coup · 发表于 2023-12-25 10:57

本帖最后由 Midnight.Coup 于 2023-12-25 11:10 编辑

phorcys02 发表于 2023-12-23 21:35
一般不都是tar到一个管道（ssh）里对面同时解开么

他这个不是本地2个盘对拷吗，难道中间还有网线

那还得考虑网速，本地的话释放还得算上释放的 IO 和 CPU 占用

		自动登录	找回密码
密码			立即注册

[软件] 说好的海量小文件跨盘对拷tar最快呢？