说好的海量小文件跨盘对拷tar最快呢？
七百万张图片，1.5T昨晚10点到今天晚上10点，24小时了
256个文件夹才拷了100个出头
之前我用rsync的时候我记得7小时就搞定了。往上都说小文件用tar更快，上大当了
PS：之前rsync是从ssd到hdd
现在tar是从hdd到ssd，不知道和这个有没有关系
感觉你在说废话。
SSD往HDD里灌的时候是连续数据流，从500MB+读取速度往200MB+写入速度的地方复制
从HDD里往外扒的时候是大量碎片+超小缓存+超长寻道时间，是从20-180MB+读取速度的地方往500MB+写入的地方复制。
是不是SSD写爆了？ kuleisite1992 发表于 2023-12-22 22:20
感觉你在说废话。
SSD往HDD里灌的时候是连续数据流，从500MB+读取速度往200MB+写入速度的地方复制
其实我源数据是在一个ssd上的，就是快死了，所以每天rsync备份给hdd的。
现在在从hdd往新ssd里倒数据中，听你这么说的话我感觉还是从原始ssd拷算了 和菜头 发表于 2023-12-22 22:21
是不是SSD写爆了？
写爆了是啥概念 这你自己测一下不就知道了嘛，4K读写hdd一般都几m把，ssd最次的也几十。速度差距十几倍怕是有的。 如果有说人用 tar 比 rsync 更快，那么他肯定拿出了跑分的环境和数据，才有说服力吧
如果跑分环境和实际应用环境差别太大，那么跑分的结论就没有意义
越说越感觉自己被钓鱼了 诶哟卧草 发表于 2023-12-22 22:27
写爆了是啥概念
缓存用光了之后降速，顺序写性能有可能不如机械硬盘 有没有可能是到你hdd4k读取上限了 本帖最后由 Midnight.Coup 于 2023-12-23 00:18 编辑
Tar 要先打包再传，虽说打包挺快但也要时间，要比也得相同条件比吧 Midnight.Coup 发表于 2023-12-23 00:16
Tar 要先打包再传，虽说打包挺快但也要时间，要比也得相同条件比吧
一般不都是tar到一个管道（ssh）里对面同时解开么 hdd一般文件系统的海量小文件当然只有不去找metadata的方法能明显快过rsync啊，dd之类的 本帖最后由 Midnight.Coup 于 2023-12-25 11:10 编辑
phorcys02 发表于 2023-12-23 21:35
一般不都是tar到一个管道（ssh）里对面同时解开么
他这个不是本地2个盘对拷吗，难道中间还有网线那还得考虑网速，本地的话释放还得算上释放的 IO 和 CPU 占用
页:
[1]