炸裂 2000元成本跑deepseek全量671b模型

yuxiao

傲腾再怎么样速度也没有内存快吧？为啥不直接买大容量内存模拟成硬盘？开机的时候把程序文件全部加载到内存模拟的硬盘里，只要不关机就行了呗？

无可奉吿

yuxiao 发表于 2025-2-18 12:08
傲腾再怎么样速度也没有内存快吧？为啥不直接买大容量内存模拟成硬盘？开机的时候把程序文件全部加载到内存 ...

贵啊 普通内存就算最便宜16g也要100元
傲腾256g内存300-400元

Wiksy

这速度给你个直观的比较对象：我本地3token每秒的时候让它给我写一个算pi的算法，它think的部分输出了半个小时

ななひら

要不要算算生成相同长度的结果，耗的电是不是比用api还贵
就不算速度差别了

anmdrree

意思是现成的模型其实不需要很高的性能，只要把路铺好，让他走顺畅就行了？

—— 来自 鹅球 v3.3.96-alpha

琉璃苑軒風

anmdrree 发表于 2025-2-18 12:32
意思是现成的模型其实不需要很高的性能，只要把路铺好，让他走顺畅就行了？

—— 来自 鹅球 v3.3.96-alph ...

没错，ds的模型，你只推理不训练，可以用高带宽大内存模去代替极其昂贵的大显存显卡

虽然现在一把576G D5内存也要个万把块，但是你想想这钱不够买一张4090，后者单卡只能跑32BQ4的蒸馏模型，只能说勉强解决基础问题


按照KTF的方案，能跑671B 1.58量化的模型整机也就折合1张多4090...(在这里3090不差太多速度，我很怀疑都可以用2080ti 22g魔改卡）

精钢魔像

xia琉璃苑軒風 发表于 2025-2-18 12:49
没错，ds的模型，你只推理不训练，可以用高带宽大内存模去代替极其昂贵的大显存显卡

虽然现在一把576G D5 ...

说不定很快就会出现可以插内存的显卡

qqks

琉璃苑軒風 发表于 2025-2-18 12:49
没错，ds的模型，你只推理不训练，可以用高带宽大内存模去代替极其昂贵的大显存显卡

虽然现在一把576G D5 ...

现阶段，只看指标，最划算的是前两天香橙派推出的用华为芯片的ai studio pro，12通道ddr4266，400G带宽的192g内存，配合352tops算力，16000块不到，市面上还没有同类竞品。

问题就是昇腾生态不全，雷电4连接只有5g带宽，不知道能不能加多卡，能加多卡，四块就能跑int8满血版

btnooni

那一块主板两个8222l插满12通道能不能跑个2t/s？

寻找无双

我觉得不用在部署上花太多精力研究，先凑合用着。
奥特曼预计ai的成本每年降10倍，听起来有点夸张，不过毋庸置疑的是，每过几个月，更高性能的大模型，更少的参数，更便利的部署方式都会出现。

无可奉吿

ltycomputer 发表于 2025-2-18 09:21
两年前还真买过这玩意洋垃圾

首先这玩意DDR4 2666，硬盘模式单条带宽只有20GB/s读，延迟比DIMM高一个数 ...

我看视频是128g是系统盘
他买了6条128g傲腾使用磁盘模式生成700多g空间
把400多g的671b放里跑的
所以作者推荐的是买2个256g傲腾就够用了
这样搭配的普通内存也只要2根

hydrogen

说不定过几年手机就能跑本地模型了

—— 来自 鹅球 v3.3.96-alpha

windrarara

寻找无双 发表于 2025-2-18 15:44
我觉得不用在部署上花太多精力研究，先凑合用着。
奥特曼预计ai的成本每年降10倍，听起来有点夸张，不过毋 ...

我感觉不会，有一定智力真的能用的AI是不会太小的，不说别的，那些几十G的AI估计连预料都装不完，怎么回答问题……

相参降解社畜

思路挺不错，但是个人认为对一般人乃至普通AI玩家来说，实际意义不大，我觉得我还是等国产内存厂发力把内存价格打下来吧

orecheng

hydrogen 发表于 2025-2-18 15:52
说不定过几年手机就能跑本地模型了

—— 来自 鹅球 v3.3.96-alpha

现在就能

下个阿里的mnn大模型

某爷

关键要看kt的落地方案了