AMD称7900XTX在推理DeepSeek R1蒸馏模型时胜过4090
https://www.tomshardware.com/tech-industry/artificial-intelligence/amd-claims-rx-7900-xtx-outperforms-rtx-4090-in-deepseek-benchmarkshttps://p.sda1.dev/21/9c7747e354862c51a359f00954b9f322/GieCRY8bMAEEZ9c.jpg
32B 就被反超了。。。 还没看原文，盲猜 4090 没用 TensorRT，AMD 用了优化模型 单纯就是显存大
—— 来自 鹅球 v3.3.96-alpha noahhhh 发表于 2025-1-30 15:13
还没看原文，盲猜 4090 没用 TensorRT，AMD 用了优化模型
TensorRT这个东西真的难用
对于普通用户没有使用的理由
—— 来自 鹅球 v3.3.96 有点呃呃了 moeblack 发表于 2025-1-30 16:45
TensorRT这个东西真的难用
对于普通用户没有使用的理由
放着671b，100万次16元的api不用，本地部署32b蒸馏模型的是普通用户吗
—— 来自 鹅球 v3.3.96 有农卡本地化部署的教程吗 伊克路西安 发表于 2025-1-30 17:04
放着671b，100万次16元的api不用，本地部署32b蒸馏模型的是普通用户吗
—— 来自 鹅球 v3.3.96 ...
算不清楚这个账的人可太多了，还有就是被短视频骗了
——
价格是output 16元/M 不是次 花点钱买API啦，球球你们（ 还不如买个64G的mac mini 本地部署总会有需求的，毕竟总有人有隐私要求 嗯，高科技公司一堆活用deepseek的啊 Realplayer 发表于 2025-1-30 17:18
有农卡本地化部署的教程吗
6800及以上的显卡直接下载LM studio就能用了 星空天神 发表于 2025-1-31 10:36
6800及以上的显卡直接下载LM studio就能用了
我6650下了lm studio照样用
也没按amd说的更新最新驱动
璇瑢子R 发表于 2025-1-31 11:27
我6650下了lm studio照样用
也没按amd说的更新最新驱动
你看看跑的时候是跑在cpu还是gpu上
—— 来自 OnePlus LE2120, Android 14上的 S1Next-鹅版 v2.5.4 星空天神 发表于 2025-1-31 11:31
你看看跑的时候是跑在cpu还是gpu上
—— 来自 OnePlus LE2120, Android 14上的 S1Next-鹅版 v2.5.4 ...
gpu 100%，cpu占用率十几二十几 我是24.10.1驱动加最新的LM runtime (1.9.2)无法调用显卡和显存
换了24.12.1驱动就好了
6800XT win，7800xt
lla0.5.7，14b，下半天下完了
问下这个能不能备份出来？换电脑活重装不是还得下一遍 Realplayer 发表于 2025-2-1 00:44
win，7800xt
lla0.5.7，14b，下半天下完了
问下这个能不能备份出来？换电脑活重装不是还得下一遍 ...
你把存模型的文件夹复制出来就行。 璇瑢子R 发表于 2025-2-1 00:51
你把存模型的文件夹复制出来就行。
哦哦找到一个带点的文件夹 前几天用去年9月的预览版驱动+ollama跑r1 32b，结果全都占的RAM而不是VRAM，明明24GB够用的，运算倒全是GPU在跑
回头有空了用25.1.1驱动+LM Studio试试
页:
[1]