AMD称7900XTX在推理DeepSeek R1蒸馏模型时胜过4090

tonyunreal

https://www.tomshardware.com/tech-industry/artificial-intelligence/amd-claims-rx-7900-xtx-outperforms-rtx-4090-in-deepseek-benchmarks

Midnight.Coup

32B 就被反超了。。。

noahhhh

还没看原文，盲猜 4090 没用 TensorRT，AMD 用了优化模型

gaiden

单纯就是显存大

—— 来自 鹅球 v3.3.96-alpha

moeblack

noahhhh 发表于 2025-1-30 15:13
还没看原文，盲猜 4090 没用 TensorRT，AMD 用了优化模型

TensorRT这个东西真的难用

对于普通用户没有使用的理由


—— 来自 鹅球 v3.3.96

-SLSL-

有点呃呃了

伊克路西安

moeblack 发表于 2025-1-30 16:45
TensorRT这个东西真的难用

对于普通用户没有使用的理由

放着671b，100万次16元的api不用，本地部署32b蒸馏模型的是普通用户吗

—— 来自 鹅球 v3.3.96

Realplayer

有农卡本地化部署的教程吗

moeblack

伊克路西安 发表于 2025-1-30 17:04
放着671b，100万次16元的api不用，本地部署32b蒸馏模型的是普通用户吗

—— 来自 鹅球 v3.3.96 ...

算不清楚这个账的人可太多了，还有就是被短视频骗了
——
价格是output 16元/M 不是次

赤月知佳

花点钱买API啦，球球你们（

starash

还不如买个64G的mac mini

辰影

Sunyalche

本地部署总会有需求的，毕竟总有人有隐私要求

lain2008

嗯，高科技公司一堆活用deepseek的啊

星空天神

Realplayer 发表于 2025-1-30 17:18
有农卡本地化部署的教程吗

6800及以上的显卡直接下载LM studio就能用了

璇瑢子R

星空天神 发表于 2025-1-31 10:36
6800及以上的显卡直接下载LM studio就能用了

我6650下了lm studio照样用
也没按amd说的更新最新驱动

星空天神

璇瑢子R 发表于 2025-1-31 11:27
我6650下了lm studio照样用
也没按amd说的更新最新驱动

你看看跑的时候是跑在cpu还是gpu上

—— 来自 OnePlus LE2120, Android 14上的 S1Next-鹅版 v2.5.4

璇瑢子R

星空天神 发表于 2025-1-31 11:31
你看看跑的时候是跑在cpu还是gpu上

—— 来自 OnePlus LE2120, Android 14上的 S1Next-鹅版 v2.5.4 ...

gpu 100%，cpu占用率十几二十几

tonyunreal

我是24.10.1驱动加最新的LM runtime (1.9.2)无法调用显卡和显存
换了24.12.1驱动就好了
6800XT

Realplayer

win，7800xt
lla0.5.7，14b，下半天下完了
问下这个能不能备份出来？换电脑活重装不是还得下一遍

璇瑢子R

Realplayer 发表于 2025-2-1 00:44
win，7800xt
lla0.5.7，14b，下半天下完了
问下这个能不能备份出来？换电脑活重装不是还得下一遍 ...

你把存模型的文件夹复制出来就行。

Realplayer

璇瑢子R 发表于 2025-2-1 00:51
你把存模型的文件夹复制出来就行。

哦哦找到一个带点的文件夹

albertfu

前几天用去年9月的预览版驱动+ollama跑r1 32b，结果全都占的RAM而不是VRAM，明明24GB够用的，运算倒全是GPU在跑

回头有空了用25.1.1驱动+LM Studio试试