d2loader 发表于 2025-1-7 12:01

AMD正式公布AI MAX 395+


有128GB的型号, 分配32GB系统+96GB显存后

可以跑72B Q4的模型, 速度是4090 2.2倍, 推测是4-9Tokens/S

(但是一张4090本来也装不下)

首发HP和ASUS

穷人MI300 来了

吴怀在 发表于 2025-1-7 12:07

本帖最后由 吴怀在 于 2025-1-7 12:14 编辑

擦，怎么是移动端的？

多少钱？
能不能和5090插到一张主板上，玩游戏用n卡，跑ai两个并行

吴怀在 发表于 2025-1-7 12:18

移动端也挺好
这玩意适合上nas，等过几年便宜点。

吴怀在 发表于 2025-1-7 15:06

这个比老黄的project digits孰强孰弱？

Midnight.Coup 发表于 2025-1-7 15:19

吴怀在 发表于 2025-1-7 15:06
这个比老黄的project digits孰强孰弱？
Project Digits 能跑 200B 上限比不了
但是这个是 x86，随便折腾，老黄那个是定制 arm + 定制 Ubuntu DGX OS 6

tonyunreal 发表于 2025-1-7 15:27

感觉卖点是富哥的便携游戏机
AI软件环境怎么想也是老黄和苹果更好搭

—— 来自 鹅球 v3.3.96

Rarity5 发表于 2025-1-7 15:36

老黄今年有个mini aipc感觉也挺强的

—— 来自 鹅球 v3.3.96-alpha

chaos7 发表于 2025-1-7 16:03

4090的2.2倍速度,这个数据怎么样得出来,
用4090爆显存后的速度跟未爆显存的395+比较?但4090真爆显存,相差应该不止2.2倍吧。

0WHan0 发表于 2025-1-7 16:27

Midnight.Coup 发表于 2025-1-7 15:19
Project Digits 能跑 200B 上限比不了
但是这个是 x86，随便折腾，老黄那个是定制 arm + 定制 Ubuntu DGX...

这个网址上的排名有NVIDIA Project DIGITS了
https://vmem-for-llms.kcores.com/index-cn

hoyice 发表于 2025-1-7 16:43

🤔几年后会2999呢

吴怀在 发表于 2025-1-7 16:45

0WHan0 发表于 2025-1-7 16:27
这个网址上的排名有NVIDIA Project DIGITS了
https://vmem-for-llms.kcores.com/index-cn

怎么这么弱鸡啊

吴怀在 发表于 2025-1-7 16:46

Midnight.Coup 发表于 2025-1-7 15:19
Project Digits 能跑 200B 上限比不了
但是这个是 x86，随便折腾，老黄那个是定制 arm + 定制 Ubuntu DGX...

感觉还是过两年再看看了。
不知道那时候开源模型能做到最好闭源模型的几成。

Midnight.Coup 发表于 2025-1-7 16:52

本帖最后由 Midnight.Coup 于 2025-1-7 17:04 编辑

0WHan0 发表于 2025-1-7 16:27
这个网址上的排名有NVIDIA Project DIGITS了
https://vmem-for-llms.kcores.com/index-cn
和性能无关，只有带宽评分，虽然大模型和带宽强相关
本天梯重点关注显卡的内存带宽，并提供它们的带宽可用性排名
计算公式为 ( VMEM_Bandwidth × Num ) / LLMs_Size = VMEM_Availability，其中 VMEM_Bandwidth 是特定显卡型号的内存带宽（GB/s）， Num 是运行 48GB LLM 所需的最小显卡数量，而 LLMs_Size 是 48GB。 VMEM_Availability 是最终的可用性评分。该公式假设每次计算都需要扫描与模型大小相匹配的内存空间。因此，总体内存带宽除以 LLM 大小得到该组合的最终吞吐量，这可以简单理解为这一组合的显卡每秒可以输出的最大理论 token 数量。

0WHan0 发表于 2025-1-7 17:08

吴怀在 发表于 2025-1-7 16:45
怎么这么弱鸡啊

这个排行榜应该是这些显存带宽下的理论性能上限，核心就算再强都不会超过这个数，但也有核心性能不足跑不到上限的情况

坏掉了 发表于 2025-1-7 19:17

0WHan0 发表于 2025-1-7 16:27
这个网址上的排名有NVIDIA Project DIGITS了
https://vmem-for-llms.kcores.com/index-cn

P4比T4高，T4比L4高，这排名没啥合理性

0WHan0 发表于 2025-1-7 19:24

坏掉了 发表于 2025-1-7 19:17
P4比T4高，T4比L4高，这排名没啥合理性

8卡，4卡和2卡

坏掉了 发表于 2025-1-7 19:41

0WHan0 发表于 2025-1-7 19:24
8卡，4卡和2卡

原来如此

nlzy 发表于 2025-1-7 23:44

这东西应该不会上 HBM，如果是 4 通道 DDR5 6400 的话，160GB/s 内存带宽跑 70b 4bit 量化的 LLM 撑死能摸到 4t/s。9 t/s 是在做梦了。

ylns1314 发表于 2025-1-8 00:13

System Memory Type
256-bit LPDDR5x
Max. Memory
128 GB
Max Memory Speed
LPDDR5x-8000

https://www.amd.com/en/products/processors/laptop/ryzen/300-series/amd-ryzen-ai-max-plus-395.html

— from S1 Next Goose v3.3.96-alpha
页: [1]
查看完整版本: AMD正式公布AI MAX 395+