Project digits这样的大内存小主机可能会越来越多

overflowal

看到华硕和HP也在做这种机器/笔记本，思路跟苹果差不多，就是堆多通道内存，来取得更好的带宽，用核显大内存跑本地llm的推理。
目前看来是堆到了128G，除了deepseek v3这种怪物，开源模型最普遍70B版本属于是畅通无阻了。
因为堆了内存通道，提升了带宽，游戏性能也会跟着提升，有点期待发展

bilibon

但是这种东西的定价应该不是臭打游戏会考虑的吧，不是当做生产力赚钱工具的话可能一般不太会考虑

—— 来自 OnePlus PJA110, Android 14上的 S1Next-鹅版 v2.5.4

welcom

bilibon 发表于 2025-1-9 21:20
但是这种东西的定价应该不是臭打游戏会考虑的吧，不是当做生产力赚钱工具的话可能一般不太会考虑

—— 来 ...

反过来说既然要做成生产力工具，还抱着小主机这螺蛳壳做道场也是有点大病

overflowal

welcom 发表于 2025-1-9 21:25
反过来说既然要做成生产力工具，还抱着小主机这螺蛳壳做道场也是有点大病 ...

这种主机一般都是内存和cpu/apu封装到一块，很紧凑，因为只用来跑推理任务，所以绝对性能不算强，也不需要大规格散热和电源。所以干脆做小点或者搞成笔记本也是挺合理的。

—— 来自 鹅球 v3.3.96

welcom

overflowal 发表于 2025-1-9 21:35
这种主机一般都是内存和cpu/apu封装到一块，很紧凑，因为只用来跑推理任务，所以绝对性能不算强，也不需 ...

不需要大规格散热和电源？你确定？

你说上个1U给个200W小电源，那行吧，APU哪个散热特别好了

狭义文具爱好者

只面向特定受众，不过这批人完全不缺钱和购买意愿所以不愁卖，对于预算上不封顶的人来说也是个不错的玩具

但是对于一般人来说确实没必要买啊。买个正常笔记本小机箱再充个oai啥的年度会员效果不更好

日日夜夜

华硕和HP在做什么？内存带宽大核显算力够的apu是说strix point halo？LPDDR5X 8533mhz 256bit拉满应该是273GB/s，对比老黄Project digits还是差了一截，老黄这个好像大伙还嫌他带宽低了

tonyunreal

只要厂商还是利润第一就卷不起来吧
看r/locallama说带宽还是不如苹果

med

你们真的在用local的llm吗，是api不好用吗

yorktown

med 发表于 2025-1-9 23:22
你们真的在用local的llm吗，是api不好用吗

local的好玩，生命在于折腾

—— 来自 鹅球 v3.3.96-alpha

cscn

这玩意多少钱啊，国内禁吗？

FortuneAura

也有可能向家用私有云发展，就像即使你有无限流量还是会在家里搞套wifi

论坛助手,iPhone

samfs

这种机器做NAS，给本地全部影音文件和照片生成文字描述、剧情摘要、多语言字幕，根据本地文件和笔记生成总结报告，无敌了

黄油indie

nas不玩ai这些也没有增长点了呀，之前搞的5825u all in boom我都觉得性能严重过剩不知道能拿来干嘛

d2loader

med 发表于 2025-1-9 23:22
你们真的在用local的llm吗，是api不好用吗

128GB的版本可以自己解开限制加入你想要的语料微调32B参数的模型了, 用处你懂的

darkangel0224

d2loader 发表于 2025-1-10 16:52
128GB的版本可以自己解开限制加入你想要的语料微调32B参数的模型了, 用处你懂的 ...

看来“瑟瑟是第一生产力”依旧比摩尔定律还有生命力

小处不可随便

数据就是资产，不是什么东西都适合上云的，老黄不当人显得小主机有性价比

吴怀在

用nas的数码爱好者，未来肯定会在家里搞本地llm。算算自己搭nas的投入，2万的主机价格不算离谱

这是蓝海

当然前提是未来开源的多模态llm和商用的差距不大。

↓↘→AB

现在内存可老贵了，还是用破机器+云服务。

— from Razer Phone 2, Android 9 of S1 Next Goose v2.5.2-play