找回密码
 立即注册
搜索
查看: 5562|回复: 24

[屁股] 啥样的笔记本能跑本地大模型?请老哥们支招

[复制链接]
     
发表于 2024-2-18 10:54 | 显示全部楼层 |阅读模式
本帖最后由 rougevelvet 于 2024-2-19 13:00 编辑

非码农非业界二道贩子,这几天对AI有点兴趣,想整个能跑本地大模型的本子玩玩。
起因是某公众号上看到这么一段(为免引流就不放链接了):
写这份文档的最主要原因是之前算了一笔账:如果未来我们让电脑每天都来帮忙我们整理和分析最新的信息,那我们一天需要多少Token?假设一篇文档大概需要4000Token,LLM一轮输出400 Token,那么10轮交互下来最少需要5W Token,20篇那就消耗了100W Token;如果需要跟之前的文档进行交叉比较和深度分析,假设库里有100篇文章,那一天需要消耗1亿Token,如果是用GPT4来分析文档大概每天最少需要1000美元(当然这是粗略的计算,而且前提是没有其他技术的加持)。这个真的不是危言耸听,如果你让AI帮你定期浏览和总结最新的信息,那每天肯定不止20篇;假设每天加上好几篇大约几万字的论文...长期下来这个Token的消耗会是指数级的暴涨。

打算这几个月研究研究,有适合的618就入。



64G+4080TI是不是差不多能玩?放在单位/出差用,重量无所谓,最好灰黑色商务风;或者移动工作站也行?


———
看今天笔吧评测室推了thinkbook 16p,要是二季度4080ti放出来,感觉还可以玩一玩

楼里大概好多业内老哥,我也不是业内,就是感兴趣玩一玩,感觉应该还行?
回复

使用道具 举报

     
发表于 2024-2-18 10:59 来自手机 | 显示全部楼层
正在用4080laptop,本地跑过chatglm3和rwkv5,感觉速度也算不上快,显存也仍然嫌小,我的建议是等50系

—— 来自 HUAWEI WLZ-AL10, Android 12上的 S1Next-鹅版 v2.5.2-play

评分

参与人数 1战斗力 +1 收起 理由
rougevelvet + 1 好评加鹅

查看全部评分

回复

使用道具 举报

     
发表于 2024-2-18 11:08 | 显示全部楼层
问下a卡行不行,看坛友发的zluda那帖,跑sd挺快的
回复

使用道具 举报

     
发表于 2024-2-18 11:12 | 显示全部楼层
哪里来的4080ti
回复

使用道具 举报

     
发表于 2024-2-18 11:14 来自手机 | 显示全部楼层
你的大模型是llm大模型?还是SD这种赛博画师?
前者7B打底24G显存,你还得会部署

—— 来自 Xiaomi 2304FPN6DC, Android 13上的 S1Next-鹅版 v2.5.4
回复

使用道具 举报

     
发表于 2024-2-18 11:40 | 显示全部楼层
M3 Max 128GB,瓶颈在内存通道上所以跑大模型token输出速度是M2 Ultra的一半左右( https://github.com/ggerganov/llama.cpp/discussions/4167 )。可以通过sudo sysctl iogpu.wired_limit_mb=126976 (就是124 * 1024)让显存最多使用124G,留4G给系统,这个显存可以跑110B级别 8bit量化的大模型。
回复

使用道具 举报

     
发表于 2024-2-18 12:15 来自手机 | 显示全部楼层
本地gpu能跑的llm都跟人工智障差不多,要想拿来玩不如狠狠心弄个农企32核以上的洋垃圾+128g以上内存,慢是慢点但是智力高不少
回复

使用道具 举报

     
发表于 2024-2-18 12:43 | 显示全部楼层
插个眼
回复

使用道具 举报

     
发表于 2024-2-18 12:53 | 显示全部楼层
本帖最后由 Midnight.Coup 于 2024-2-18 12:56 编辑

M3 Max 128GB 内存拉满也许可以,但本地跑起来的模型肯定不如 GPT4,该买 API 还是买
回复

使用道具 举报

     
发表于 2024-2-18 12:59 | 显示全部楼层
lenovo p16?
dell和hp的移动式服务器?
回复

使用道具 举报

     
发表于 2024-2-18 13:12 | 显示全部楼层
正经玩别想了,笔记本4090 16g显存也就勉强能跑个7B模型,以下的7B都跑不起来
回复

使用道具 举报

     
发表于 2024-2-18 13:31 | 显示全部楼层
8G显存就能跑7B Int4了,int4和float16相比差一些,但也没差太多
没显卡32G内存,你CPU好点,llama.cpp直接跑14B int4也行

但是别说7B,14B都没什么生产力,除了跑不需要训练只是调prompt的实验,一般人基本没用,唯一需要本地模型的是涩涩
正经用就买api,gpt买不到就用国内的,国内的这些模型现在虽然限速,但大多不用花钱
回复

使用道具 举报

     
发表于 2024-2-18 13:36 | 显示全部楼层
干嘛不白嫖Colab或者Kaggle的显卡资源呢
回复

使用道具 举报

     
发表于 2024-2-18 14:06 | 显示全部楼层
从逆天的角度来看,笔记本跑稍微大一点的模型的话Mac因为内存显存共用反而有性价比了(只能怪byd老黄消费级显卡显存抠门
回复

使用道具 举报

头像被屏蔽
     
发表于 2024-2-18 14:08 | 显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽
回复

使用道具 举报

     
发表于 2024-2-18 14:19 | 显示全部楼层
除了AI还有啥想玩的,玩腻了也不至于浪费,入门8G显存就行了,往上无止境,但是本地模型再怎么样最后效果还是被gpt4吊打,除非你看中速度要自己做应用。

—— 来自 S1Fun
回复

使用道具 举报

     
发表于 2024-2-18 14:27 | 显示全部楼层
我看现在很多AI画图(比如好说AI)都是基于SD,然后卖使用次数给普通用户体验

SD查了下好像是免费开源的,那就是本地也可以自己部署?

openai的DALL-E3**使用,然后按张计费?

哪个相对不太折腾 ?平时画点公众号插图的话
回复

使用道具 举报

     
发表于 2024-2-18 14:41 | 显示全部楼层
sunbeach 发表于 2024-2-18 12:15
本地gpu能跑的llm都跟人工智障差不多,要想拿来玩不如狠狠心弄个农企32核以上的洋垃圾+128g以上内存,慢是 ...

我这有两块闲置的26核的5320可以用吗,可以跑啥模型
回复

使用道具 举报

发表于 2024-2-18 14:44 | 显示全部楼层
7B也是玩具,何况笔记本大概连7B都跑不了
回复

使用道具 举报

     
发表于 2024-2-18 16:37 来自手机 | 显示全部楼层
开源能本地跑的远不如付费买api的

如果模型能用CPU跑,内存够大就行

用显卡跑,如果模型有int量化,显存占用会小很多,全精度的还是算了吧
回复

使用道具 举报

头像被屏蔽
     
发表于 2024-2-18 16:46 | 显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽
回复

使用道具 举报

     
发表于 2024-2-18 19:42 | 显示全部楼层
袄_偶滴小乔 发表于 2024-2-18 14:41
我这有两块闲置的26核的5320可以用吗,可以跑啥模型

直接搜cpu大模型就行,主要吃内存,65B的差不多要吃75G,CPU跑基本都在一秒1~2字符这样
对比8g显存的显卡只能跑7B模型那智力水平就是降维打击
回复

使用道具 举报

     
发表于 2024-2-18 22:16 | 显示全部楼层
本帖最后由 ambivalence 于 2024-2-18 22:29 编辑

LLM的话我推荐你直接上X99工作站然后四路魔改22G 2080ti拉满,没有比这个更高性价比的选择,淘宝搜超微7048GR 2000左右,CPU一百出头一颗,内存70左右一条,显卡现在大概2500一块 总共加起来都不到一块4090的价格.至于单卡4080 16G显存LLM拉个屎都不够擦屁股的
CPU嗯跑我前段时间试过,双路2698V3+128G内存,70B模型1t/s,基本上没有实用价值
回复

使用道具 举报

     
发表于 2024-2-18 23:03 | 显示全部楼层
路西欧拉 发表于 2024-2-18 14:27
我看现在很多AI画图(比如好说AI)都是基于SD,然后卖使用次数给普通用户体验

SD查了下好像是免费开源的, ...

要上生产买chatgpt plus用DALLE
sd不适合画配图,DALLE的API贵的要命,不如chatgpt plus来的合算
回复

使用道具 举报

     
发表于 2024-2-19 10:53 | 显示全部楼层
schneehertz 发表于 2024-2-18 23:03
要上生产买chatgpt plus用DALLE
sd不适合画配图,DALLE的API贵的要命,不如chatgpt plus来的合算 ...

为什么SD不适合画配图呢?
有没有适合画配图的开源系统?
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|小黑屋|上海互联网违法和不良信息举报中心|网上有害信息举报专区|962110 反电信诈骗|举报电话 021-62035905|Stage1st ( 沪ICP备13020230号-1|沪公网安备 31010702007642号 )

GMT+8, 2024-11-15 00:54 , Processed in 0.086404 second(s), 5 queries , Gzip On, Redis On.

Powered by Discuz! X3.5

© 2001-2024 Discuz! Team.

快速回复 返回顶部 返回列表