现在能在本地部署的LLM哪家强

chaosliu · 发表于 2025-1-22 14:15

各种大模型看的有些眼花缭乱了，我也是小白一个，想请教下现在哪家LLM本地部署强一些？PC配置是ddr4-32g，cpu i510600kf，显卡4070tis
我个人比较需要的用法就是把规范和书本内容丢进去方便搜和归纳总结，其他高级的方法我也不大会用

。（主流的什么kimi、文心一言我感觉我问的方法有问题，出来的结果都和我想要的大相径庭

）

dodolee · 发表于 2025-1-22 14:17

看看Deepseek最新放出来的R1蒸馏过的Llama和Qwen

moekyo · 发表于 2025-1-22 14:22

现搜的https://github.com/datawhalechina/self-llm，还有就是现在这更新速度，太容易过时了，而且都玩AI了，还是建议追新使用吧

你说这个谁懂呀? · 发表于 2025-1-22 14:24

提示: 作者被禁止或删除内容自动屏蔽

chaosliu · 发表于 2025-1-22 14:26

你说这个谁懂呀? 发表于 2025-1-22 14:24
poe用claude，个人模型除非是微调风格不然强烈不建议。你付出的时间成本真不如买买api算了

—— 来自 vivo ...

谢谢建议，不过我这方面不大清楚，我想法是数据最好不要上传

你说这个谁懂呀? · 发表于 2025-1-22 14:26

提示: 作者被禁止或删除内容自动屏蔽

FeteFete · 发表于 2025-1-22 14:28

用vllm等工具优化蒸馏过得量化模型

cpu内存叠加后大约能提升不少

yorktown · 发表于 2025-1-22 14:30

可以先试一下自己能不能搞定llama.cpp的编译

在服务器上修了一天环境了

美坂汐里 · 发表于 2025-1-22 14:30

你说这个谁懂呀? 发表于 2025-1-22 14:26
我觉得目前的7b模型的长文本能力除非你真有自定义优化手段，不然基本上就是一坨屎

—— 来自 vivo V2170A, ...

lz其实还好。
4070tis是16g显卡，可以跑30+b的模型，不是7b能比的

Jet.Black · 发表于 2025-1-22 14:31

有集显能用的模型么？

你说这个谁懂呀? · 发表于 2025-1-22 14:33

提示: 作者被禁止或删除内容自动屏蔽

处男老司机 · 发表于 2025-1-22 14:36

同问。一直折腾AI涩图，LLM没怎么折腾过

有没有类似comfyui这样的可加载不同模型的通用程序？

neptunehs · 发表于 2025-1-22 14:36

借贴问下有没有办法让本地部署的LLM搜索某个内网知识库然后回答问题？

美坂汐里 · 发表于 2025-1-22 14:36

你说这个谁懂呀? 发表于 2025-1-22 14:33
不太清楚具体长度哈，但是lz要是书本长度会不会在100k左右token？这个级别我体验过的开源模型70b以下基本 ...

是的，70b以下的常见区间其实是8k-32k

美坂汐里 · 发表于 2025-1-22 14:38

处男老司机发表于 2025-1-22 14:36
同问。一直折腾AI涩图，LLM没怎么折腾过
有没有类似comfyui这样的可加载不同模型的通用程序？ ...

koboldcpp+酒馆，koboldcpp负责运行模型，酒馆负责前端

ranocchia · 发表于 2025-1-22 14:40

处男老司机发表于 2025-1-22 14:36
同问。一直折腾AI涩图，LLM没怎么折腾过
有没有类似comfyui这样的可加载不同模型的通用程序？ ...

不是有个Anything LLM么？

jeokeo · 发表于 2025-1-22 14:41

dodolee 发表于 2025-1-22 14:17
看看Deepseek最新放出来的R1蒸馏过的Llama和Qwen

友情提醒。这个模型不能瑟瑟

雷囧羊 · 发表于 2025-1-22 14:42

你这种的搞不好是原始文档的储存分类编码索引这些上面出了问题
这些个llm现在都大差不差的其实

dodolee · 发表于 2025-1-22 15:01

处男老司机发表于 2025-1-22 14:36
同问。一直折腾AI涩图，LLM没怎么折腾过
有没有类似comfyui这样的可加载不同模型的通用程序？ ...

ollama和LMStudio比较简单好用

dodolee · 发表于 2025-1-22 15:03

yorktown 发表于 2025-1-22 14:30
可以先试一下自己能不能搞定llama.cpp的编译
在服务器上修了一天环境了

服务器上如果没什么特别要求可以用Ollama吧，当然要设置offloading什么的好像不行……

yorktown · 发表于 2025-1-22 15:08

dodolee 发表于 2025-1-22 15:03
服务器上如果没什么特别要求可以用Ollama吧，当然要设置offloading什么的好像不行…… ...

谢谢，我去瞅瞅

dodolee · 发表于 2025-1-22 15:09

jeokeo 发表于 2025-1-22 14:41
友情提醒。这个模型不能瑟瑟

Llama 有些社区越狱版好像可以，比如：https://huggingface.co/lmstudio- ... 3-70B-Instruct-GGUF，不过效果怎么样就不好说了……

kyon312 · 发表于 2025-1-22 20:44

我有个4090 64g内存打算本地跑个酒馆后端跑啥模型呢

—— 来自鹅球 v3.3.96

hargen2000 · 发表于 2025-1-22 20:46

r1 32b

—— 来自 Xiaomi 2308CPXD0C, Android 14上的 S1Next-鹅版 v2.5.2-play

子虚乌有 · 发表于 2025-1-22 21:51

处男老司机发表于 2025-1-22 14:36
同问。一直折腾AI涩图，LLM没怎么折腾过
有没有类似comfyui这样的可加载不同模型的通用程序？ ...

ollama.com
傻瓜化的。

zifuhun · 发表于 2025-1-23 10:44

借楼问下大佬们,需求和楼主差不多,本地小说,想通过建立本地资料库,给出一段情节,让他给判断那本书符合

—— 来自鹅球 v3.3.96

aithinkso · 发表于 2025-1-23 11:00

LMStudio 啥都好就是缺一个换源的设置
Ollama 直连就很顺畅，目前

—— 来自鹅球 v3.3.96

chaosliu · 发表于 2025-1-24 10:37

还想请教下，本地部署都是推荐建虚拟机去部署吗？我看huggingface的官方说明都推荐在虚拟环境中部署

黄泉川此方 · 发表于 2025-1-24 10:44

试了Ollama本地部署7B的DS，比图一乐还图一乐

		自动登录	找回密码
密码			立即注册

[科技] 现在能在本地部署的LLM哪家强

评分

你说这个谁懂呀? 你说这个谁懂呀? 当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2022-1-24 头像被屏蔽	发表于 2025-1-22 14:24 来自手机 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

你说这个谁懂呀? 你说这个谁懂呀? 当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2022-1-24 头像被屏蔽	发表于 2025-1-22 14:26 来自手机 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

你说这个谁懂呀? 你说这个谁懂呀? 当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2022-1-24 头像被屏蔽	发表于 2025-1-22 14:33 来自手机 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报