chaosliu 发表于 2025-1-22 14:15

现在能在本地部署的LLM哪家强

各种大模型看的有些眼花缭乱了，我也是小白一个，想请教下现在哪家LLM本地部署强一些？PC配置是ddr4-32g，cpu i510600kf，显卡4070tis
我个人比较需要的用法就是把规范和书本内容丢进去方便搜和归纳总结，其他高级的方法我也不大会用。（主流的什么kimi、文心一言我感觉我问的方法有问题，出来的结果都和我想要的大相径庭）


dodolee 发表于 2025-1-22 14:17

看看Deepseek最新放出来的R1蒸馏过的Llama和Qwen

moekyo 发表于 2025-1-22 14:22

现搜的https://github.com/datawhalechina/self-llm，还有就是现在这更新速度，太容易过时了，而且都玩AI了，还是建议追新使用吧

你说这个谁懂呀? 发表于 2025-1-22 14:24

chaosliu 发表于 2025-1-22 14:26

你说这个谁懂呀? 发表于 2025-1-22 14:24
poe用claude，个人模型除非是微调风格不然强烈不建议。你付出的时间成本真不如买买api算了

—— 来自 vivo ...

谢谢建议，不过我这方面不大清楚，我想法是数据最好不要上传

你说这个谁懂呀? 发表于 2025-1-22 14:26

FeteFete 发表于 2025-1-22 14:28

用vllm等工具优化蒸馏过得量化模型

cpu内存叠加后大约能提升不少

yorktown 发表于 2025-1-22 14:30

可以先试一下自己能不能搞定llama.cpp的编译
在服务器上修了一天环境了

美坂汐里 发表于 2025-1-22 14:30

你说这个谁懂呀? 发表于 2025-1-22 14:26
我觉得目前的7b模型的长文本能力除非你真有自定义优化手段，不然基本上就是一坨屎

—— 来自 vivo V2170A, ...
lz其实还好。
4070tis是16g显卡，可以跑30+b的模型，不是7b能比的

Jet.Black 发表于 2025-1-22 14:31

有集显能用的模型么？

你说这个谁懂呀? 发表于 2025-1-22 14:33

处男老司机 发表于 2025-1-22 14:36

同问。一直折腾AI涩图，LLM没怎么折腾过
有没有类似comfyui这样的可加载不同模型的通用程序？

neptunehs 发表于 2025-1-22 14:36

借贴问下 有没有办法让本地部署的LLM搜索某个内网知识库然后回答问题？

美坂汐里 发表于 2025-1-22 14:36

你说这个谁懂呀? 发表于 2025-1-22 14:33
不太清楚具体长度哈，但是lz要是书本长度会不会在100k左右token？这个级别我体验过的开源模型70b以下基本 ...

是的，70b以下的常见区间其实是8k-32k

美坂汐里 发表于 2025-1-22 14:38

处男老司机 发表于 2025-1-22 14:36
同问。一直折腾AI涩图，LLM没怎么折腾过
有没有类似comfyui这样的可加载不同模型的通用程序？ ...
koboldcpp+酒馆，koboldcpp负责运行模型，酒馆负责前端

ranocchia 发表于 2025-1-22 14:40

处男老司机 发表于 2025-1-22 14:36
同问。一直折腾AI涩图，LLM没怎么折腾过
有没有类似comfyui这样的可加载不同模型的通用程序？ ...

不是有个Anything LLM么？

jeokeo 发表于 2025-1-22 14:41

dodolee 发表于 2025-1-22 14:17
看看Deepseek最新放出来的R1蒸馏过的Llama和Qwen

友情提醒。这个模型不能瑟瑟

雷囧羊 发表于 2025-1-22 14:42

你这种的搞不好是原始文档的储存分类编码索引这些上面出了问题
这些个llm现在都大差不差的其实

dodolee 发表于 2025-1-22 15:01

处男老司机 发表于 2025-1-22 14:36
同问。一直折腾AI涩图，LLM没怎么折腾过
有没有类似comfyui这样的可加载不同模型的通用程序？ ...

ollama和LMStudio比较简单好用

dodolee 发表于 2025-1-22 15:03

yorktown 发表于 2025-1-22 14:30
可以先试一下自己能不能搞定llama.cpp的编译
在服务器上修了一天环境了

服务器上如果没什么特别要求可以用Ollama吧，当然要设置offloading什么的好像不行……

yorktown 发表于 2025-1-22 15:08

dodolee 发表于 2025-1-22 15:03
服务器上如果没什么特别要求可以用Ollama吧，当然要设置offloading什么的好像不行…… ...

谢谢，我去瞅瞅

dodolee 发表于 2025-1-22 15:09

jeokeo 发表于 2025-1-22 14:41
友情提醒。这个模型不能瑟瑟

Llama 有些社区越狱版好像可以，比如：https://huggingface.co/lmstudio-community/Llama-3.3-70B-Instruct-GGUF，不过效果怎么样就不好说了……

kyon312 发表于 2025-1-22 20:44

我有个4090 64g内存打算本地跑个酒馆 后端跑啥模型呢

—— 来自 鹅球 v3.3.96

hargen2000 发表于 2025-1-22 20:46

r1 32b

—— 来自 Xiaomi 2308CPXD0C, Android 14上的 S1Next-鹅版 v2.5.2-play

子虚乌有 发表于 2025-1-22 21:51

处男老司机 发表于 2025-1-22 14:36
同问。一直折腾AI涩图，LLM没怎么折腾过
有没有类似comfyui这样的可加载不同模型的通用程序？ ...

ollama.com
傻瓜化的。

zifuhun 发表于 2025-1-23 10:44

借楼问下大佬们,需求和楼主差不多,本地小说,想通过建立本地资料库,给出一段情节,让他给判断那本书符合

—— 来自 鹅球 v3.3.96

aithinkso 发表于 2025-1-23 11:00

LMStudio 啥都好就是缺一个换源的设置
Ollama 直连就很顺畅，目前

—— 来自 鹅球 v3.3.96

chaosliu 发表于 2025-1-24 10:37

还想请教下，本地部署都是推荐建虚拟机去部署吗？我看huggingface的官方说明都推荐在虚拟环境中部署

黄泉川此方 发表于 2025-1-24 10:44

试了Ollama本地部署7B的DS，比图一乐还图一乐
页: [1]
查看完整版本: 现在能在本地部署的LLM哪家强