我就直接问了，能本地部署题材不受限制写小说的ai模型有什么？
本帖最后由 orx 于 2025-1-27 02:04 编辑我有点低级趣味，并且配置也比较低，6700k+1070+16g内存+m2，不开占用显存的软件用sd生成一张25步512×1024图需要40-60秒之间；用SoVITS也能较为快捷的训练声音和输出声音。就像问一下这几天比较火的deepseek可以生成比较多变且比较生动的小h文吗？因为看到deepseek可以本地部署，如果想本地生成小说的话不知配置要求如何……同类有其他比较好用的模型吗？ 你用它接个酒馆来用用就得了。。API的甲没网页版那么厚，如果要本地部署，8G显存起步，上不封顶。。 有个E5 homelab 32G 能跑本地部署的deepseek吗 1070就别试了，直接上api吧
使用7b小模型之类的生成的结果只会徒增你的怒气槽 好用的llm模型不是给所有消费级应用跑的，都是服务器起步，没办法刚需三位数显存；消费级目前相对不错的是ds蒸馏后的qwen 32G
目前外网本地部署deepseek的教程里，都用用mac mini组的，当果子东西有性价比的时候（因为显存内存通用），就该知道这个东西离多数消费者很远
理想的未来是过几年技术成熟等project digits/ai max这些洋垃圾大船靠岸 本帖最后由 美坂汐里 于 2025-1-27 03:01 编辑
本地部署非常非常吃显存。
如果要写英语h小说，6-8g显存是基本底线，16g大致入门玩玩，40g显存会有还行的体验。
中文的话显存要求还要高一点。
这里的入门和底线指的是，ai大体需要快1分钟甚至更久才能回应你的要求，而且由于ai模型参数不够大导致智力不够，往往一次回复无法完成你的要求，所以你需要多次生成。
看了下，lz是1070的卡，大体可以跑7-9b的量化。这个阶段的模型目前选择比较有限，即大多数是英语模型。所以lz要试试写英语小说，还是能试试的。 本帖最后由 ambivalence 于 2025-1-27 02:51 编辑
1070我的建议是试都别试，你连7B都跑不顺畅
deepseek能本地部署没错,接近700B,你至少需要8XA100 80G
我接酒馆用还是会提醒要符合规范，是不是要装什么破限补丁之类？ 感谢解答，看来需要了解的知识还有很多，慢慢去看学习了。
话说9年前配电脑时想着对只爱模拟器和2dact以及ftg的我来说1070怎么也能用个十来年了，没想到最后让我觉得配置不够的原因是ai。 orx 发表于 2025-1-27 03:50
感谢解答，看来需要了解的知识还有很多，慢慢去看学习了。
话说9年前配电脑时想着对只爱模拟器和2dact以及 ...
很正常
我的760用了8年时间烧了之后换成1060然后用了3年
结果23年底开始玩SD换成魔改2080，到现在组4卡魔改2080服务器才用了1年多
狗屎AI毁我青春废我钱包 本帖最后由 orx 于 2025-1-27 04:40 编辑
已编辑。 thermite 发表于 2025-1-27 04:03
很正常
我的760用了8年时间烧了之后换成1060然后用了3年
结果23年底开始玩SD换成魔改2080，到现在组4卡魔 ...
我太想知道魔改2080好不好用了
还有质量可靠吗？？
orx 发表于 2025-1-27 04:39
我太想知道魔改2080好不好用了
目前来说——好用
但是考虑到未来的LLM和部署方式可能会逐渐使用到20系列所不具备的功能，不建议投入太多（我从8卡削到了4卡）
质量看店家的手艺和卡的来源，这点没啥办法，只能找口碑比较好的卖家 https://www.bilibili.com/video/BV1KtwueYE54/?buvid=YC4FDEC5CD8BF5F54FA9895AE8FAAA0BD4DE&is_story_h5=false&mid=iwgwctEjfw5BUXbQxTzg9Q%3D%3D&p=10&plat_id=116&share_from=ugc&share_medium=ipad&share_plat=ios&share_source=WEIXIN&share_tag=s_i×tamp=1737906641&unique_k=CPc2PaJ&up_id=385842994&share_source=weixin 本地部署能跑得动的要么是Qwen要么是DeepSeek distill Qwen，对于一般话题可以，对NSFW的还是不行。
页:
[1]