腐宅
精华
|
战斗力 鹅
|
回帖 0
注册时间 2023-11-30
|
本帖最后由 普通论坛用户 于 2024-7-22 21:16 编辑
https://huggingface.co/QuantFactory/CausalLM-35b-beta-long-GGUF
下来的模型无法运行
python -m llama_cpp.server --model CausalLM-35b-beta-long.Q8_0.gguf --chat_format chatml
结果报错
llama_model_load: error loading model: check_tensor_dims: tensor 'token_embd.weight' has wrong shape; expected 8192, 255029, got 8192, 256000, 1, 1
换了text-generation-webui,先git clone再执行pip install -r requirements.txt,又提示找不到模块llama.dll,真是奇怪了,明明dll是实际存在的
谷歌了下错误报告,没找到什么可靠的解决方案,大概是用不了,不知道是不是模型自己的问题,能分享一下你那里的35b模型吗?只要llama.cpp支持的格式就可以的
如果用TheBloke/CausalLM-14B-GGUF没什么问题,8bit能正常运行,但运行好慢,显卡GTX3080 VRAM 10G 内存条RAM 64G,每一次对话耗时4~6分钟左右
- <div>llama_print_timings: load time = 54493.69 ms
- llama_print_timings: sample time = 2314.14 ms / 250 runs ( 9.26 ms per token, 108.03 tokens per second)
- llama_print_timings: prompt eval time = 108348.57 ms / 1094 tokens ( 99.04 ms per token, 10.10 tokens per second)
- llama_print_timings: eval time = 124820.02 ms / 249 runs ( 501.29 ms per token, 1.99 tokens per second)
- llama_print_timings: total time = 236032.58 ms / 1343 tokens
- INFO: 127.0.0.1:8017 - "POST /v1/completions HTTP/1.1" 200 OK
- Llama.generate: prefix-match hit
- llama_print_timings: load time = 54493.69 ms
- llama_print_timings: sample time = 2918.14 ms / 250 runs ( 11.67 ms per token, 85.67 tokens per second)
- llama_print_timings: prompt eval time = 91216.11 ms / 388 tokens ( 235.09 ms per token, 4.25 tokens per second)
- llama_print_timings: eval time = 170496.56 ms / 249 runs ( 684.73 ms per token, 1.46 tokens per second)
- llama_print_timings: total time = 265187.78 ms / 637 tokens
- INFO: 127.0.0.1:8287 - "POST /v1/completions HTTP/1.1" 200 OK</div>
复制代码
怪不得SillyTavern文档提到大部分本地模型的体验远远不如不如云LLM……也有可能是我硬件太低端了,或许要VRAM 24G商业级显卡,响应速度才会秒响应吧?文档也提到GPTQ/AWQ 在 GPU 上运行比GGUP快得多,但需要高端大显存显卡
网上有哪些无审查的中文云模型比较好用?看了SillyTavern推荐的DreamGen,中文不太行的样子,最低级的模型回复很蠢
Mancer AI、NovelAI是无审查的,但中文输出质量不太清楚
编辑,忘了补充一点,AI模型放在机械硬盘的,其它固态硬盘空间都满了
|
|