清华大模型报告：文心一言中文理解、数学等多项能力全球第一

泰坦失足

“李彦宏：文心一言用户数破2亿，开源模型会越来越落后”
反正我用开源的Llama3和Qwen，不然每次大批量跑全文分析都要琢磨下这些token要多少钱。上次看百度开会请了项立刚去，然后他回来吹百度怎么好怎么好。

泰坦失足

诚司 发表于 2024-4-22 11:39
笔记本版的4090显存只有16g，不太行，台式机的24g显存，大体可以装下qwen 32b，不过我没试过上下文长度多 ...

https://www.reddit.com/r/LocalLL ... gguf_on_24gig_vram/
量化模型的话，有人说70b都行。我一般都是用4bits的量化版，推理速度更快还能有更长的上下文空间。