阿里的qwen2.5 coder 32b似乎给了鬼佬一点震撼啊

qqks

作为开源模型，q8版本，编程能力与GPT-4o和claude3.5老版相当，要知道与后两者相比的qwen2.5参数量只有几十分之一！

有人阴阳怪气说这玩意用英文会回答自己来自openai，结果下面一面倒的大儒辨经说交叉污染不稀奇，什么我不在乎只要这玩意能生成代码就行


有人用几行提示就生成一个高清旋转地球:





https://www.reddit.com/r/LocalLLaMA/comments/1gp84in/qwen25coder_32b_the_ai_thats_revolutionizing/



现在开源大模型性能提升非常逆天啊，而且是纯软件的，今年的30b模型已经可以杀爆去年70b等级的水平了

moeblack

这玩意儿参数量如果有320b，我都不知道能有多强。真有核心科技的，埋伏进大语言模型生成概念股了。

—— 来自 鹅球 v3.0.86-alpha

好蓝啊

公司里试了一下，据说 hallucinations 比较厉害，不敢用

炽十二翼

怎么能用上呢？已经心痒难耐啦

xing7673

好蓝啊 发表于 2024-11-14 10:11
公司里试了一下，据说 hallucinations 比较厉害，不敢用

我试了下还好啊，你咋试的？

qratosones1337

moeblack 发表于 2024-11-14 10:05
这玩意儿参数量如果有320b，我都不知道能有多强。真有核心科技的，埋伏进大语言模型生成概念股了。

——  ...

小模型硬灌大量数据是目前的主流玩法，毕竟320B部署难度比32B大一个量级，但是性能提升幅度并不能有效对标参数量提升

qratosones1337

炽十二翼 发表于 2024-11-14 10:18
怎么能用上呢？已经心痒难耐啦

siliconflow或者autodl，模型是开源的可以自己部署

pigsy

好蓝啊 发表于 2024-11-14 10:11
公司里试了一下，据说 hallucinations 比较厉害，不敢用

hallucinations 问题不可避免，而且反而说明参数scale比较成功。

题外话，gpt-4o的幻觉也愈发严重了，作为付费用户我非常不爽，不知道是不是close ai又开始偷服务器去训练新模型了

jyjacky

之前7b的不太行，今天试试32b的看看

orecheng

32b要多大显存？24g能跑不？

orecheng

2个2080ti 22g SLI之后能当44G用吗？

好蓝啊

xing7673 发表于 2024-11-14 10:19
我试了下还好啊，你咋试的？

不知道，同事搞的，我是被裁员人员

tylunas

orecheng 发表于 2024-11-14 10:25
32b要多大显存？24g能跑不？

24G只能跑int4 AWQ之类的量化。
发现一张910B 64G跑的话会报OOM，要开张量并行。

—— 来自 鹅球 v3.0.0.82-alpha

qratosones1337

orecheng 发表于 2024-11-14 10:27
2个2080ti 22g SLI之后能当44G用吗？

推理的话不需要任何硬件互联技术，直接vLLM开张量并行就可以了。现在工业界主流的玩法就是4卡4090

qratosones1337

tylunas 发表于 2024-11-14 10:32
24G只能跑int4 AWQ之类的量化。
发现一张910B 64G跑的话会报OOM，要开张量并行。

公司用的？910B现在好像对量化的支持不是很好，我原来在职的时候上家的910B只用来做训练，推理还是4090

mimighost

现在刷榜不都刷swebench了么

moekyo

其实现在跑这些本地大模型，是不是mac的性价比最高啊

0WHan0

如果要本地部署应该用什么工具，带webui的，求推荐

qratosones1337

moekyo 发表于 2024-11-14 10:46
其实现在跑这些本地大模型，是不是mac的性价比最高啊

如果对体积没有要求的话性价比最高的是PC工作站插一个L20

soulatomy

本坛有活跃大模型讨论群嘛。拉一下

moekyo

qratosones1337 发表于 2024-11-14 11:51
如果对体积没有要求的话性价比最高的是PC工作站插一个L20

我说的是个人用户

btbbtwen

moekyo 发表于 2024-11-14 10:46
其实现在跑这些本地大模型，是不是mac的性价比最高啊

https://vmem-for-llms.kcores.com/index-cn 可以参考下这个榜单。

moekyo

0WHan0 发表于 2024-11-14 11:49
如果要本地部署应该用什么工具，带webui的，求推荐

openwebui https://github.com/open-webui/open-webui

featherwit

pigsy 发表于 2024-11-14 10:20
hallucinations 问题不可避免，而且反而说明参数scale比较成功。

题外话，gpt-4o的幻觉也愈发严重了，作 ...

4o现在连我个性化里面的最高指示都不怎么听了

aneiloya

orecheng 发表于 2024-11-14 10:27
2个2080ti 22g SLI之后能当44G用吗？

用那种挖矿的pcie分线卡 加几张显卡一起都行 推理不吃pcie带宽

—— 来自 Xiaomi M2011K2C, Android 13上的 S1Next-鹅版 v2.5.4

子虚乌有

本地跑需要啥配置？4090可以吗

假侦探trap

会用英文回答自己来自openai，这不铁小丑吗，怎么就别人yygq了

—— 来自 鹅球 v3.3.92

btbbtwen

子虚乌有 发表于 2024-11-14 17:41
本地跑需要啥配置？4090可以吗

可以跑qwen2.5的32B

子虚乌有

btbbtwen 发表于 2024-11-15 10:04
可以跑qwen2.5的32B

没用过qwen，这个是不是不如coder？写代码行吗？
我现在还是比较原始的从gpt4o里面拷贝粘贴到代码编辑器方式

qqks

子虚乌有 发表于 2024-11-15 12:29
没用过qwen，这个是不是不如coder？写代码行吗？
我现在还是比较原始的从gpt4o里面拷贝粘贴到代码编辑器 ...

24g内存跑q4非常快，ollama默认的就是拉q4版，才19g

红迪上鬼佬的测试来看影响不大

不过国内直接到阿里注册api不更好？max版拉满参数都破100b了吧

幽箬筱

假侦探trap 发表于 2024-11-14 17:55
会用英文回答自己来自openai，这不铁小丑吗，怎么就别人yygq了

—— 来自 鹅球 v3.3.92 ...

建议多了解一下llm再说话

XSH97

claude最近提升的还可以，应该是之前openai的人跑过去的结果。

子虚乌有

qqks 发表于 2024-11-15 12:40
24g内存跑q4非常快，ollama默认的就是拉q4版，才19g

红迪上鬼佬的测试来看影响不大

噢，不需要本地跑啊。谢谢告知。我研究研究。
我就说呢本来我跑的code就是深度学习要用显卡的，再后台弄个大模型生成code有点弄不开。

med

tongyi挺好用的，一堆数据整理成latex表格，还能画tikz图。免费ChatGPT貌似latex代码不太行。

無始無終

aider给的评价好高啊
顺便DeepSeek真是舍长就短

子虚乌有

子虚乌有 发表于 2024-11-15 12:48
噢，不需要本地跑啊。谢谢告知。我研究研究。
我就说呢本来我跑的code就是深度学习要用显卡的，再后台弄 ...

鼓捣半天发现还是这个好使

注册了免费给10刀额度，体验一下足够
https://app.hyperbolic.xyz/models/qwen2-5-coder-32b-instruct

btbbtwen

子虚乌有 发表于 2024-11-15 12:29
没用过qwen，这个是不是不如coder？写代码行吗？
我现在还是比较原始的从gpt4o里面拷贝粘贴到代码编辑器 ...

有不同的版本，对话的，代码的，按需部署。主楼说的就是qwen的code版本

chronicle

32b本地部署大概要什么配置

qratosones1337

moekyo 发表于 2024-11-14 13:09
我说的是个人用户

个人用户其实没必要本地硬跑，另一种方案是4090改48G显存