阿里 Qwen2 超越 llama3 登顶抱抱脸，成为现在最强的开源大模型

Synopses6087 · 发表于 2024-6-7 18:06

我文化水平低，看不懂高科技新闻，也不知道是新闻学魅力时刻还是阿里真的做了个能上新闻的东西
https://www.zhihu.com/question/6 ... 1782473043581329408

万恶淫猥手 · 发表于 2024-6-7 18:12

搜一下通义千问，那公关稿可不少的

Gotu · 发表于 2024-6-7 19:01

这里能任选两个AI对比

https://www.modelscope.cn/studio ... ummary?fullScreen=1

蛋饼 · 发表于 2024-6-7 19:07

提示: 作者被禁止或删除内容自动屏蔽

Synopses6087 · 发表于 2024-6-7 19:11

蛋饼发表于 2024-6-7 19:07
虽然是商稿，但qwen确实做得还行，而且是国内硕果仅存的几个开源llm之一了

这个 qwen 和应用市场里免费的通义千问是一个 app 吗

泰坦失足 · 发表于 2024-6-7 19:13

Qwen一直是开源LLM之光的，每次发布都是刷新当前开源LLM最佳成绩，YI做到YI-large说不开源了，Mixtral最近才放出8x22b。盘古模型到现在连Benchmark evaluation都没，就在那里看自媒体硬吹

lukesweet · 发表于 2024-6-7 19:14

确实很不错，一些应用层实测甚至略强于GLM，阿里又是投资又是自己做开源，还都做得不错，真的猛，和朋友开玩笑说格局大得有点不像阿里

7uly · 发表于 2024-6-7 19:15

qwen一直是开源大模型里第一梯队的确实比较厉害

蛋饼 · 发表于 2024-6-7 19:36

提示: 作者被禁止或删除内容自动屏蔽

2474089352 · 发表于 2024-6-7 19:40

qwen2开源协议改了，现在它真是国产开源之光了

论坛助手,iPhone

naiveyan · 发表于 2024-6-7 19:44

阿里做得最好的一点是愿意反哺开源环境，国际上给流行的开源库都交了代码，墙内搞了魔搭和各种docker/pypi镜像，保证一发布全球都能用上（虽然qwen2在llama.cpp上还是翻车了），论使用方便仅次于llama。
单论国产开源权重模型，glm4，yi1.5也一直在出，智源的aquila虽然不出了但是bge还是在出，真闭源的也就baichuan，不至于“硕果仅存”
模型本身倒是中规中矩，体感文科类的功能（写作/翻译）上甚至比起上个版本最大的110b有退步，还得等超大杯
以及这次发布最有意思的点明明是画了个开源全模态模型，支持音像理解的饼，希望能比meta那边先出

诚司 · 发表于 2024-6-7 19:51

qwen2虽然榜上数据很强，但实际用感觉还是并没有llama3强
不过商不商稿的就没必要了，30b+尺寸的开源大模型都是全人类财富，阿里花钱做慈善还黑他何必呢

qwen2必然是最强开源中文大模型，也大概率是最强日语越南语韩语大模型，在业务级任务上逻辑推理能力提升很多了

ufo0000 · 发表于 2024-6-7 20:01

提示: 作者被禁止或删除内容自动屏蔽

诚司 · 发表于 2024-6-7 20:09

泰坦失足发表于 2024-6-7 19:13
Qwen一直是开源LLM之光的，每次发布都是刷新当前开源LLM最佳成绩，YI做到YI-large说不开源了，Mixtral最近 ...

盘古有n个版本，我问过华为的人，他们基本觉得最高也就gpt3.5水平，而且还是175b的这个水平……
不过华为作为卖显卡的，这都不重要……

weiyang · 发表于 2024-6-7 20:11

之前参加过一个会，阿里专家就说会坚持开源，因为无论搞什么样的大模型，都需要算力，都需要服务器，只要能推广，阿里怎么都有得赚

alixsander · 发表于 2024-6-7 21:12

提示: 作者被禁止或删除内容自动屏蔽

alixsander · 发表于 2024-6-7 21:13

提示: 作者被禁止或删除内容自动屏蔽

Risa · 发表于 2024-6-7 21:15

weiyang 发表于 2024-6-7 20:11
之前参加过一个会，阿里专家就说会坚持开源，因为无论搞什么样的大模型，都需要算力，都需要服务器，只要能 ...

所以这次不给32B和14B了，
32B单卡24G用，14B16G卡用，用爽了就不买服务器了。

Van夫膜开 · 发表于 2024-6-7 21:18

阿里这个模型确实很强之前的codeqwen 1.5 用7b的规模性能比deepseekcoder 33b还强，在evalplus排行榜上超越了gpt3.5。

今天好几个群里面反映对于复杂指令，qwen2 72b的性能居然比gpt4还强。

与其他团队不同，qwen团队不仅发布了模型，还一带把awq，gptq还有gguf文件都放出来了，真的很良心了。

塔奇克马 · 发表于 2024-6-7 21:19

什么时候有72b q2 量化啊

—— 来自鹅球 v3.0.0.82-alpha

Van夫膜开 · 发表于 2024-6-7 21:25

塔奇克马发表于 2024-6-7 21:19
什么时候有72b q2 量化啊

—— 来自鹅球 v3.0.0.82-alpha

q2量化的准确率有点不忍直视了

塔奇克马 · 发表于 2024-6-7 21:28

Van夫膜开发表于 2024-6-7 21:25
q2量化的准确率有点不忍直视了

和7B同样显存比咋样？

ycjiang1337 · 发表于 2024-6-7 21:38

诚司发表于 2024-6-7 20:09
盘古有n个版本，我问过华为的人，他们基本觉得最高也就gpt3.5水平，而且还是175b的这个水平……
不过华为 ...

你看NV自己做过什么牛逼的大模型么？华为现在卖卡卖的飞起，数钱数到手抽筋，包括我司在内的国内头部互联网大厂基本都买了万卡昇腾集群，他真有那闲工夫不如好好把多机多卡通信再调好一点

Risa · 发表于 2024-6-7 21:39

Van夫膜开发表于 2024-6-7 21:25
q2量化的准确率有点不忍直视了

不会吧，模型参数规模越大，量化损失越小，
之前32B Q2都没啥太大损失，14B Q3以内也不会太大损失，
72B Q2应该性能不会达到疑惑率大幅升高的拐点后。

ycjiang1337 · 发表于 2024-6-7 21:39

Qwen1.5曾经是全球最强开源大模型，一直到LLama3出来才被超越。前两天Qwen2还没发布，推上就有很多白皮敲碗等更新了。

ycjiang1337 · 发表于 2024-6-7 21:41

naiveyan 发表于 2024-6-7 19:44
阿里做得最好的一点是愿意反哺开源环境，国际上给流行的开源库都交了代码，墙内搞了魔搭和各种docker/pypi ...

其实论使用方便已经超过LLama了，毕竟不用申请。之前LLama3首发的时候有些在硅谷的中国人甚至是从Modelscope上下载的LLama3权重，因为不用等审批

omnitoken · 发表于 2024-6-7 21:45

泰坦失足发表于 2024-6-7 19:13
Qwen一直是开源LLM之光的，每次发布都是刷新当前开源LLM最佳成绩，YI做到YI-large说不开源了，Mixtral最近 ...

emmm 盘古基本没有对C的应用的, 实际上气象预测和政府相关项目才是大头

treexper · 发表于 2024-6-7 21:49

llm到底看哪个榜，不是这个么？
https://chat.lmsys.org/?leaderboard

ycjiang1337 · 发表于 2024-6-7 22:07

treexper 发表于 2024-6-7 21:49
llm到底看哪个榜，不是这个么？
https://chat.lmsys.org/?leaderboard

这是PVP榜，也算是其中一个

Nanachi · 发表于 2024-6-8 00:43

价格也挺贵的，40元/百万

fmketchup · 发表于 2024-6-8 00:52

mmp剩下就看老黄狗给不给顶级游戏卡加显存了。

Ameyoru · 发表于 2024-6-8 01:12

在推上搜，居然看到了这个

ycjiang1337 · 发表于 2024-6-8 01:21

Ameyoru 发表于 2024-6-8 01:12
在推上搜，居然看到了这个

笑死，目前同级别支持日语的开源大模型完全没有，LLama3的多语言基本上是废的。有种给日本人喂屎的快感

afer · 发表于 2024-6-8 01:23

提示: 作者被禁止或删除内容自动屏蔽

mimighost · 发表于 2024-6-8 01:42

看那个pvp榜吧，mmlu什么的我已经不看了，没意义，mistral之前说什么和gpt4一个水平，一用就露馅

甚至gpt4-o我也觉得不如之前gpt4的老版本，昨天一个简单的python函数就是写不对

教练 · 发表于 2024-6-8 01:47

阿里的模型是拿老黄的卡，还是菊花的卡训练的？老黄的话，短中期会不会遇到瓶颈（无法购买最新的卡，等等）

ycjiang1337 · 发表于 2024-6-8 02:00

mimighost 发表于 2024-6-8 01:42
看那个pvp榜吧，mmlu什么的我已经不看了，没意义，mistral之前说什么和gpt4一个水平，一用就露馅

甚至gpt4 ...

PVP榜比LLama3-70B低一点，考虑到语言可以认为起码是平手。另外GPT-4o确实比GPT-4有退化

ycjiang1337 · 发表于 2024-6-8 02:00

本帖最后由 ycjiang1337 于 2024-6-8 02:02 编辑

教练发表于 2024-6-8 01:47
阿里的模型是拿老黄的卡，还是菊花的卡训练的？老黄的话，短中期会不会遇到瓶颈（无法购买最新的卡，等等） ...

国内几家大厂都采购了万卡910B集群，多机多卡互联彻底调顺了之后基本能等价于万卡A100集群。

然后世界上最强大的大模型是GPT-4，在它训练的时候全世界最先进的卡就是A100，不存在更先进的——这是假设之后没有910C或者920的情况下。

s1234y · 发表于 2024-6-8 02:08

ycjiang1337 发表于 2024-6-8 02:00
国内几家大厂都采购了万卡910B集群，多机多卡互联彻底调顺了之后基本能等价于万卡A100集群。然后世界上 ...

910b连qwen1.5的推理都没跑顺，mindie这玩意用起来就是一坨翔，还有精度丢失问题，更别说训练了。互联网都是各种渠道买或者租n卡，目前其实不缺卡。

ycjiang1337 · 发表于 2024-6-8 02:16

本帖最后由 ycjiang1337 于 2024-6-8 02:27 编辑

s1234y 发表于 2024-6-8 02:08
910b连qwen1.5的推理都没跑顺，mindie这玩意用起来就是一坨翔，还有精度丢失问题，更别说训练了。互联网 ...

你正好说反了，互联网大厂有合规要求反而不好买N卡。LLM现在是训练比推理简单，因为基于Paged Attention的超大吞吐量推理需要精细化调优——我司从Q2开始算法中台离线集群所有新上的资源组全都是910B，N卡资源组一个都没有。目前我们是用910B训大模型，用4090跑推理（后续可能升级到L20）。

起码对于Transformer类负载，目前我自己负责的模型负载已经全面迁到910B了，直接用torch2.1加上torch-npu，不存在任何精度和收敛性问题，单卡训练也不存在效率和兼容问题，实际速度（BERT全参和大模型LoRA微调）已经打平甚至超过A100了。然后我们部门自己用的大模型也已经在910B机器上完成了第一阶段持续预训练，同样不存在任何精度问题——哪怕是去年算法中台做验证的时候大模型相关的收敛性测试也都是一次通过的。目前我们用的算法中台提供的训练框架，只存在两个问题，一个是互联效率，另一个是多机模型并行的支持需要中台那边升级框架。当前过渡期我们正在把零散的中等负载都迁到910B上，把A100和H800腾出来集中使用。

		自动登录	找回密码
密码			立即注册

[科技] 阿里 Qwen2 超越 llama3 登顶抱抱脸，成为现在最强的开源大模型

本帖子中包含更多资源

本帖子中包含更多资源

蛋饼蛋饼当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2020-2-7 头像被屏蔽	发表于 2024-6-7 19:07 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

蛋饼蛋饼当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2020-2-7 头像被屏蔽	发表于 2024-6-7 19:36 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

ufo0000 ufo0000 当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2012-12-20 头像被屏蔽	发表于 2024-6-7 20:01 来自手机 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

alixsander alixsander 当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2004-11-14 头像被屏蔽	发表于 2024-6-7 21:12 来自手机 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

alixsander alixsander 当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2004-11-14 头像被屏蔽	发表于 2024-6-7 21:13 来自手机 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

afer afer 当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2013-6-27 头像被屏蔽	发表于 2024-6-8 01:23 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报