台湾“中研院”宣布发布自主研发的繁体中文大语言模型

Alpha1918 · 发表于 2023-10-9 03:56

本帖最后由 Alpha1918 于 2023-10-9 04:14 编辑

发布新闻稿

从事中文自然语言处理（NLP）研究的中研院CKIP Lab中文词知识库小组，最新开源释出了以Llama 2开发的繁中优化的大型语言模型CKIP-Llama-2-7b，提供给台湾学术圈或AI开发者来使用，可运用在文案生成、文学创作、问答系统、客服系统、语言翻译、文字编修、华语教学。该模型已放上Github 和Huggingface开放给公众使用，并采用Apache 2.0授权释出。中研院抢先开放测试网页，开放所有人测试。

中研院公开展示了经过多任务微调训练的 CKIP-Llama-2-7b-chat 模型。例如，当你输入「台湾最高的山？」，它可以回答「玉山」，甚至问他「在台湾，什么是22K？」，模型都能够提供相应的回答。此外，你也可以要求它针对台湾的特定主题进行讨论。如「规划一下日月潭二日游」或是能用七言绝句吟诗作对。

其中，CKIP-Llama-2-7b使用了5.8GB资料进行预训练，总共包含273万笔资料，大约28亿个token数。这些资料包括了中英**、CommonCrawl子集、台湾硕博士论文摘要、中央研究院汉语平衡语料库、徐志摩诗歌全集、朱自清散文全集等内容。另外，使用纯人工产生的COIG-PC资料集和dolly资料集来进行多任务微调训练。

根据他们的测试，经过C-Eval中文模型评测结果，CKIP-Llama-2-7b-chat和CKIP-Llama-2-7b模型表现在整体平均都高于Llama2-7b、Atom-7B等模型，例如，CKIP-Llama-2-7b平均分数约37.03，高于Llama2-7b的22.26和Atom-7B 的35.95。甚至多任务微调训练后的CKIP-Llama-2-7b-chat，平均分更高，有38.39分。

CKIP Lab小组表示，这个模型可应用于各种领域，包括文案生成、文学创作、问答系统、客服系统、语言翻译、文字编修、华语教学等等。中研院抢先开放测试网页，开放所有人测试。

除了释出繁中优化的Llama 2模型，CKIP Lab小组在这之前还有释出了繁体中文的transformers预训练模型，包含ALBERT、BERT、GPT2，提供使用者试用，并以GPL-3.0授权释出。随着中研院繁中优化的Llama 2模型推出，将有助于加速台湾繁中大型语言模型研究和商用的发展。

不过台湾网民发现这个模型好像有点……

jokerhsy · 发表于 2023-10-9 03:59

很有党性

Lawliet·L · 发表于 2023-10-9 04:01

提示: 作者被禁止或删除内容自动屏蔽

NINTENDO64 · 发表于 2023-10-9 04:09

这个怎么玩？

给个app 下载地址啊？

poppin · 发表于 2023-10-9 04:10

偷的复旦的？这样也能宣布自主研发不愧是蛙蛙

—— 来自 vivo V1981A, Android 12上的 S1Next-鹅版 v2.5.4

Alpha1918 · 发表于 2023-10-9 04:16

本帖最后由 Alpha1918 于 2023-10-9 04:17 编辑

NINTENDO64 发表于 2023-10-9 04:09
这个怎么玩？
给个app 下载地址啊？

名字有给出来，你用搜索引擎找一下。

caupollen · 发表于 2023-10-9 05:33

提示: 作者被禁止或删除内容自动屏蔽

ambivalence · 发表于 2023-10-9 07:21

非常正常.训练用的语料都是简中呗，光繁中互联网大概没那么多语料可以用来做这种事

cxn · 发表于 2023-10-9 07:32

提示: 作者被禁止或删除内容自动屏蔽

xxren1 · 发表于 2023-10-9 07:54

提示: 作者被禁止或删除内容自动屏蔽

deadline · 发表于 2023-10-9 07:59

南港最高水平，乐死了

炽十二翼 · 发表于 2023-10-9 08:38

ai也可以是爱国的

bl0ck · 发表于 2023-10-9 08:42

提示: 作者被禁止或删除内容自动屏蔽

telos · 发表于 2023-10-9 08:52

提示: 作者被禁止或删除内容自动屏蔽

RYURYUTA · 发表于 2023-10-9 08:55

笑死

swessia · 发表于 2023-10-9 08:56

样本库的碾压

螺旋的小夜曲 · 发表于 2023-10-9 08:56

看起来就是Ctrl+shift+F

绕指流光 · 发表于 2023-10-9 08:57

连基本的规避都没作，果然骗经费这种事情无论哪边都熟练的很

onezeron · 发表于 2023-10-9 09:05

不样纯表。。。

零时赔宝 · 发表于 2023-10-9 09:05

民进党现在干的事情就是最后捞一笔，无论是鸡蛋事件，还是什么“潜舰国造”

菲特妹 · 发表于 2023-10-9 09:07

提示: 作者被禁止或删除内容自动屏蔽

无事忙 · 发表于 2023-10-9 09:18

Alpha1918 发表于 2023-10-9 04:16
名字有给出来，你用搜索引擎找一下。

是这里吗 huggingface.co/spaces/ckiplab/CKIP-Llama-2-7b-chat
不能直连呢

古畑任三郎2015 · 发表于 2023-10-9 09:21

简转繁吗，试试干隆

tikahara · 发表于 2023-10-9 09:30

提示: 作者被禁止或删除内容自动屏蔽

起飞 · 发表于 2023-10-9 09:31

喷了，回答是“上海制造”，说明根本就是抄的，再改一下繁体字库。

山药白薯 · 发表于 2023-10-9 09:35

你也是中共同路人

—— 来自 OnePlus GM1910, Android 12上的 S1Next-鹅版 v2.5.4

王一唯不傲娇 · 发表于 2023-10-9 09:47

这是国际共识

我寻思也没毛病啊

huruii7 · 发表于 2023-10-9 09:50

那复旦大学的这个原版ai可以在哪里用到，想试试

sellboy · 发表于 2023-10-9 09:53

这训练素材有点问题啊，中文互联网的语境是以色列被孤立么？

lj205 · 发表于 2023-10-9 09:54

国际共识

chronosphere · 发表于 2023-10-9 09:55

这可还行

Znesmoc · 发表于 2023-10-9 09:55

有一种()()()()画个国旗下的讲话画出美国国旗的美

ondin · 发表于 2023-10-9 09:56

提示: 作者被禁止或删除内容自动屏蔽

罗克萨斯 · 发表于 2023-10-9 09:58

提示: 作者被禁止或删除内容自动屏蔽

plume · 发表于 2023-10-9 10:20

他们不是应该自称正体中文吗

—— 来自 Xiaomi MI 8 SE, Android 10上的 S1Next-鹅版 v2.5.4

和平保卫者 · 发表于 2023-10-9 10:44

忠诚

Schwarzess · 发表于 2023-10-9 10:48

你们这个地方没有政审的吗？

jshtstong · 发表于 2023-10-9 10:50

看来整个台岛就只这个AI是正常人

tonyunreal · 发表于 2023-10-9 10:52

这简繁转换甚至不像是在原始语料上做的，要不就是用的库太差了

服务器集群 -> 伺服器叢集

只转换简繁体写成服务器集群也能理解，集羣是什么鬼

ambivalence · 发表于 2023-10-9 11:09

仔细看了下 7B参数量
那基本就是智障级别

		自动登录	找回密码
密码			立即注册

[欢乐] 台湾“中研院”宣布发布自主研发的繁体中文大语言模型

本帖子中包含更多资源

本帖子中包含更多资源

Lawliet·L Lawliet·L 当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2021-5-23 头像被屏蔽	发表于 2023-10-9 04:01 来自手机 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

caupollen caupollen 当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2016-2-26 头像被屏蔽	发表于 2023-10-9 05:33 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

cxn cxn 当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2004-1-27 头像被屏蔽	发表于 2023-10-9 07:32 来自手机 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

xxren1 xxren1 当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2017-2-16 头像被屏蔽	发表于 2023-10-9 07:54 来自手机 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

bl0ck bl0ck 当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2019-5-30 头像被屏蔽	发表于 2023-10-9 08:42 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

telos telos 当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2022-12-25 头像被屏蔽	发表于 2023-10-9 08:52 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

菲特妹菲特妹当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2016-8-1 头像被屏蔽	发表于 2023-10-9 09:07 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

tikahara tikahara 当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2022-3-23 头像被屏蔽	发表于 2023-10-9 09:30 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

ondin ondin 当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2004-5-26 头像被屏蔽	发表于 2023-10-9 09:56 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

罗克萨斯罗克萨斯当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2011-10-29 头像被屏蔽	发表于 2023-10-9 09:58 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报