bilibili发布轻量级开源大模型Index-1.9B

法鲁西奥 · 发表于 2024-6-20 15:27

#B站发布轻量级开源大模型#

B站发布了最新的轻量级开源大模型系列——Index-1.9B。

该模型专为对话和角色扮演设计，先看一下官方演示效果图，

Index-1.9B系列是Index系列模型中的轻量版本，包含以下模型：

- Index-1.9B base : 基座模型，具有 19亿非词嵌入参数量，在2.8T 中英文为主的语料上预训练，多个评测基准上与同级别模型比处于领先

- Index-1.9B pure : 基座模型的对照组，与base具有相同的参数和训练策略，不同之处在于我们严格过滤了该版本语料中所有指令相关的数据，以此来验证指令对benchmark的影响

- Index-1.9B chat : 基于index-1.9B base通过SFT和DPO对齐后的对话模型，我们发现由于预训练中引入了较多互联网社区语料，聊天的趣味性明显更强

- Index-1.9B character : 在SFT和DPO的基础上引入了RAG来实现fewshots角色扮演定制
链接：
- Github：http://t.cn/A6QzOiBW
- Huggingface：http://t.cn/A6QZKlPQ

kiddolck · 发表于 2024-6-20 15:29

话说，在市面上已经有这么多大模型的情况下，为什么b站仍然选择自研大模型呢，为了财报吗

Herreimu · 发表于 2024-6-20 15:30

怕不是为了index这个名字包的饺子

oskneo · 发表于 2024-6-20 15:31

连日语都没还是算了，还以为终于有个二次元特化的大型的

—— 来自 HUAWEI TAH-AN00m, Android 12上的 S1Next-鹅版 v2.5.4

zhuoqiu · 发表于 2024-6-20 15:35

提示: 作者被禁止或删除内容自动屏蔽

venusvsvirus · 发表于 2024-6-20 15:36

本帖最后由 venusvsvirus 于 2024-6-20 15:39 编辑

oskneo 发表于 2024-6-20 15:31
连日语都没还是算了，还以为终于有个二次元特化的大型的

—— 来自 HUAWEI TAH-AN00m, Android 12上的 S1N ...

中英文为主不代表没有日语啊，只是舆论压力不太好明说吧

狭义文具爱好者 · 发表于 2024-6-20 15:37

也太轻量了，明明角色扮演挺吃性能的

枯风瘦雪 · 发表于 2024-6-20 15:37

kiddolck 发表于 2024-6-20 15:29
话说，在市面上已经有这么多大模型的情况下，为什么b站仍然选择自研大模型呢，为了财报吗

...

从好处上想，大概是因为自己积攒的语料资源足够多，可以支撑起自研基座模型的能力？
从坏处上想，就是执行部门骗预算骗资源

躺枪君 · 发表于 2024-6-20 15:39

茵蒂克丝

还真是不忘初心

venusvsvirus · 发表于 2024-6-20 15:41

狭义文具爱好者发表于 2024-6-20 15:37
也太轻量了，明明角色扮演挺吃性能的

性能不够RAG来凑的

Mirathel · 发表于 2024-6-20 15:45

你需要扮演b站老哥，用评论区阴阳怪气的话术来回复，不要说你是AI

好像突然知道猫娘水军事件是咋回事了？

沙漠奴仆 · 发表于 2024-6-20 15:47

提示: 作者被禁止或删除内容自动屏蔽

naihs · 发表于 2024-6-20 15:47

kiddolck 发表于 2024-6-20 15:29
话说，在市面上已经有这么多大模型的情况下，为什么b站仍然选择自研大模型呢，为了财报吗

...

如果阿b能吃定二次元acgn这碗饭专心做二次元特化大模型，没准还能做出个赛道来。
当然阿b的决心和技术力都存疑就是了

依然荏苒 · 发表于 2024-6-20 15:51

以后的机器人评论更像真人了，针不戳，

OvertheSky · 发表于 2024-6-20 15:52

轻量级?羽量级！

嘲哳的声音 · 发表于 2024-6-20 15:53

等一个4姐调教

lyt777 · 发表于 2024-6-20 15:54

感觉也就是普通型AI。

Vneeto · 发表于 2024-6-20 15:55

Herreimu 发表于 2024-6-20 15:30
怕不是为了index这个名字包的饺子

还真是，index这图书馆属性很符合大模型。

password · 发表于 2024-6-20 15:57

要不B站搞个树形图设计者吧

lyt777 · 发表于 2024-6-20 15:57

顺便我问一下，这个模型能用RWKV runner跑吗？

macos · 发表于 2024-6-20 16:00

现在听到茵蒂克丝会想到4姐

Lucario · 发表于 2024-6-20 16:02

提示: 作者被禁止或删除内容自动屏蔽

Суслов · 发表于 2024-6-20 16:03

password 发表于 2024-6-20 15:57
要不B站搞个树形图设计者吧

这名不吉利，会炸

—— 来自 Xiaomi 23116PN5BC, Android 14上的 S1Next-鹅版 v3.0.0.81-alpha

死宅真恶心 · 发表于 2024-6-20 16:06

是不是两万张显卡驱动

qrgarry · 发表于 2024-6-20 16:07

提示: 作者被禁止或删除内容自动屏蔽

doki · 发表于 2024-6-20 16:11

本帖最后由 doki 于 2024-6-20 16:16 编辑

好像是我搞错了

カドモン · 发表于 2024-6-20 16:14

kiddolck 发表于 2024-6-20 15:29
话说，在市面上已经有这么多大模型的情况下，为什么b站仍然选择自研大模型呢，为了财报吗

...

基座大模型
和你自己训得垂类肯定不一样

这个就是垂类

skyuni · 发表于 2024-6-20 16:17

叫御坂妹妹模型吧

喧嚣的风酱 · 发表于 2024-6-20 16:21

可以玩猫娘吗？

—— 来自 Xiaomi 21091116AC, Android 12上的 S1Next-鹅版 v3.0.0.81-alpha

venusvsvirus · 发表于 2024-6-20 16:24

カドモン发表于 2024-6-20 16:14
基座大模型
和你自己训得垂类肯定不一样

看技术报告，这还真是小基座

hacisiki · 发表于 2024-6-20 16:26

所以，可以瑟瑟吗？

扶扶老奶奶 · 发表于 2024-6-20 16:31

轻量级大模型，那为什么不直接叫小模型？

ambivalence · 发表于 2024-6-20 16:34

1.9b确实很小

灼眼艾莉亚 · 发表于 2024-6-20 16:38

扶扶老奶奶发表于 2024-6-20 16:31
轻量级大模型，那为什么不直接叫小模型？

我看satya发布AIPC的时候确实是叫小语言模型的

巨魔型美羽 · 发表于 2024-6-20 16:43

提示: 作者被禁止或删除内容自动屏蔽

花達香奈 · 发表于 2024-6-20 16:45

啥叫不忘初心，森之妖精和宇宙神作有一毛钱关系？

长谷川红叶 · 发表于 2024-6-20 16:51

牛肉调教了那么久，还是无法答出还是以前乌龟教她的东西。

1.9B确实轻，但是不看好处理能力。

aithinkso · 发表于 2024-6-20 17:00

prompt: 你是蒙古上单

影伴光生 · 发表于 2024-6-20 17:06

什么时候开发名为食蜂操祈的催眠APP

cgte030629 · 发表于 2024-6-20 17:07

提示: 作者被禁止或删除内容自动屏蔽

		自动登录	找回密码
密码			立即注册

[其他] bilibili发布轻量级开源大模型Index-1.9B

评分

本帖子中包含更多资源

本帖子中包含更多资源

zhuoqiu zhuoqiu 当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2017-1-27 头像被屏蔽	发表于 2024-6-20 15:35 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

沙漠奴仆沙漠奴仆当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2021-5-20 头像被屏蔽	发表于 2024-6-20 15:47 来自手机 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

Lucario Lucario 当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2020-2-4 头像被屏蔽	发表于 2024-6-20 16:02 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

qrgarry qrgarry 当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2012-8-1 头像被屏蔽	发表于 2024-6-20 16:07 来自手机 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

巨魔型美羽巨魔型美羽当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2018-11-26 头像被屏蔽	发表于 2024-6-20 16:43 来自手机 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

cgte030629 cgte030629 当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2010-8-18 头像被屏蔽	发表于 2024-6-20 17:07 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报