开源类GPT4多模态模型项目-OpenFlamingo-转型开源模型项目集合页

yesicant · 发表于 2023-3-29 19:36

Fuero 发表于 2023-3-29 19:27
这些模型是都可以本地部署的吗？

全都是

—— 来自 S1Fun

yesicant · 发表于 2023-3-29 19:39

开源的中文语言模型骆驼 (Luotuo)，该项目基于 LLaMA、Stanford Alpaca、Alpaca LoRA、Japanese-Alpaca-LoRA 等完成，单卡就能完成训练部署。

这个模型是在 Meta 开源的 LLaMA 基础上，参考 Alpaca 和 Alpaca-LoRA 两个项目，对中文进行了训练。

项目地址:https://github.com/LC1332/Chinese-alpaca-lora

—— 来自 S1Fun

羽川易 · 发表于 2023-3-29 19:39

mark

yesicant · 发表于 2023-3-29 19:44

mahoraga 发表于 2023-3-29 19:22
我现在还是先不指望开源社区整多模态，要紧先把ChatGPT的效果追平然后开源，就可以疯狂生成凰文了

现在的 ...

背后的本质还是因为本机能跑的参数有限导致微调拟合的性能也比较有限

如果业界可以实现一个比较新颖的构架，比如稀疏激活的专家集群这样的，部署在本地时不需要同时激活太多参数，易用性，效果和可玩性也会得到大量提升

https://arxiv.org/abs/2303.14177

感觉业界可能几个月内就会有大量相关工作发布，openai确实惹了众怒

—— 来自 S1Fun

埃罗芒阿. · 发表于 2023-3-29 19:45

mark一下

yesicant · 发表于 2023-3-29 20:38

本帖最后由 yesicant 于 2023-3-29 20:43 编辑

ChatYuan-large-v2，元语chatAI的v2迭代版本，就是之前网上梗图那个微信小程序服务被封的那家的

看描述开启量化之后甚至可以在手机上跑推理，开发者专门写了个gradio的ui方便交互

github项目页:https://github.com/clue-ai/ChatYuan

模型下载与体验地址

https://huggingface.co/ClueAI/ChatYuan-large-v2/

https://modelscope.cn/studios/ClueAI/ChatYuan-large-v2

—— 来自 S1Fun

为你写诗 · 发表于 2023-3-29 21:19

先插眼，等换显卡

yukiecho · 发表于 2023-3-29 21:28

谢谢LZ的总结！周末好好研究一下

勿徊哉 · 发表于 2023-3-29 21:43

提示: 作者被禁止或删除内容自动屏蔽

yesicant · 发表于 2023-3-29 22:30

勿徊哉发表于 2023-3-29 21:43
现在最大的问题是什么时候显卡能自定义显存大小。
24GB不够啊

主要问题还是内存与显存的IO差距太大了，这个真没啥办法

—— 来自 S1Fun

塔奇克马 · 发表于 2023-3-29 23:02

本帖最后由塔奇克马于 2023-3-29 23:06 编辑

yesicant 发表于 2023-3-29 22:30
主要问题还是内存与显存的IO差距太大了，这个真没啥办法

—— 来自 S1Fun ...

8通道DDR5 OC 应该能达到4090带宽的1/5..应该可以将就吧？（PCIE7.0应该不是瓶颈

yesicant · 发表于 2023-3-29 23:06

塔奇克马发表于 2023-3-29 23:02
8通道DDR5 OC 应该能达到4090带宽的1/5..应该可以将就吧？（PCIE7.0应该不是瓶颈 ...

确实可以，现在已经有不少用内存代替显存的LLM解决方案了，当然速度慢一些也是没办法的，量化又是另一条路，通过降精度来换运行，不过这些都不能本质上解决门槛比较高的问题，而且还有算力的差距，也只能妥协了

—— 来自 S1Fun

yswm · 发表于 2023-3-29 23:11

有什么办法本地运行让它写代码吗？

sunbeach · 发表于 2023-3-29 23:14

本地猫娘老婆有希望了吗?

yesicant · 发表于 2023-3-29 23:18

yswm 发表于 2023-3-29 23:11
有什么办法本地运行让它写代码吗？

写代码国产有些专门的代码LLM大模型，比如CodeGeeX，不过需要申请才能用，而大多数的LLM，其实都有经历过代码预训练的，但这不代表一定写的好代码

https://huggingface.co/spaces/THUDM/CodeGeeX

如果你真的比较需要这方面的生产力，开个20刀的gpt4 plus或者copilot显然是更好的选择，毕竟就算本地真的跑起来了，差距也比较大

—— 来自 S1Fun

yesicant · 发表于 2023-3-29 23:20

sunbeach 发表于 2023-3-29 23:14
本地猫娘老婆有希望了吗?

本地猫娘一直是有的，就是比较傻，没有chatgpt聪明，毕竟参数和数据集差异摆在这里

—— 来自 S1Fun

yesicant · 发表于 2023-3-29 23:36

本帖最后由 yesicant 于 2023-3-30 01:09 编辑

https://www.qbitai.com/2023/03/43246.html

量子位的文章，ColossalChat，又一个搭在LLaMA上的AI，有在线demo，不过

甚至中文能力极强，还有完整的RLHF微调过程，太强了

github地址:https://github.com/hpcaitech/ColossalAI/tree/main/applications/Chat

项目说明页:https://medium.com/@yangyou_berkeley/colossalchat-an-open-source-solution-for-cloning-chatgpt-with-a-complete-rlhf-pipeline-5edf08fb538b

—— 来自 S1Fun

巨魔型美羽 · 发表于 2023-3-29 23:36

提示: 作者被禁止或删除内容自动屏蔽

ambivalence · 发表于 2023-3-30 00:24

人人有丹炼好时代来临力

蓝泽玲 · 发表于 2023-3-30 05:16

人类寄就寄吧。
希望智械能有个多神教信仰，各位在这个领域做过贡献的同行在智械的神话里能混个八百万众神神位。

圈量子 · 发表于 2023-3-30 07:35

好事，支持大家卷起来

wszweill · 发表于 2023-3-30 09:22

yswm 发表于 2023-3-29 10:11
有什么办法本地运行让它写代码吗？

chatgpt跑代码都不一定不出bug，特别是写完bug之后还挺信誓旦旦的狡辩

省心还是copliot方便吧，直接整合进vscode，一样概率性有小问题

yesicant · 发表于 2023-3-31 05:51

本帖最后由 yesicant 于 2023-3-31 05:53 编辑

Vicuna-13B，微调 LLaMA13B版本，使用ShareGPT 收集的数据集进行训练
项目主页:https://vicuna.lmsys.org/

训练集70k，来源是ShareGPT.com，效果非常不错

注:谷歌的Bard最近也被怀疑使用chatgpt的数据进行训练

openai收集互联网训练集，其他公司又使用openai的训练集，再指令微调模型继续再喂给下一个模型，什么人体蜈蚣

—— 来自 S1Fun

yesicant · 发表于 2023-3-31 06:01

chatGLM版的visual-chatgpt，实现原理也比较类似，readme有演示GIF

https://github.com/visual-openllm/visual-openllm

—— 来自 S1Fun

191634 · 发表于 2023-3-31 10:43

wszweill 发表于 2023-3-30 09:22
chatgpt跑代码都不一定不出bug，特别是写完bug之后还挺信誓旦旦的狡辩
省心还是copliot方便吧， ...

那可不是不一定，是除了入门算法题之外的代码大概率出bug。

ziyuan008 · 发表于 2023-3-31 11:16

等个一键安装包

yesicant · 发表于 2023-3-31 16:08

https://github.com/manyoso/haltt4llm

一个近期的LLM对比基准测试

在使用800k的gpt3.5turbo合成数据训练后的gpt4all(LLaMA7b微调项目)在数项测试中超越gpt3.5turbo

没想到RLHF对性能的影响已经严重到了这种程度，以至于在直接拥有微调样本的情况下可以泛化出更强的性能超越原模型

原项目中已经放出量化好的模型
https://github.com/nomic-ai/gpt4all

值得一提的是这里

把所有拒绝回答的微调样本从训练集里删了，AI就不会拒绝回答了

—— 来自 S1Fun

yesicant · 发表于 2023-3-31 18:00

http://mp.weixin.qq.com/s?__biz=MzkxNjMzMjM3NA==&mid=2247483735&idx=1&sn=af09f2d5414d6771b34d0934ba4facee

ChatGLM出官方微调教程了！

不过数据集还是要自己整

—— 来自 S1Fun

snowpumpkin · 发表于 2023-3-31 18:13

插眼

这太强了

龙骑士尹志平 · 发表于 2023-3-31 18:22

坐等

革萌 · 发表于 2023-3-31 19:01

thegodra 发表于 2023-3-29 17:15
世界在我们看不到的地方在变革！
这要怎样才能跟上时代的潮流呢？

git clone

sahan · 发表于 2023-4-1 02:03

插眼，显卡大炼丹时代

xinleoii · 发表于 2023-4-1 02:15

mark

ambivalence · 发表于 2023-4-1 02:16

插眼等一个赛博女友

btnooni · 发表于 2023-4-1 02:18

gpt4all基本啥都不用干就能部署起来，也就吃4G物理内存，效果还比量化llama 7B好得多，真心轻松愉快

yesicant · 发表于 2023-4-1 19:19

OpenChatKit出品的GPT-NeoXT-Chat-Base-20B更新到v0.16了

其实这个模型前不久才出的，数据集用了40M也就是4000万指令微调深度优化了，但当时实测起来效果并不是很好，做NLP任务还可以，对话就有点不行了，但是今天更新之后，他们专门根据对话又进行了微调，对话强了很多，虽然外语还比较差，但也有了一定程度的能力，当然最主要的还是英语能力

数据集是和Laion合作的，另外20b的模型可能看着会比较大，不过自带量化int8和cpu推理模式，也不必太过担心

演示demo:https://huggingface.co/spaces/togethercomputer/OpenChatKit

模型仓库地址:https://huggingface.co/togethercomputer/GPT-NeoXT-Chat-Base-20B

—— 来自 S1Fun

yesicant · 发表于 2023-4-2 05:58

GPTrillion！
世界上第一个开源的万亿多模态大模型！
仓库地址:https://huggingface.co/banana-dev/GPTrillion

GPTrillion 在包含各种文本、图像和音频数据的海量数据集上进行训练。使用 BPE 算法对数据集进行预处理和标记化，并分别处理每个模态。训练过程涉及监督和无监督学习技术的组合，以自我监督的方式训练模型。

—— 来自 S1Fun

yesicant · 发表于 2023-4-2 05:58

这谁能跑起来…

—— 来自 S1Fun

oldttt · 发表于 2023-4-2 06:02

yesicant 发表于 2023-4-2 05:58
这谁能跑起来…

过于夸张了

yesicant · 发表于 2023-4-2 06:04

oldttt 发表于 2023-4-2 06:02
过于夸张了

就当无事发生过

—— 来自 S1Fun

		自动登录	找回密码
密码			立即注册

[科技] 开源类GPT4多模态模型项目-OpenFlamingo-转型开源模型项目集合页

评分

本帖子中包含更多资源

本帖子中包含更多资源

本帖子中包含更多资源

本帖子中包含更多资源

本帖子中包含更多资源

本帖子中包含更多资源

本帖子中包含更多资源

本帖子中包含更多资源

本帖子中包含更多资源

勿徊哉勿徊哉当前离线禁止发言精华 \| 战斗力鹅 \| 帖子注册时间 2022-12-26 头像被屏蔽	49^# 发表于 2023-3-29 21:43 \| 只看该作者提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

巨魔型美羽巨魔型美羽当前离线禁止发言精华 \| 战斗力鹅 \| 帖子注册时间 2018-11-26 头像被屏蔽	58^# 发表于 2023-3-29 23:36 来自手机 \| 只看该作者提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报