开源类GPT4多模态模型项目-OpenFlamingo-转型开源模型项目集合页

yesicant

最初是半夜突然刷到这条推特



一查，原来是Laion组织(提供SD模型训练集的开源非盈利组织)根据论文用Clip与LLaMA(没想到吧，又是我们)复现了去年刷榜各种项目的的多模态模型，Flamingo相关的权重与训练代码

关于Flamingo的相关介绍可以看这里:https://zhuanlan.zhihu.com/p/508918171

hugface模型仓库地址:https://huggingface.co/openflamingo/OpenFlamingo-9B

训练代码:https://github.com/mlfoundations/open_flamingo


模型权重净重5.2G，参数为9B，大部分人的显卡应该都能跑


效果比Flamingo论文中的同参数下性能差一些，可能缺少某些调优吧，不过有这个效果要什么自行车！

在线演示地址:https://7164d2142d11.ngrok.app/



—— 来自 S1Fun

yesicant

好像忘了放相关博客地址:https://laion.ai/blog/open-flamingo/


开源视频总结AI不远了

—— 来自 S1Fun

yesicant

大家记得不要用来做坏事哦



—— 来自 S1Fun

yesicant

We are committed to build fully open-source models, and believe this transparency is essential for fostering collaboration, accelerating progress, and democratizing access to state-of-the-art LMMs. Our release is the first step towards this goal.

非常的欢乐

—— 来自 S1Fun

c月光咖啡

插眼

—— 来自 HONOR KKG-AN70, Android 11上的 S1Next-鹅版 v2.5.4

神奇的春日~

cy

—— 来自 HUAWEI EBG-AN10, Android 10上的 S1Next-鹅版 v2.5.4

yesicant

草生，最近开源的LLM以及多模态项目一个比一个多，我都想特意开个贴集合了，不过这个帖子就挺好的，待我一个个更新吧


—— 来自 S1Fun

猫咪挠墙

给楼主打个标，棒！

yesicant

首先是Nomic AI发布的gpt4all项目

github地址:https://github.com/nomic-ai/gpt4all

可以跑在笔记本上，使用了800k的gpt3.5 turbo接口生成的合成文本数据集，在自指导等论文形式的帮助下训练出的LLaMA-Lora插件，项目页有Lora，数据集，训练代码等，不过因为LLaMA的学术研究性质，所以并不直接提供对应的7B LLaMA权重，这个得自己准备，性能非常不错

—— 来自 S1Fun

astkaasa

mark

darktide

插眼关注

yesicant

然后是Cerebras systems出品的Cerebras-GPT系列


项目主页说明地址:https://www.cerebras.net/blog/cerebras-gpt-a-family-of-open-compute-efficient-large-language-models/

项目意义说明:https://www.businesswire.com/news/home/20230328005366/en/Cerebras-Systems-Releases-Seven-New-GPT-Models-Trained-on-CS-2-Wafer-Scale-Systems

arXiv论文还是coming soon
不过hugface已经开源权重了，使用了Chinchilla缩放法则高效训练模型，授权许可为Apache 2.0
一共公开了111m参数-13b参数总共7个版本不同的模型权重

hhugface页面https://huggingface.co/cerebras


—— 来自 S1Fun

格林达姆

用消费级硬件一键生成小黄文的日子是不是不远了

miraclePTSD

qmpdcy

yesicant

格林达姆 发表于 2023-3-29 17:02
用消费级硬件一键生成小黄文的日子是不是不远了

4chan老哥专门有个皮格马利翁(瞧这名字)项目就是搞这个的，不过没有中文版本，最新版本都堆到6b参数了，目前来说也是开源项目，在hugface上那不是一般的火

https://rentry.org/pygmalion-ai



—— 来自 S1Fun

Lacsiess

格林达姆 发表于 2023-3-29 17:02
用消费级硬件一键生成小黄文的日子是不是不远了

应该是一键续写太监书的时代快来了......前面的文本作为学习材料,后面自己填想看的剧情一键生成

摇曳的树影

收藏比回复多哈哈

yesicant

然后就是比较重复造轮子的lit-llama项目了
因为LLaMA代码库的授权许可是GPL，这个项目通过基于nanoGPT的实现构造了一个新的Apache 2.0许可的lit-llama项目，经过这个项目转换后就可以用于商业化等措施了

项目地址:https://github.com/Lightning-AI/lit-llama


—— 来自 S1Fun

thegodra

世界在我们看不到的地方在变革！
这要怎样才能跟上时代的潮流呢？

yesicant

LLaMA-Adapter项目

一看到Adapter，大部分人应该就懂了，腾讯人工智能实验室在不久前搞过一个名为T2I-Adapter的用于SD微调的附加模型，原理也来自于Adapter，通过微调附加增量参数的方法高效训练大模型的微调，并创造更多可玩性，这个项目与其是类似的，不过是用于LLM(大语言模型)方向的

可以看到相比alpaca(斯坦福LLaMA)的全量微调，使用的参数减少到了1.2M(120万参数)，Lora大小也减少到了仅仅4.7M

github地址:https://github.com/ZrrSkywalker/LLaMA-Adapter


—— 来自 S1Fun

tk553521

马之，下班了研究一下

Freewolf

mark，回头autodl租个gpu试试

yesicant

前面搬了那么多LLM与多模态相关的项目，来个不一样的

CVPR 2023论文:panic3d 单张动漫图像生成3D头部风格模型！

github地址页:https://github.com/ShuhongChen/panic3d-anime-reconstruction


通过使用两个大型新数据集（11.2k Vroid 3D 模型，1k Vtuber 肖像插图）训练出来的根据单张图片(你甚至可以用webui直接生成头像)并转换成3D立体头部模型

提供有全套流程，docker，训练代码等齐全工具和说明，可以配合生成说话动作等(B站应该经常见)

—— 来自 S1Fun

yesicant

Japanese-Alpaca-LoRA/日语 Alpaca Lora插件
使用日文数据集训练的Alpaca Lora，可以进行日语输出

项目说明页https://note.com/kun1emon/n/n1533345d5d26
github地址:https://github.com/kunishou/Japanese-Alpaca-LoRA


这里额外说一下，其实Alpaca微调或者Alpaca Lora微调也是可以支持中文输入与输出的，我了解的不少项目都正在做这个工作，希望能早日完成吧

—— 来自 S1Fun

右代宫嘉音

yesicant 发表于 2023-3-29 17:44  本帖最后由 yesicant 于 2023-3-29 17:46 编辑   前面搬了那么多LLM与多模态相关的项目，来个不一样的  CVPR 2023论文:panic3d 单张动漫图像生成3D头部风格模型！  github地址页:https://github.com/ShuhongChen/panic3d-anime-reconstruction   通过使用个两大型新数据集（11.2k Vro

喔靠这个顶来自: iPhone客户端

塔奇克马

坐等支持中文的免安装版,小白包

琉璃苑軒風

模型要求也越来越亲民了

kaildo

百度狂喜

wujae

多多益善

—— 来自 S1Fun

Orienser

好啊非常好

Benighted

thegodra 发表于 2023-3-29 17:15
世界在我们看不到的地方在变革！
这要怎样才能跟上时代的潮流呢？

先买块4090

—— 来自 Xiaomi 2211133C, Android 13上的 S1Next-鹅版 v2.5.4

jojog

这是逼微软就范啊 不错

不过真把openai整开源了估计人类也就要寄了吧

mahoraga

好啊，现在商用开源的项目也多起来了，赶紧加大力度给我干死closeai!(开玩笑的），我也看到几个，一个是databricks的dolly,还有中文的belle之类的。目前还是太依赖alpaca那套，开源上束手束脚，其实赶紧整一个基础模型跟llama五五开的，再花点小钱标一套数据出来就可以尽情开源了。我回去再把项目地址贴下
https://github.com/databrickslabs/dolly
https://github.com/LianjiaTech/BELLE

qadfg

摩多摩多

阿酷怕苦

mark，回去了研究

yesicant

mahoraga 发表于 2023-3-29 18:51
好啊，现在商用开源的项目也多起来了，赶紧加大力度给我干死closeai!(开玩笑的），我也看到几个，一个是dat ...

甚至chatGLM项目本身也有相关微调项目在进行中，综合来看其实模型最重要的还是训练集，但是这方面现在有了openai主动珠玉在前，越来越好起来了，openflamingo最重要的是开源了多模态的c4数据集

https://github.com/mymusise/ChatGLM-Tuning
https://github.com/ssbuild/chatglm_finetuning

—— 来自 S1Fun

INDIASH

希望有个能像linux一样和巨硬打擂台的开源AI，但是感觉这玩意最重要的还是数据

mahoraga

yesicant 发表于 2023-3-29 19:03
甚至chatGLM项目本身也有相关微调项目在进行中，综合来看其实模型最重要的还是训练集，但是这方面现在有 ...

我现在还是先不指望开源社区整多模态，要紧先把ChatGPT的效果追平然后开源，就可以疯狂生成凰文了

现在的几个7B~20B左右的模型说实话表面上虽然还行，但是一旦任务变得复杂，出来的效果和ChatGPT就差很远，只要把这块补上就人人有功练
lit-llama那个我觉得有希望，目前很多生态都依赖在llama上，如果lit-llama真的能对齐原版llama，那就可以直接把alpaca-lora那套迁上去，后面只要换套真正开源的数据集，就可以彻底实现开源的ChatGPT替代，好时代，来临力

Fuero

这些模型是都可以本地部署的吗？