开源类GPT4多模态模型项目-OpenFlamingo-转型开源模型项目集合页
本帖最后由 yesicant 于 2023-3-29 16:53 编辑最初是半夜突然刷到这条推特
一查，原来是Laion组织(提供SD模型训练集的开源非盈利组织)根据论文用Clip与LLaMA(没想到吧，又是我们)复现了去年刷榜各种项目的的多模态模型，Flamingo相关的权重与训练代码
关于Flamingo的相关介绍可以看这里:https://zhuanlan.zhihu.com/p/508918171
hugface模型仓库地址:https://huggingface.co/openflamingo/OpenFlamingo-9B
训练代码:https://github.com/mlfoundations/open_flamingo
模型权重净重5.2G，参数为9B，大部分人的显卡应该都能跑
效果比Flamingo论文中的同参数下性能差一些，可能缺少某些调优吧，不过有这个效果要什么自行车！
在线演示地址:https://7164d2142d11.ngrok.app/
—— 来自 S1Fun 好像忘了放相关博客地址:https://laion.ai/blog/open-flamingo/
开源视频总结AI不远了
—— 来自 S1Fun 大家记得不要用来做坏事哦
—— 来自 S1Fun We are committed to build fully open-source models, and believe this transparency is essential for fostering collaboration, accelerating progress, and democratizing access to state-of-the-art LMMs. Our release is the first step towards this goal.
非常的欢乐
—— 来自 S1Fun 插眼
—— 来自 HONOR KKG-AN70, Android 11上的 S1Next-鹅版 v2.5.4 cy
—— 来自 HUAWEI EBG-AN10, Android 10上的 S1Next-鹅版 v2.5.4 草生，最近开源的LLM以及多模态项目一个比一个多，我都想特意开个贴集合了，不过这个帖子就挺好的，待我一个个更新吧
—— 来自 S1Fun 给楼主打个标，棒！ 首先是Nomic AI发布的gpt4all项目
github地址:https://github.com/nomic-ai/gpt4all
可以跑在笔记本上，使用了800k的gpt3.5 turbo接口生成的合成文本数据集，在自指导等论文形式的帮助下训练出的LLaMA-Lora插件，项目页有Lora，数据集，训练代码等，不过因为LLaMA的学术研究性质，所以并不直接提供对应的7B LLaMA权重，这个得自己准备，性能非常不错
—— 来自 S1Fun mark 插眼关注 然后是Cerebras systems出品的Cerebras-GPT系列
项目主页说明地址:https://www.cerebras.net/blog/cerebras-gpt-a-family-of-open-compute-efficient-large-language-models/
项目意义说明:https://www.businesswire.com/news/home/20230328005366/en/Cerebras-Systems-Releases-Seven-New-GPT-Models-Trained-on-CS-2-Wafer-Scale-Systems
arXiv论文还是coming soon
不过hugface已经开源权重了，使用了Chinchilla缩放法则高效训练模型，授权许可为Apache 2.0
一共公开了111m参数-13b参数总共7个版本不同的模型权重
hhugface页面https://huggingface.co/cerebras
—— 来自 S1Fun 用消费级硬件一键生成小黄文的日子是不是不远了 qmpdcy 本帖最后由 yesicant 于 2023-3-29 17:07 编辑
格林达姆 发表于 2023-3-29 17:02
用消费级硬件一键生成小黄文的日子是不是不远了
4chan老哥专门有个皮格马利翁(瞧这名字)项目就是搞这个的，不过没有中文版本，最新版本都堆到6b参数了，目前来说也是开源项目，在hugface上那不是一般的火
https://rentry.org/pygmalion-ai
—— 来自 S1Fun 格林达姆 发表于 2023-3-29 17:02
用消费级硬件一键生成小黄文的日子是不是不远了
应该是一键续写太监书的时代快来了......前面的文本作为学习材料,后面自己填想看的剧情一键生成 收藏比回复多哈哈 然后就是比较重复造轮子的lit-llama项目了
因为LLaMA代码库的授权许可是GPL，这个项目通过基于nanoGPT的实现构造了一个新的Apache 2.0许可的lit-llama项目，经过这个项目转换后就可以用于商业化等措施了
项目地址:https://github.com/Lightning-AI/lit-llama
—— 来自 S1Fun 世界在我们看不到的地方在变革！
这要怎样才能跟上时代的潮流呢？ LLaMA-Adapter项目
一看到Adapter，大部分人应该就懂了，腾讯人工智能实验室在不久前搞过一个名为T2I-Adapter的用于SD微调的附加模型，原理也来自于Adapter，通过微调附加增量参数的方法高效训练大模型的微调，并创造更多可玩性，这个项目与其是类似的，不过是用于LLM(大语言模型)方向的
可以看到相比alpaca(斯坦福LLaMA)的全量微调，使用的参数减少到了1.2M(120万参数)，Lora大小也减少到了仅仅4.7M
github地址:https://github.com/ZrrSkywalker/LLaMA-Adapter
—— 来自 S1Fun 马之，下班了研究一下 mark，回头autodl租个gpu试试 本帖最后由 yesicant 于 2023-3-29 18:42 编辑
前面搬了那么多LLM与多模态相关的项目，来个不一样的
CVPR 2023论文:panic3d 单张动漫图像生成3D头部风格模型！
github地址页:https://github.com/ShuhongChen/panic3d-anime-reconstruction
通过使用两个大型新数据集（11.2k Vroid 3D 模型，1k Vtuber 肖像插图）训练出来的根据单张图片(你甚至可以用webui直接生成头像)并转换成3D立体头部模型
提供有全套流程，docker，训练代码等齐全工具和说明，可以配合生成说话动作等(B站应该经常见)
—— 来自 S1Fun Japanese-Alpaca-LoRA/日语 Alpaca Lora插件
使用日文数据集训练的Alpaca Lora，可以进行日语输出
项目说明页https://note.com/kun1emon/n/n1533345d5d26
github地址:https://github.com/kunishou/Japanese-Alpaca-LoRA
这里额外说一下，其实Alpaca微调或者Alpaca Lora微调也是可以支持中文输入与输出的，我了解的不少项目都正在做这个工作，希望能早日完成吧
—— 来自 S1Fun yesicant 发表于 2023-3-29 17:44本帖最后由 yesicant 于 2023-3-29 17:46 编辑 前面搬了那么多LLM与多模态相关的项目，来个不一样的CVPR 2023论文:panic3d 单张动漫图像生成3D头部风格模型！github地址页:https://github.com/ShuhongChen/panic3d-anime-reconstruction 通过使用个两大型新数据集（11.2k Vro
喔靠这个顶 坐等支持中文的免安装版,小白包 模型要求也越来越亲民了 百度狂喜 多多益善
—— 来自 S1Fun 好啊非常好 thegodra 发表于 2023-3-29 17:15
世界在我们看不到的地方在变革！
这要怎样才能跟上时代的潮流呢？
先买块4090
—— 来自 Xiaomi 2211133C, Android 13上的 S1Next-鹅版 v2.5.4 这是逼微软就范啊 不错
不过真把openai整开源了估计人类也就要寄了吧 本帖最后由 mahoraga 于 2023-3-29 19:16 编辑
好啊，现在商用开源的项目也多起来了，赶紧加大力度给我干死closeai!(开玩笑的），我也看到几个，一个是databricks的dolly,还有中文的belle之类的。目前还是太依赖alpaca那套，开源上束手束脚，其实赶紧整一个基础模型跟llama五五开的，再花点小钱标一套数据出来就可以尽情开源了。我回去再把项目地址贴下
https://github.com/databrickslabs/dolly
https://github.com/LianjiaTech/BELLE
摩多摩多 mark，回去了研究 本帖最后由 yesicant 于 2023-3-29 19:04 编辑
mahoraga 发表于 2023-3-29 18:51
好啊，现在商用开源的项目也多起来了，赶紧加大力度给我干死closeai!(开玩笑的），我也看到几个，一个是dat ...
甚至chatGLM项目本身也有相关微调项目在进行中，综合来看其实模型最重要的还是训练集，但是这方面现在有了openai主动珠玉在前，越来越好起来了，openflamingo最重要的是开源了多模态的c4数据集
https://github.com/mymusise/ChatGLM-Tuning
https://github.com/ssbuild/chatglm_finetuning
—— 来自 S1Fun 本帖最后由 INDIASH 于 2023-3-29 19:17 编辑
希望有个能像linux一样和巨硬打擂台的开源AI，但是感觉这玩意最重要的还是数据 本帖最后由 mahoraga 于 2023-3-29 19:26 编辑
yesicant 发表于 2023-3-29 19:03
甚至chatGLM项目本身也有相关微调项目在进行中，综合来看其实模型最重要的还是训练集，但是这方面现在有 ...
我现在还是先不指望开源社区整多模态，要紧先把ChatGPT的效果追平然后开源，就可以疯狂生成凰文了
现在的几个7B~20B左右的模型说实话表面上虽然还行，但是一旦任务变得复杂，出来的效果和ChatGPT就差很远，只要把这块补上就人人有功练
lit-llama那个我觉得有希望，目前很多生态都依赖在llama上，如果lit-llama真的能对齐原版llama，那就可以直接把alpaca-lora那套迁上去，后面只要换套真正开源的数据集，就可以彻底实现开源的ChatGPT替代，好时代，来临力
这些模型是都可以本地部署的吗？
