开源类GPT4多模态模型项目-OpenFlamingo-转型开源模型项目集合页

frosta

Machinery 发表于 2023-4-10 13:46
使用Segment-Anything编辑一切

项目地址:https://github.com/sail-sg/EditAnything

这个思路感觉对了，配合SD实现精细微调，哪里看着不对哪里抽个10连

okok123

有大佬可以总结下，现在能本地部署的llm到底到什么程度了呢？啥时候进入stable diffusion 的阶段？

fufusako

Machinery 发表于 2023-4-8 20:30
AI界这几天最最最重磅的消息

由meta公司开源的新作品

啊，我怎么感觉这玩意把我公司正在搞的一个视频算法盒子干废了

Machinery

fufusako 发表于 2023-4-11 10:06
啊，我怎么感觉这玩意把我公司正在搞的一个视频算法盒子干废了

正常，我了解的相关从业人员都有这种感觉

—— 来自 S1Fun

Machinery

galpaca-6.7b与30b，以及对应的GPTQ-4bit量化

在说明这个项目前先介绍一下GALACTICA模型

Galactica是meta在前不久出品的模型，训练集使用了规范化的4800万篇论文、教科书和讲义、数以百万计的化合物和蛋白质、科学网站、百科全书以及来自"自然书"数据集的更多内容进行了训练，详细介绍可以查看如下链接
https://zhuanlan.zhihu.com/p/584315977

一共有以下这么几个尺寸的权重，都是开源的，相关地址可以在hugface找到


这个项目当初上线之时有开放demo试用，但因为被推特和各种媒体狂喷胡说八道以及信息不准确所以飞快下线了demo(同样的表现，不同的命运)

但这并不代表模型本身有问题，相反，Galactica是很优秀的基础模型，而现在则是有人尝试用Alpaca的数据集微调Galactica6.7b与30b版本，并且放出了对应的30b 4位量化模型

6.7b权重仓库https://huggingface.co/GeorgiaTechResearchInstitute/galpaca-6.7b

30b权重仓库:https://huggingface.co/GeorgiaTechResearchInstitute/galpaca-30b

30b 4位量化仓库:https://huggingface.co/TheBloke/galpaca-30B-GPTQ-4bit-128g

注:查看作者仓库有惊喜

—— 来自 S1Fun

塔奇克马

各位有没有Chinese-Alpaca-13B 合并转换完的模型或者一键包啊,转换要30G内存,我这最多32G机器肯定是不行了.....

Machinery

TurboPilot

一个基于llama.cpp复现本地copilot使用体验的项目，使用的模型底座是CodeGen(地址:https://github.com/salesforce/CodeGen)

项目地址:https://github.com/ravenscroftj/turbopilot

有2b和6b的4位量化权重提供下载，放在googledrive了:https://drive.google.com/drive/mobile/folders/1wFy1Y0pqoK23ZeMWWCp8evxWOJQVdaGh?usp=sharing

还可以使用FauxPilot配合web服务器，教程在项目内有



—— 来自 S1Fun

Machinery

塔奇克马 发表于 2023-4-12 12:34
各位有没有Chinese-Alpaca-13B 合并转换完的模型或者一键包啊,转换要30G内存,我这最多32G机器肯定是不行了. ...

hugface上有https://huggingface.co/models?search=chinese%20alpaca

—— 来自 S1Fun

塔奇克马

Machinery 发表于 2023-4-12 12:47
hugface上有https://huggingface.co/models?search=chinese%20alpaca

—— 来自 S1Fun

chinese-alpaca-13b-merged
就这个像,我试试

塔奇克马

Machinery 发表于 2023-4-12 12:47
hugface上有https://huggingface.co/models?search=chinese%20alpaca

—— 来自 S1Fun

下载下来看了下..是hf bin模型...能转pth的吗?

Machinery

塔奇克马 发表于 2023-4-12 17:05
下载下来看了下..是hf bin模型...能转pth的吗?

可以考虑使用colab，可能需要自己写几行代码

https://colab.research.google.com/drive/1Eak6azD3MLeb-YsfbP8UZC8wrL1ddIMI?usp=sharing

llama.cpp的库里已经有转换脚本了


如有仍有疑问可以参考这个博客
http://www.kala.love/posts/d1febb52/

—— 来自 S1Fun

塔奇克马

Machinery 发表于 2023-4-12 17:28
可以考虑使用colab，可能需要自己写几行代码

https://colab.research.google.com/drive/1Eak6azD ...

放弃了,搞不懂,那几个脚本都不像....文章里只是把过程陈述一遍,但是这个模型是其中的一个选择分支训练成不能量化的HF文件用来训练的.

Machinery

塔奇克马 发表于 2023-4-12 18:09
放弃了,搞不懂,那几个脚本都不像....文章里只是把过程陈述一遍,但是这个模型是其中的一个选择分支训练成不 ...

你的诉求是将原始的llama的pth与lora合并为pth？

这里有两个脚本，一个是合并lora转换为pth，一个是转换为hf，都是项目库里就有的

如果你觉得本机不足，用colab转换也正常啊

https://github.com/ymcui/Chinese-LLaMA-Alpaca/tree/main/scripts

—— 来自 S1Fun

塔奇克马

Machinery 发表于 2023-4-12 19:37
你的诉求是将原始的llama的pth与lora合并为pth？

这里有两个脚本，一个是合并lora转换为pth，一个是转换 ...

不是..不是合并是转换..所以都不行的...
所以网上没有提供能用的模型,不搞了 换另一个V羊驼了

塔奇克马

大江户战士 发表于 2023-4-12 20:35
文件名里的bin改成pth就行了，都是pytorch的权重，只有后缀名不一样

那我试试去

marlun

微软在今天开源了一个可以在模型训练中加入完整 RLHF 流程的系统框架 ——DeepSpeed Chat

DeepSpeed Chat: 一键式RLHF训练，让你的类ChatGPT千亿大模型提速省钱15倍

项目地址：https://github.com/microsoft/DeepSpeed



根据文档的说法：在效率和经济性方面，DeepSpeed-HE 在 Azure 云上只需 9 小时即可训练一个OPT-13B模型，只需 18 小时既可训练 OPT-30B模型，分别花费不到 300 美元和 600 美元。在速度和可扩展性方面，即使是 13B 的模型也可以在 1.25 小时内训练，而庞大的 175B 模型可以在不到一天的时间内使用 64 个 GPU 集群进行训练。在 RLHF 的可访问性和普及化方面，DeepSpeed-HE 可以在单个 GPU 上训练超过 130 亿参数的模型。凭借超过一个数量级的更高吞吐量，与现有的 RLHF 系统（如 Colossal-AI 或 HuggingFace DDP）相比，DeepSpeed-HE 拥有在相同时间预算下训练更大的 actor 模型的能力，或者以十分之一的成本训练类似大小的模型的能力。

boomerangkid

伊莉伊莉雅 发表于 2023-4-7 20:17
新建了个群
809851632
点击链接加入群聊【Stage1st 赛博猫娘研究院】：https://jq.qq.com/?_wv=102 ...

点了一下居然直接进群了，好久么遇到加群不用验证的了

塔奇克马

大江户战士 发表于 2023-4-12 20:35
文件名里的bin改成pth就行了，都是pytorch的权重，只有后缀名不一样

哎

塔奇克马

大江户战士 发表于 2023-4-12 21:11
我看了下这个https://huggingface.co/minlik/chinese-alpaca-13b-merged/tree/main里没有params.json这个 ...

塔奇克马

大江户战士 发表于 2023-4-12 21:11
我看了下这个https://huggingface.co/minlik/chinese-alpaca-13b-merged/tree/main里没有params.json这个 ...

又出错,

然后我发现

params.json应该可以和config.json互转?


其他参数可以明显找到对应,那么
"multiple_of"
是什么?

塔奇克马

大江户战士 发表于 2023-4-12 21:32
不是，他读这个只是为了判断有多少文件，原始的llama-13b只有2个权重文件，但是这个合并版本做的不好给保 ...

电脑内存不够只有32G,colab要抽卡,我看还是算了

塔奇克马

大江户战士 发表于 2023-4-12 21:38
我大概懂为啥要保存成三个了，你的机器估计也没法用llama.cpp来量化两个文件的13b模型 ...

我通过修改代码直接赋予3完成了转换,但是又遇到问题

1. (venv) PS F:\Chinese-LLaMA-Alpaca\llama.cpp> ./quantize ./zh-models/13B/ggml-model-f16.bin ./zh-models/13B/ggml-model-q4_0.bin 3
   
2. llama.cpp: loading model from ./zh-models/13B/ggml-model-f16.bin
   
3. llama_model_quantize: failed to quantize: llama.cpp: tensor '' should not be 0-dimensional
   
4. main: failed to quantize model from './zh-models/13B/ggml-model-f16.bin'

复制代码

tokenizer_checklist.chk 我是没有的,我只能从最原始的包里找
tokenizer.model 我用的下载下来的那个..

jojog

https://twitter.com/_akhaliq/status/1646168119658831874

一步出图？！

伊莉伊莉雅

塔奇克马 发表于 2023-4-13 00:17
我通过修改代码直接赋予3完成了转换,但是又遇到问题

tokenizer_checklist.chk 我是没有的,我只能从最原 ...

你操作不对。
0.如果没有原版hf模型，就把原版模型(pth文件)转换hf模型(bin文件)。有原版hf模型的话直接下一步。
1.用原版hf模型和lora融合，得出融合后pth文件。
2.1.将融合后的pth文件转换成hf模型(.bin文件)。webui加载的是这个模型。

2.2.1.将融合后的pth模型，转换成ggml格式(.bin文件)。
2.2.2.将ggml文件量化成int4或int8，llama.cpp加载的是这个模型。(webui也可以用llama.cpp)

伊莉伊莉雅

群共享里有webui一键包，也有融合之后的模型

塔奇克马

伊莉伊莉雅 发表于 2023-4-13 01:45
群共享里有webui一键包，也有融合之后的模型

我已经在用了,正在调教群主中.

Machinery

Databricks出品的Dolly，更新到了v2

v2使用了完全由databricks员工编制的新数据集databricks-dolly-15k，使用的基模是EleutherAI 的 Pythia-12b，授权许可Apache-2.0，可以随意商用，支持bf16参数化推理加速

项目介绍:https://www.databricks.com/blog/2023/04/12/dolly-first-open-commercially-viable-instruction-tuned-llm

项目地址:https://github.com/databrickslabs/dolly

数据集页面:https://github.com/databrickslabs/dolly/tree/master/data



—— 来自 S1Fun

Machinery

ImageReward

清华大学和北京邮电大学合作的项目，ImageReward 是第一个通用的文本到图像人类偏好 RM，它基于文本提示和 DiffusionDB 的相应模型输出，接受了总共 137k 对专家比较的训练，在理解人类对文本到图像合成的偏好方面，ImageReward 优于现有的文本图像评分方法，例如 CLIP、Aesthetic 和 BLIP等

github地址:https://github.com/THUDM/ImageReward

简单来说就是一个给合成图片评分的美学审美项目，权重本身已经开源，1.79G，代码简单易用



论文:https://arxiv.org/abs/2304.05977






—— 来自 S1Fun

Machinery

SEEM：一次分割所有地方的一切
SEEM: Segment Everything Everywhere All at Once

由香港科技大学，University of Wisconsin-Madison，微软雷德蒙德研究实验室与微软云出品

论文地址:https://arxiv.org/abs/2304.06718
github项目地址:https://github.com/UX-Decoder/Segment-Everything-Everywhere-All-At-Once

包含以下四个重要特点组成
1.支持多模态自由组合prompt实例分割
2.支持超级多种的自由prompt引导输入
3.用户可以进行多轮交互prompt
4.预测任何mask的语义标签


Demo分流演示1:https://8c52faee5271add1.gradio.app/
Demo分流演示2:https://4a489753d0c824e0.gradio.app/
Demo分流演示3:https://36771ee9c49a4631.gradio.app/

—— 来自 S1Fun

Machinery

Machinery 发表于 2023-4-14 14:03
SEEM：一次分割所有地方的一切
SEEM: Segment Everything Everywhere All at Once

没想到sam一出其他家也发力了，github有专门阐述与sam的比较与特点，不过因为是新鲜出炉的，todo还需要等待一定时间

SEEM + Whisper Demo←目前进度在这里
 SEEM + Whisper + Stable Diffusion Demo
 Inference and installation code
 Hugging Face Demo

—— 来自 S1Fun

Machinery

Machinery 发表于 2023-4-8 20:14
微软的论文
arxiv.org/abs/2304.03277
使用 GPT-4 进行指令调优

Alpaca LoRA (GPT4版本)

使用论文“Instruction Tuning with GPT-4”的后编辑数据集微调了llama的7b/13b/30b，三个版本，微调训练代码由此项目(https://github.com/tloen/alpaca-lora)支持

lora存储库地址依次如下:
https://huggingface.co/chansung/gpt4-alpaca-lora-7b

https://huggingface.co/chansung/gpt4-alpaca-lora-13b

https://huggingface.co/chansung/gpt4-alpaca-lora-30b


效果看起来十分不错

—— 来自 S1Fun

宇宙之心

好贴插个眼。

—— 来自 Xiaomi Mi 10, Android 12上的 S1Next-鹅版 v2.5.4

auirerx

草。主贴看不到了