[开源]ACG2Vec——ACG相关深度学习应用（以图搜图、插画评...

OysterQAQ · 发表于 2023-7-26 15:43

简介
ACG2vec全称为Anime Comics Games to vector。本repo会持续维护一些基于二次元相关的深度学习领域实践与探索。

在线预览（目前包含文本搜索、以图搜图、文本搜图、图片分数预测）：https://cheerfun.dev/acg2vec/

开源仓库：https://github.com/OysterQAQ/ACG2vec

演示页前端开源仓库：https://github.com/wewewe131/acg2vec-frontend

以上两个仓库求个star QAQ

目前模块包括：

model：深度神经网络模型模块，目前包括

acgvoc2vec：基于从**动漫列表、萌娘百科、Bangumi、pixiv、AnimeList等来源获取清洗处理抽取的510w语句对微调的sentence-transformers模型，生成二次元相关文本的特征向量，用于各种下游任务（标签推荐，标签搜索，推荐系统等）

可以使用Huggingface在线体验:https://huggingface.co/OysterQAQ/ACGVoc2vec

dclip：使用danburoo2021数据集对clip（ViT-L/14）模型进行微调。

可以使用Huggingface在线体验:https://huggingface.co/OysterQAQ/DanbooruCLIP

pix2score：基于resnet101的多任务模型，用于预测动漫插图的收藏数、浏览数与琴瑟级别

illust2vec：从DeepDanbooru模型去除预测头并对末尾层做均值池化的图片语义特征抽取模型

webapp：对外提供web服务模块。目前包括开箱即用的二次元插画标签预测服务、以图搜图服务、插画特征抽取服务、文本特征抽取服务

docker：基于容器化的部署模块，包括了部署所需要的配置文件与资源文件

预览
语义文本搜索

语义图像搜索

插画综合评分预测

以图搜图

假面骑士3号 · 发表于 2023-7-26 15:48

等一波评测

假面骑士3号 · 发表于 2023-7-26 15:48

等一波评测

OysterQAQ · 发表于 2023-7-26 16:01

假面骑士3号发表于 2023-7-26 15:48
等一波评测

可以在网页上使用由于用了cf 所以网络可能不太好

schneehertz · 发表于 2023-7-26 16:35

好

—— 来自 Xiaomi 2203121C, Android 13上的 S1Next-鹅版 v2.5.4

吴怀在 · 发表于 2023-7-26 16:38

有本地版的自动打tag工具吗？标注版权、人物名称和画师名。

schneehertz · 发表于 2023-7-26 16:39

问一下，插画色情程度评分是从哪里获取的数据

—— 来自 Xiaomi 2203121C, Android 13上的 S1Next-鹅版 v2.5.4

OysterQAQ · 发表于 2023-7-26 16:43

schneehertz 发表于 2023-7-26 16:39
问一下，插画色情程度评分是从哪里获取的数据

—— 来自 Xiaomi 2203121C, Android 13上的 S1Next-鹅版 v2 ...

pixiv的数据

OysterQAQ · 发表于 2023-7-26 16:44

吴怀在发表于 2023-7-26 16:38
有本地版的自动打tag工具吗？标注版权、人物名称和画师名。

这个可以做，你可以先试试deepdanbooru能否满足需求，可能标签会有一些少

吴怀在 · 发表于 2023-7-26 17:23

OysterQAQ 发表于 2023-7-26 16:44
这个可以做，你可以先试试deepdanbooru能否满足需求，可能标签会有一些少

我试过guthub介绍中的网页版，tag太少了。主要是copyright和character_name信息，新的都没有。

OysterQAQ · 发表于 2023-7-26 17:39

吴怀在发表于 2023-7-26 17:23
我试过guthub介绍中的网页版，tag太少了。主要是copyright和character_name信息，新的都没有。 ...

这个要想一直更新模型就得一直被训练

OysterQAQ · 发表于 2023-7-26 19:02

捞一捞～～～～～～～～～～～

OysterQAQ · 发表于 2023-7-27 09:17

捞！！！！！！！

plazum · 发表于 2023-7-27 10:23

本帖最后由 plazum 于 2023-7-27 10:24 编辑

最近在Bangumi经常看到一个人在新番每集评论里面发一串vocab，该不会就是用这种东西弄的吧

哦，这个没有根据图片生成提示词的功能啊

OysterQAQ · 发表于 2023-7-27 12:36

plazum 发表于 2023-7-27 10:23
最近在Bangumi经常看到一个人在新番每集评论里面发一串vocab，该不会就是用这种东西弄的吧

哦，这 ...

这个得img2text了

acekanon · 发表于 2023-7-27 18:06

只有我看了半天还是不知道这个是干什么的么，有没20字内的解释

----发送自 Xiaomi 22041211AC,Android 13

OysterQAQ · 发表于 2023-7-27 20:14

acekanon 发表于 2023-7-27 18:06
只有我看了半天还是不知道这个是干什么的么，有没20字内的解释

----发送自 Xiaomi 22041211AC,Andr ...

可以去在线演示试试看

		自动登录	找回密码
密码			立即注册

[原创] [开源]ACG2Vec——ACG相关深度学习应用（以图搜图、插画评...

本帖子中包含更多资源

评分