图片放大神器Real-ESRGAN，简单的介绍+求助

win8 · 发表于 2021-9-29 21:23

本帖最后由 win8 于 2022-2-12 23:51 编辑

Real-ESRGAN是一个利用AI放大图片的项目，最近比较火，公众号推荐我都见过好多次了。
原理咱也不懂，复制粘贴没意思，也就不做详细说明了。效果惊艳秒杀waifu2x。与其说是放大，不如说是修复并重建大图。
就放大能力而言，realesrgan预训练的模型是4x，waifu2x顾名思义是2倍缩放。就细节还原能力，realesrgan的纹理同样更胜一筹。
项目地址 https://github.com/xinntao/Real-ESRGAN （提供了Python代码、模型以及编译的 x86 portable版软件）衍生项目 https://github.com/X-Lucifer/AI-Lossless-Zoomer （使用上边的包做了gui）

下载地址：
release页面
https://github.com/xinntao/Real-ESRGAN/releases/

Windows x86版当前链接
https://github.com/xinntao/Real- ... 0210901-windows.zip

做了一个加速链接
https://shrill-pond-3e81.hunsh.w ... 0210901-windows.zip
使用方法：
由于坛友反馈有使用难度，随便写了两个bat，解压后bat、需要放大的图片放到程序的同一目录，拖动图片文件到bat上等待即可。

动漫.bat (127 Bytes, 下载次数: 495)

默认.bat (99 Bytes, 下载次数: 451)

web服务：
colab 白嫖Google的服务

Android版本：
这玩意是个Python项目，有使用ncnn框架预编译的Linux Windows Mac 的x86版本，但是arm CPU的手机用不了。
有感兴趣的坛友可以和我一起解决问题issue： https://github.com/xinntao/Real- ... uecomment-928665075

我基于realsr-ncnn完成了Android版本，最后还是靠自己实现了期望
已经上架酷安：
https://www.coolapk.com/apk/292197
代码仓库：
https://github.com/tumuyan/RealSR-NCNN-Android

效果
这是原项目的效果展示图。

这是与广为人知的waifu2x对比。

这是一张我找的糊极了的图片及放大效果

577c30e4b6aaadde14b62da657413f305c2648ed.png_output.jpg.png

这是一张本身已经很清晰的cg及放大效果

平井姨夫 · 发表于 2021-9-29 21:44

x86版本哪里下载?

win8 · 发表于 2021-9-29 21:50

平井姨夫发表于 2021-9-29 21:44
x86版本哪里下载?

在release页面
https://github.com/xinntao/Real-ESRGAN/releases/

Windows x86版当前链接
https://github.com/xinntao/Real- ... 0210901-windows.zip

做了一个加速链接
https://shrill-pond-3e81.hunsh.w ... 0210901-windows.zip

Heliko · 发表于 2021-9-29 22:31

手机性能够吗…

暁美ほむら · 发表于 2021-9-29 22:51

官方效果图随便看看就行，这种明显的锐度过度以及细节涂抹严重的玩意我是喜欢不起来。

Saikou · 发表于 2021-9-29 23:02

感谢推荐，效果真的还不错

madnesshare · 发表于 2021-9-29 23:08

本帖最后由 madnesshare 于 2021-9-29 23:11 编辑

怎么用？双击EXE一闪而过
waifu2X有可执行的文件

看懂了
要玩命令行
没有方便的软件之前，推广不起来的，麻烦的要死，WAIFU2X直接拉一堆文件进去，一点转换完事

樱绰落 · 发表于 2021-9-29 23:20

感谢推荐，试了下确实不错，不过运行时候感觉好像不能充分利用GPU和CPU

Saker_bobo · 发表于 2021-9-29 23:32

madnesshare 发表于 2021-9-29 23:08
怎么用？双击EXE一闪而过
waifu2X有可执行的文件

看了下以前加书签的放大算法超级缝合怪GUI项目 Waifu2x-Extension-GUI 果然有这个算法
项目地址在这：https://github.com/AaronFeng753/Waifu2x-Extension-GUI

madnesshare · 发表于 2021-9-29 23:34

Saker_bobo 发表于 2021-9-29 23:32
看了下以前加书签的放大算法超级缝合怪GUI项目 Waifu2x-Extension-GUI 果然有这个算法
项目地址在这：htt ...

谢谢老哥，1。57G，我下载下来试试

madnesshare · 发表于 2021-9-29 23:46

Saker_bobo 发表于 2021-9-29 23:32
看了下以前加书签的放大算法超级缝合怪GUI项目 Waifu2x-Extension-GUI 果然有这个算法
项目地址在这：htt ...

感谢老哥推荐，试了下，用了楼主推荐的这个引擎以后确实比WAIFU2X的要好很多，噪点没了，那些涂抹痕迹也更顺滑，看起来观感好了很多，谢谢推荐

win8 · 发表于 2021-9-29 23:59

Heliko 发表于 2021-9-29 22:31
手机性能够吗…

CPU gpu即使不够用，也能用时间换。有问题的是可能内存不够用。

john · 发表于 2021-9-30 00:01

真人涂抹效果太严重，还是漫画好

GALLADE · 发表于 2021-9-30 00:42

马克，感觉还是等个图形界面吧

淼霆 · 发表于 2021-9-30 01:36

感谢分享，马克一下

orecheng · 发表于 2021-9-30 01:50

这就是计算光学吗？太强了

伊可费斯 · 发表于 2021-9-30 03:30

提示: 作者被禁止或删除内容自动屏蔽

ardito · 发表于 2021-9-30 03:35

牛逼

KDN_Observer · 发表于 2021-9-30 06:06

锐化过头了，不喜

lwa190212 · 发表于 2021-9-30 07:55

别说起码比网上流传的模型数据版本的waifu2x强了不止一点两点，对此产生了点兴趣，看了论文了解了下最近的超分辨率做法：

GAN类(SRGAN -> ESRGAN -> Real-ESRGAN)的超分辨率：生成器输入很烂的小图，输出还原的大图，鉴别器拿着一份原图和一份生成器生成的大图，鉴别哪一个是原图（这样训练的结果会偏向特征感知而不是还原图与原图PSNR指标）

一般的超分辨率是模拟了原图经过模糊->加噪声->降分辨率->jpeg压缩损失，原图按流程生成的很烂的小图输入去还原原图
Real-ESRGAN的处理：
模糊：将高斯模糊的卷积核的分布多了一个指数系数，得到更多种类的模糊效果
噪声：高斯噪声(独立的RGB噪声和黑白噪声都有)、泊松噪声(模拟相机的cmos热噪声)
分辨率：不同的缩放算法会带来不同的artifact，随机使用：最近邻插值(但是有misalignment问题就没用它)、area resize(我不知道这是什么算法)、bilinear插值、bicubic插值
JPEG压缩：使用不同quality值
以上为一个流程，为了应付网上反复压缩处理的低清图，Real-ESRGAN会做n次这个流程（论文中是2次流程），并加上其余失真效果：常见的ringing和overshoot失真，使用sinc滤波器模拟
生成器与ESRGAN一致，考虑到鉴别空间可能比ESRGAN的预设目标大很多(因为有n次流程)，鉴别器从ESRGAN的VGG换成了U-net+skip connections，提供更精细的像素级反馈
使用更锐利的数据集训练的Real-ESRGAN+版本会得到更锐利的结果（但我看了下很多时候对比Real-ESRGAN版本会有更多的overshoot artifact）
以上

laotoutou · 发表于 2021-9-30 08:36

等着老番4k化

laotoutou · 发表于 2021-9-30 08:38

galgame高清重置更方便，可以搞起来了

szqasd · 发表于 2021-9-30 08:42

小白问一下，这个跟Topaz Gigapixel AI效果比怎么样呢？

汝者 · 发表于 2021-9-30 09:30

mark一下

Litccc · 发表于 2021-9-30 09:37

有点锐化过头了，我现在都用这个，可以自己选算法，免费版也够用
https://github.com/AaronFeng753/Waifu2x-Extension-GUI

bigice · 发表于 2021-9-30 09:39

腾讯做的吧，效果不错，就是速度太慢，想用来高清化动画还是洗洗睡吧

liwangli1983 · 发表于 2021-9-30 10:12

为啥我提示
no vulkan device
invalid gpu device

本是r7000，4800h的vega7核显示+gtx1650

极北天琴 · 发表于 2021-9-30 10:13

liwangli1983 发表于 2021-9-30 10:12
为啥我提示
no vulkan device
invalid gpu device

装一个vulkanRT看看？

liwangli1983 · 发表于 2021-9-30 10:16

‭‭‭ 发表于 2021-9-30 10:13
装一个vulkanRT看看？

看了下，不管是vega7还是gtx1650都没有vulkan支持，需要更新驱动？

hein · 发表于 2021-9-30 10:16

Litccc 发表于 2021-9-30 09:37
有点锐化过头了，我现在都用这个，可以自己选算法，免费版也够用
https://github.com/AaronFeng753/Waifu2x ...

对比了下，这个自己参数选的适合，出来的要比lz的效果好。

lwa190212 · 发表于 2021-9-30 10:16

风怒

lwa190212 · 发表于 2021-9-30 10:16

szqasd 发表于 2021-9-30 08:42
小白问一下，这个跟Topaz Gigapixel AI效果比怎么样呢？

没用过Topaz Gigapixel AI
说说这个模型可能处理不好的地方，首先是论文中出现的例子：

1.猜错线条 2.把砖块还原成其他虚构的图案 3.石碑上的纹理还原不好

看一下我的例子，请斟酌一下：
原图是黑丝质感(带了一些噪声)：

，
超分辨率后是可怕的纹理

另一个例子，是因为低分辨率采样导致字体的横竖有些模糊：

但是还原的结果会更歪一些(薄字中央放大看完全歪了)，血条的渐变处理得也不好

总而言之模糊得又像噪点又像图案的，有一定几率把图案还原错，也有一定几率当成噪点抹平
别看我举得处理不好的例子，其实如果你手里的小图也没有这种噪点和纹理并存的区域，预期还原的结果画面应当是比较干净时，使用效果还挺好的

szqasd · 发表于 2021-9-30 10:20

lwa190212 发表于 2021-9-30 10:16
没用过Topaz Gigapixel AI
说说这个模型可能处理不好的地方，首先是论文中出现的例子：

感谢说明

Lisylfn · 发表于 2021-9-30 10:28

szqasd 发表于 2021-9-30 08:42
小白问一下，这个跟Topaz Gigapixel AI效果比怎么样呢？

刚好测试完这两者, gigapixel那个描边效果更垃圾, 这个效果还是非常棒的
原图:

gigapixel:

real-esrgan:

综合来讲, 效果还是可以的, 可以替换掉gigapixel了

尼特geek · 发表于 2021-9-30 10:40

acg的图片搞起来还行，三次元的话，描边还是不真实。

GJRstone · 发表于 2021-9-30 11:19

例图的黑猫警长和灰太狼已经把我看吐了。黑猫警长噪声多，蓝底最终效果有杂色，可以理解；灰太狼那眼睛下边缘真的是曲线吗…右上耳朵描边宽度也不行

霜落xss · 发表于 2021-9-30 12:02

有没有超能力者知道他这个release的exe文件是怎么打包的？我用pyinstaller和nuitka打的包只要沾了tensorflow、pytorch之类的库就都是几百M起步，他这个可执行文件居然只有4M，太羡慕了

elxy · 发表于 2021-9-30 12:51

霜落xss 发表于 2021-9-30 12:02
有没有超能力者知道他这个release的exe文件是怎么打包的？我用pyinstaller和nuitka打的包只要沾了tensorflo ...

作者这里用的是ncnn进行推理，ncnn最初是用于移动端的推理引擎，也是腾讯的nihui大佬维护的。看起来是用了vulkan的API，相关的驱动系统都自带了。而TensorFlow和PyTorch直接打包包含了太多不需要的库，体积自然就很大了。

暁美ほむら · 发表于 2021-9-30 13:15

尼特geek 发表于 2021-9-30 10:40
acg的图片搞起来还行，三次元的话，描边还是不真实。

ACG图片其实也要看类型的，这算法只适合CG图以及不存在任何背景细节的ACG的人物图片，并不适用于我们平时看的Anime

win8 · 发表于 2021-9-30 14:04

elxy 发表于 2021-9-30 12:51
作者这里用的是ncnn进行推理，ncnn最初是用于移动端的推理引擎，也是腾讯的nihui大佬维护的。看起来是用 ...

所以你对ncnn有所了解对嘛，能不能帮忙康康我那个issue，我到底是出了什么问题？

		自动登录	找回密码
密码			立即注册

[软件] 图片放大神器Real-ESRGAN，简单的介绍+求助

评分

伊可费斯伊可费斯当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2018-3-5 头像被屏蔽	发表于 2021-9-30 03:30 来自手机 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报