图片放大神器Real-ESRGAN，简单的介绍+求助
本帖最后由 win8 于 2022-2-12 23:51 编辑Real-ESRGAN是一个利用AI放大图片的项目，最近比较火，公众号推荐我都见过好多次了。
原理咱也不懂，复制粘贴没意思，也就不做详细说明了。效果惊艳秒杀waifu2x。与其说是放大，不如说是修复并重建大图。
就放大能力而言，realesrgan预训练的模型是4x，waifu2x顾名思义是2倍缩放。就细节还原能力，realesrgan的纹理同样更胜一筹。
项目地址https://github.com/xinntao/Real-ESRGAN （提供了Python代码、模型以及编译的 x86 portable版软件）衍生项目https://github.com/X-Lucifer/AI-Lossless-Zoomer（使用上边的包做了gui）
下载地址：
release页面
https://github.com/xinntao/Real-ESRGAN/releases/
Windows x86版当前链接
https://github.com/xinntao/Real- ... 0210901-windows.zip
做了一个加速链接
https://shrill-pond-3e81.hunsh.w ... 0210901-windows.zip
使用方法：
由于坛友反馈有使用难度，随便写了两个bat，解压后bat、需要放大的图片放到程序的同一目录，拖动图片文件到bat上等待即可。
web服务：
colab 白嫖Google的服务
Android版本：
这玩意是个Python项目，有使用ncnn框架预编译的Linux Windows Mac 的x86版本，但是arm CPU的手机用不了。
有感兴趣的坛友可以和我一起解决问题issue：https://github.com/xinntao/Real- ... uecomment-928665075
我基于realsr-ncnn完成了Android版本，最后还是靠自己实现了期望
已经上架酷安：
https://www.coolapk.com/apk/292197
代码仓库：
https://github.com/tumuyan/RealSR-NCNN-Android
效果
这是原项目的效果展示图。
这是与广为人知的waifu2x对比。
这是一张我找的糊极了的图片及放大效果
这是一张本身已经很清晰的cg及放大效果
x86版本哪里下载? 平井姨夫 发表于 2021-9-29 21:44
x86版本哪里下载?
在release页面
https://github.com/xinntao/Real-ESRGAN/releases/
Windows x86版当前链接
https://github.com/xinntao/Real-ESRGAN/releases/download/v0.2.2.4/realesrgan-ncnn-vulkan-20210901-windows.zip
做了一个加速链接
https://shrill-pond-3e81.hunsh.workers.dev/https://github.com/xinntao/Real-ESRGAN/releases/download/v0.2.2.4/realesrgan-ncnn-vulkan-20210901-windows.zip
手机性能够吗… 官方效果图随便看看就行，这种明显的锐度过度以及细节涂抹严重的玩意我是喜欢不起来。 感谢推荐，效果真的还不错
https://p.sda1.dev/2/a7bf130eb870789201ba6b94330033c9/1.jpg
https://p.sda1.dev/2/5253b5466d614b0e37f10eef83c38a88/1.1 _Custom_.png
本帖最后由 madnesshare 于 2021-9-29 23:11 编辑
怎么用？双击EXE一闪而过
waifu2X有可执行的文件
看懂了
要玩命令行
没有方便的软件之前，推广不起来的，麻烦的要死，WAIFU2X直接拉一堆文件进去，一点转换完事
感谢推荐，试了下确实不错，不过运行时候感觉好像不能充分利用GPU和CPU madnesshare 发表于 2021-9-29 23:08
怎么用？双击EXE一闪而过
waifu2X有可执行的文件
看了下以前加书签的放大算法超级缝合怪GUI项目 Waifu2x-Extension-GUI 果然有这个算法
项目地址在这：https://github.com/AaronFeng753/Waifu2x-Extension-GUI Saker_bobo 发表于 2021-9-29 23:32
看了下以前加书签的放大算法超级缝合怪GUI项目 Waifu2x-Extension-GUI 果然有这个算法
项目地址在这：htt ...
谢谢老哥，1。57G，我下载下来试试 Saker_bobo 发表于 2021-9-29 23:32
看了下以前加书签的放大算法超级缝合怪GUI项目 Waifu2x-Extension-GUI 果然有这个算法
项目地址在这：htt ...
感谢老哥推荐，试了下，用了楼主推荐的这个引擎以后确实比WAIFU2X的要好很多，噪点没了，那些涂抹痕迹也更顺滑，看起来观感好了很多，谢谢推荐 Heliko 发表于 2021-9-29 22:31
手机性能够吗…
CPUgpu即使不够用，也能用时间换。有问题的是可能内存不够用。 真人涂抹效果太严重，还是漫画好
马克，感觉还是等个图形界面吧 感谢分享，马克一下 这就是计算光学吗？太强了 牛逼
锐化过头了，不喜 别说起码比网上流传的模型数据版本的waifu2x强了不止一点两点，对此产生了点兴趣，看了论文了解了下最近的超分辨率做法：
GAN类(SRGAN -> ESRGAN -> Real-ESRGAN)的超分辨率：生成器输入很烂的小图，输出还原的大图，鉴别器拿着一份原图和一份生成器生成的大图，鉴别哪一个是原图（这样训练的结果会偏向特征感知而不是还原图与原图PSNR指标）
一般的超分辨率是模拟了原图经过模糊->加噪声->降分辨率->jpeg压缩损失，原图按流程生成的很烂的小图输入去还原原图
Real-ESRGAN的处理：
模糊：将高斯模糊的卷积核的分布多了一个指数系数，得到更多种类的模糊效果
噪声：高斯噪声(独立的RGB噪声和黑白噪声都有)、泊松噪声(模拟相机的cmos热噪声)
分辨率：不同的缩放算法会带来不同的artifact，随机使用：最近邻插值(但是有misalignment问题就没用它)、area resize(我不知道这是什么算法)、bilinear插值、bicubic插值
JPEG压缩：使用不同quality值
以上为一个流程，为了应付网上反复压缩处理的低清图，Real-ESRGAN会做n次这个流程（论文中是2次流程），并加上其余失真效果：常见的ringing和overshoot失真，使用sinc滤波器模拟
生成器与ESRGAN一致，考虑到鉴别空间可能比ESRGAN的预设目标大很多(因为有n次流程)，鉴别器从ESRGAN的VGG换成了U-net+skip connections，提供更精细的像素级反馈
使用更锐利的数据集训练的Real-ESRGAN+版本会得到更锐利的结果（但我看了下很多时候对比Real-ESRGAN版本会有更多的overshoot artifact）
以上 等着老番4k化 galgame高清重置更方便，可以搞起来了 小白问一下，这个跟Topaz Gigapixel AI效果比怎么样呢？ mark一下 有点锐化过头了，我现在都用这个，可以自己选算法，免费版也够用
https://github.com/AaronFeng753/Waifu2x-Extension-GUI 腾讯做的吧，效果不错，就是速度太慢，想用来高清化动画还是洗洗睡吧 为啥我提示
no vulkan device
invalid gpu device
本是r7000，4800h的vega7核显示+gtx1650
liwangli1983 发表于 2021-9-30 10:12
为啥我提示
no vulkan device
invalid gpu device
装一个vulkanRT看看？ 发表于 2021-9-30 10:13
装一个vulkanRT看看？
看了下，不管是vega7还是gtx1650都没有vulkan支持，需要更新驱动？
Litccc 发表于 2021-9-30 09:37
有点锐化过头了，我现在都用这个，可以自己选算法，免费版也够用
https://github.com/AaronFeng753/Waifu2x ...
对比了下，这个自己参数选的适合，出来的要比lz的效果好。 风怒 szqasd 发表于 2021-9-30 08:42
小白问一下，这个跟Topaz Gigapixel AI效果比怎么样呢？
没用过Topaz Gigapixel AI
说说这个模型可能处理不好的地方，首先是论文中出现的例子：
1.猜错线条 2.把砖块还原成其他虚构的图案 3.石碑上的纹理还原不好
看一下我的例子，请斟酌一下：
原图是黑丝质感(带了一些噪声)：
，
超分辨率后是可怕的纹理
另一个例子，是因为低分辨率采样导致字体的横竖有些模糊：
但是还原的结果会更歪一些(薄字中央放大看完全歪了)，血条的渐变处理得也不好
总而言之模糊得又像噪点又像图案的，有一定几率把图案还原错，也有一定几率当成噪点抹平
别看我举得处理不好的例子，其实如果你手里的小图也没有这种噪点和纹理并存的区域，预期还原的结果画面应当是比较干净时，使用效果还挺好的
lwa190212 发表于 2021-9-30 10:16
没用过Topaz Gigapixel AI
说说这个模型可能处理不好的地方，首先是论文中出现的例子：
感谢说明 szqasd 发表于 2021-9-30 08:42
小白问一下，这个跟Topaz Gigapixel AI效果比怎么样呢？
刚好测试完这两者, gigapixel那个描边效果更垃圾, 这个效果还是非常棒的
原图:
https://z3.ax1x.com/2021/09/30/4IJjfI.png
gigapixel:
https://z3.ax1x.com/2021/09/30/4IJqTH.png
real-esrgan:
https://z3.ax1x.com/2021/09/30/4IY4EQ.png
综合来讲, 效果还是可以的, 可以替换掉gigapixel了 acg的图片搞起来还行，三次元的话，描边还是不真实。 例图的黑猫警长和灰太狼已经把我看吐了。黑猫警长噪声多，蓝底最终效果有杂色，可以理解；灰太狼那眼睛下边缘真的是曲线吗…右上耳朵描边宽度也不行 有没有超能力者知道他这个release的exe文件是怎么打包的？我用pyinstaller和nuitka打的包只要沾了tensorflow、pytorch之类的库就都是几百M起步，他这个可执行文件居然只有4M，太羡慕了 霜落xss 发表于 2021-9-30 12:02
有没有超能力者知道他这个release的exe文件是怎么打包的？我用pyinstaller和nuitka打的包只要沾了tensorflo ...
作者这里用的是ncnn进行推理，ncnn最初是用于移动端的推理引擎，也是腾讯的nihui大佬维护的。看起来是用了vulkan的API，相关的驱动系统都自带了。而TensorFlow和PyTorch直接打包包含了太多不需要的库，体积自然就很大了。 尼特geek 发表于 2021-9-30 10:40
acg的图片搞起来还行，三次元的话，描边还是不真实。
ACG图片其实也要看类型的，这算法只适合CG图以及不存在任何背景细节的ACG的人物图片，并不适用于我们平时看的Anime elxy 发表于 2021-9-30 12:51
作者这里用的是ncnn进行推理，ncnn最初是用于移动端的推理引擎，也是腾讯的nihui大佬维护的。看起来是用 ...
所以你对ncnn有所了解对嘛，能不能帮忙康康我那个issue，我到底是出了什么问题？