9102年了，有实用化的深度学习插帧软件吗？

处男鉴黄师 · 发表于 2019-8-2 00:01

提示: 作者被禁止或删除内容自动屏蔽

qwased · 发表于 2019-8-2 02:35

黄老板的超级慢动作
不过似乎还没开放使用

—— 来自 Xiaomi MI 6, Android 9上的 S1Next-鹅版 v2.1.2

laotoutou · 发表于 2019-8-2 04:24

个人觉得现在的插帧不用也罢。
也就偶尔几下平移顺滑。

Vicarious · 发表于 2019-8-2 09:25

找GitHub上的论文实现吧（

win8 · 发表于 2019-8-2 09:32

…其实不少视频的很多帧本来就是糊的。插帧也是糊上插糊。

mimighost · 发表于 2019-8-2 09:52

比较鸡肋吧，我觉得效果一般般

处男鉴黄师 · 发表于 2019-8-2 13:40

提示: 作者被禁止或删除内容自动屏蔽

KanaiYuu · 发表于 2019-8-2 17:06

cv领域，插帧太冷门了，发不了paper

伊可费斯 · 发表于 2019-8-2 20:17

提示: 作者被禁止或删除内容自动屏蔽

Sza · 发表于 2019-8-24 07:53

A厂新显卡芯片割了插帧的电路后，感觉新一代显卡自带插帧的只能看老黄家能不能放出训练包了，短期内也没得选。

临界点 · 发表于 2019-8-24 09:52

你觉得普通民用的机子能跑得动？

FirstSnow · 发表于 2019-8-24 09:59

我搞不懂为什么不少人对插帧乐此不疲

处男鉴黄师 · 发表于 2019-8-24 09:59

提示: 作者被禁止或删除内容自动屏蔽

treexper · 发表于 2019-8-24 10:31

只能做离线处理，没什么实时性能。

lyz1196 · 发表于 2019-8-24 10:36

提示: 作者被禁止或删除内容自动屏蔽

sirlion · 发表于 2019-8-24 10:45

我对帧数极其敏感，对4k完全没感觉，不知道为何这么多人追求4k

临界点 · 发表于 2019-8-24 11:48

处男鉴黄师发表于 2019-8-24 09:59
不追求实时嘛

现在有专业的应对动画制作的软件但就算运用到动画制作前端也只有日常动作才行动作镜头一复杂就没戏了

临界点 · 发表于 2019-8-24 11:50

lyz1196 发表于 2019-8-24 10:36
我一直认为追求帧率是游戏带来的影响

游戏的帧率问题跟影视的帧数是不一样的特别是动画流不流畅其实更多是原画师跟动画师的水准问题而不是张数的问题

dogfight · 发表于 2019-8-24 12:10

ggxx等游戏倒是致力于减少过度帧，做出动画般的效果

Sza · 发表于 2019-10-12 13:45

借楼问一下7楼的那个开源的超级慢动作相关问题，之前关站一个月问不了。

上次我用colab跑这个程序，用原作者提供的adobe240fps预训练模型给日本动画片段补帧，伪影严重。

目前没有N卡，不清楚训练时的显存占用和时长。我也折腾不明白别家的云计算平台。

就想问问大佬们：如果以手绘动画作为训练素材，重新生成预训练模型，效果会不会好点？考虑到律表、运动作画画面不连贯和一拍三之类的重复帧的因素。

-- 来自能搜索的 Stage1官方 iOS客户端

处男鉴黄师 · 发表于 2020-1-28 19:34

提示: 作者被禁止或删除内容自动屏蔽

elxy · 发表于 2020-1-28 19:49

处男鉴黄师发表于 2020-1-28 19:34
今天看到这个新闻，你们搞的这个东西啊，exciting

让电影动漫统统变丝滑，480帧也毫无卡顿，交大博 ...

现在这些算法要直接拿来用还有蛮多不足的，场景切换、大动作、字幕等地方都需要针对性处理。

—— 来自 Xiaomi Mi A3, Android 9上的 S1Next-鹅版 v2.2.0.1

catxing · 发表于 2020-1-28 19:50

处男鉴黄师发表于 2020-1-28 19:34
今天看到这个新闻，你们搞的这个东西啊，exciting

让电影动漫统统变丝滑，480帧也毫无卡顿，交大博 ...

厉害了这东西

real_zyf · 发表于 2020-1-28 22:20

华为那个7680fps也是号称ai插的吧

magpte · 发表于 2020-1-28 22:27

处男鉴黄师发表于 2020-1-28 19:34
今天看到这个新闻，你们搞的这个东西啊，exciting

让电影动漫统统变丝滑，480帧也毫无卡顿，交大博 ...

这东西看了一些效果图很可以了

—— 来自 Sony G8142, Android 9上的 S1Next-鹅版 v2.2.0.1

lixianfyss · 发表于 2020-1-29 02:57

处男鉴黄师发表于 2020-1-28 19:34
今天看到这个新闻，你们搞的这个东西啊，exciting

让电影动漫统统变丝滑，480帧也毫无卡顿，交大博 ...

真是厉害，不知道训练要多久。

567478 · 发表于 2020-1-29 19:24

处男鉴黄师发表于 2019-8-2 13:40
这种效果已经可以了
https://github.com/avinashpaliwal/Super-SloMo

MARK

伊可费斯 · 发表于 2020-2-3 12:23

提示: 作者被禁止或删除内容自动屏蔽

Sza · 发表于 2020-2-3 14:26

本帖最后由 Sza 于 2020-2-3 14:29 编辑

伊可费斯发表于 2020-2-3 12:23
加长测试了下国内那个，实拍效果更好。 https://weibo.com/1937849871/IssKsv9BF

评论区分享的那个插帧软件挺有趣，用SVP之类的插值算法多次升降帧数并压制，可能对ACG内容更友好。

我之前发帖的时候楼里一位网友同样推荐了DAIN。看了下它训练用的训练集是“Vimeo90K triplet dataset”，都是连续三帧图像为一组的数据集。
这种数据集来训练可能有其局限性，比如在手绘动画那种1秒8~12张原画张&动画张+12~16张重复帧的情况下，对物体的变加速运动和周期运动预测会和实际有误差，比如说钟摆运动。
再加上和手绘动画格格不入的涂抹感，这种算法还是插摄影素材更合适。
如果想用来插电视剧或者电影可能都不合适。楼上也有人说了，目前的版本对“场景切换、大动作、字幕”处理有不足，插值用时又需要70倍以上的原视频时长。

暗铁 · 发表于 2020-2-3 19:06

动画插帧出来总感觉一股劣质3D味

Sza · 发表于 2020-2-3 19:38

本帖最后由 Sza 于 2020-2-4 04:45 编辑

暗铁发表于 2020-2-3 19:06
动画插帧出来总感觉一股劣质3D味

我看了优土be的演示视频，感觉太过平滑。
这么说起来倒是可以反过来想，优秀3D动画是怎么处理力度感的，可能是抽张的一拍二动画，可能它们最多是24帧/秒的一拍一动画，也可能它们在60帧/秒下用了其他的技法。我觉得对动画补帧来说，目前的60帧or120帧是伪需求，实际需求是需要24帧的全动作动画。保留每秒8~12张原画帧，有选择的删除剩下的重复帧，根据运动规律补足剩下的帧数，使视频回到24帧。
这样可能就不会有奇怪的流畅感，不过实际产物就如同某个B站视频说的“大塚康生：(手冢先生的虫制作公司)确实是在用一拍二作画没有错，但是只不过是将原本用在一拍三上的原画和原画之间改变动画张数而已，一拍二特有的画法也好细致之处也好完全没有加进去”。软件插帧到一拍一还是有限动画，只是这样插值力度感保留了，动作更流畅了，但人物动作还是简化的。
目前的DAIN我想是做不到这种效果的。之前我试了下动画去除重复帧后用superslomo插帧，画面涂抹严重的看不下去，不过深度学习插帧的效果还是很amazing

mcq_2 · 发表于 2020-2-3 20:10

sirlion 发表于 2019-8-24 10:45
我对帧数极其敏感，对4k完全没感觉，不知道为何这么多人追求4k

你屏幕不够大

mcq_2 · 发表于 2020-2-3 20:14

本帖最后由 mcq_2 于 2020-2-3 20:16 编辑

Sza 发表于 2020-2-3 19:38
我看了优土be的演示视频，感觉太过平滑。
这么说起来倒是可以反过来想，优秀3D动画是怎么处理力度感的，可 ...

24帧没问题的，问题是快速动作的过渡帧动画大家都在偷工减料，过渡帧画面的变形就没花心思做，流畅感当然打折扣，其实怎么省钱怎么来没什么错就是了。最近那部蜘蛛侠删了所有的过渡帧，看的眼睛疼。

Sza · 发表于 2020-2-3 20:23

mcq_2 发表于 2020-2-3 20:14
24帧没问题的，问题是快速动作的过渡帧动画大家都在偷工减料，过渡帧画面的变形就没花心思做，流畅感当然 ...

就是省钱嘛，一拍二一拍三混用加上作画缩水。关键帧、过渡帧和重复帧混在一起的24帧动画，深度学习不看律表帧数插上天都救不了 ——鲁迅

暗铁 · 发表于 2020-2-3 21:14

Sza 发表于 2020-2-3 19:38
我看了优土be的演示视频，感觉太过平滑。
这么说起来倒是可以反过来想，优秀3D动画是怎么处理力度感的，可 ...

优秀的3D动画是原生60帧的动作捕捉吧，纸片人一拍三这种你补成线性运动没有意义啊

—— 来自 samsung SM-G9650, Android 9上的 S1Next-鹅版 v2.2.0.1

Sza · 发表于 2020-2-3 21:21

暗铁发表于 2020-2-3 21:14
优秀的3D动画是原生60帧的动作捕捉吧，纸片人一拍三这种你补成线性运动没有意义啊

—— 来自 sam ...

我不清楚手绘的一拍一的全动作动画插到60帧及以上会有不自然感吗？有的话还是得抽张。。。

mcq_2 · 发表于 2020-2-4 00:36

Sza 发表于 2020-2-3 21:21
我不清楚手绘的一拍一的全动作动画插到60帧及以上会有不自然感吗？有的话还是得抽张。。。 ...

有个帖子讲为什么真人电影24帧就很流畅，而游戏144帧还觉得卡。问题是实景拍摄的24帧画面你暂停下来看基本都是模糊的代拖尾的，尤其在影视作品里，大量随机的这种画面的动态变形不是你插帧能弥补的。往往最终插出来的效果就是更卡顿。忽快忽慢。

Sza · 发表于 2020-2-4 04:21

mcq_2 发表于 2020-2-4 00:36
有个帖子讲为什么真人电影24帧就很流畅，而游戏144帧还觉得卡。问题是实景拍摄的24帧画面你暂停下来看基本 ...

我看以前的一集B站视频的解释（av5824251)，视频流畅与否还是看张数。游戏60帧和电影24帧相比不流畅是因为游戏实时生成每帧时间不一致，3D动画没动态模糊一样流畅（视频中用秦时明月电影和定格动画举例）。看看啥时候软件算法能以假乱真吧，大幅度不规则形变确实不好处理。。。

mcq_2 · 发表于 2020-2-4 09:17

Sza 发表于 2020-2-4 04:21
我看以前的一集B站视频的解释（av5824251)，视频流畅与否还是看张数。游戏60帧和电影24帧相比不流畅是因 ...

现在纯增加帧数的做法可能还是有点问题。大方向还是简单的把24帧插到60帧。这就跟李安的120帧电影一样。即便技术成熟了能补到120帧了，但是就拿实拍片来说，120帧对比24帧，观赏差异依然很大。我想是不是能直接用算法修改中间帧画面的几何变形，来实现24帧动画更流畅的目的。

Sza · 发表于 2020-2-4 09:29

本帖最后由 Sza 于 2020-2-4 10:33 编辑

mcq_2 发表于 2020-2-4 09:17
现在纯增加帧数的做法可能还是有点问题。大方向还是简单的把24帧插到60帧。这就跟李安的120帧电影一样。 ...

你说的就是提取视频中的实际原画帧，去除重复帧再插帧嘛。之前的帖子里有网友说可能要用到GAN，那样的算力开销我有点不敢想象。
隔壁chh 17年也有人讨论过插帧，树导提到过GAN补间动画（ https://www.chiphell.com/forum.php?mod=viewthread&tid=1770248&ordertype=1&page=1。）
楼里提到的动画业界用的插值方法这季新番的映像研里也展示过，能做简单运动的补帧，我贴个截图。说起来我记得汤浅监督之前的动画也用过flash之类的软件制作（ https://www.bilibili.com/video/av38772248/。）

		自动登录	找回密码
密码			立即注册

处男鉴黄师处男鉴黄师当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2019-6-1 头像被屏蔽	发表于 2019-8-2 00:01 \| 显示全部楼层 \|阅读模式提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

处男鉴黄师处男鉴黄师当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2019-6-1 头像被屏蔽	楼主\| 发表于 2019-8-2 13:40 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

伊可费斯伊可费斯当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2018-3-5 头像被屏蔽	发表于 2019-8-2 20:17 来自手机 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

处男鉴黄师处男鉴黄师当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2019-6-1 头像被屏蔽	楼主\| 发表于 2019-8-24 09:59 来自手机 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

lyz1196 lyz1196 当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2013-11-6 头像被屏蔽	发表于 2019-8-24 10:36 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

处男鉴黄师处男鉴黄师当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2019-6-1 头像被屏蔽	楼主\| 发表于 2020-1-28 19:34 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

伊可费斯伊可费斯当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2018-3-5 头像被屏蔽	发表于 2020-2-3 12:23 来自手机 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

[软件] 9102年了，有实用化的深度学习插帧软件吗？