全平台AI视频补帧工具(DAIN/CAIN/RIFE-ncnn-vulkan)

原创
2020/12/23 12:21
阅读数 8.7K

点击上方AI算法与图像处理”,选择加"星标"或“置顶

重磅干货,第一时间送达

话说Happy很早之前就在关注nihui大佬的NCNN版本的视频插帧工具了,大概是在CAIN吧,也是从那个时候起开始对视频插帧产生了兴趣。现在DAIN 、CAIN、RIFE三个优秀视频插帧工具来了,感兴趣的同学建议去下载试用一下。

注:本文已获作者授权转载,转载请联系作者。

https://zhuanlan.zhihu.com/p/338258331

编辑:AI walker

功能

支持的操作系统

  • Windows
  • Linux
  • MacOS(Happy体验过多次,切实好用,哈哈)

支持的显卡

  • Nvidia
  • AMD
  • Intel
  • Apple (Apple M1)

特性

DAIN 支持任意时刻点补帧,如0.1,0.3,0.99这样,速度较慢,显存占用高 CAIN/RIFE 只支持0.5时刻点补帧,速度较快,显存占用低

下载地址

  • DAIN:https://github.com/nihui/dain-ncnn-vulkan/releases
  • CAIN:https://github.com/nihui/cain-ncnn-vulkan/releases
  • RIFE:https://github.com/nihui/rife-ncnn-vulkan/releases

用法简介

  1. 下载对应软件包zip + 模型包zip,解压到同一个目录中
  2. ffmpeg 视频抽帧到文件夹 + 解出音频
  3. 使用本AI视频补帧工具(DAIN/CAIN/RIFE),进行图片文件夹到文件夹补帧运算
  4. ffmpeg 将补好帧的图片文件 + 音频编码为最终视频
mkdir input_frames
mkdir output_frames

# find the source fps and format with ffprobe, for example 24fps, AAC
ffprobe input.mp4

# extract audio
ffmpeg -i input.mp4 -vn -acodec copy audio.m4a

# decode all frames
ffmpeg -i input.mp4 input_frames/frame_%06d.png

# interpolate 2x frame count
./rife-ncnn-vulkan -i input_frames -o output_frames

# encode interpolated frames in 48fps with audio
ffmpeg -framerate 48 -i output_frames/%08d.png -i audio.m4a -c:a copy -crf 20 -c:v libx264 -pix_fmt yuv420p output.mp4

开源项目地址

  • https://github.com/baowenbo/DAIN
  • https://github.com/myungsub/CAIN
  • https://github.com/hzwer/arXiv2020-RIFE
  • https://github.com/nihui/dain-ncnn-vulkan
  • https://github.com/nihui/cain-ncnn-vulkan
  • https://github.com/nihui/rife-ncnn-vulkan

效果展示

输入两张图,中间补一帧

DAIN效果如下:CAIN效果如下:RIFE效果如下:

注:banner原作:https://www.pixiv.net/artworks/84655195



下载1:何恺明顶会分享


AI算法与图像处理」公众号后台回复:何恺明,即可下载。总共有6份PDF,涉及 ResNet、Mask RCNN等经典工作的总结分析


下载2:leetcode 开源


AI算法与图像处理」公众号后台回复:leetcode,即可下载。每题都 runtime beats 100% 的开源好书,你值得拥有!



下载3 CVPR2020

AI算法与图像处公众号后台回复: CVPR2020 即可下载1467篇CVPR 2020论文
  
      
      
      
个人微信(如果没有备注不拉群!
请注明: 地区+学校/企业+研究方向+昵称


觉得不错就点亮在看吧


本文分享自微信公众号 - AI算法与图像处理(AI_study)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

展开阅读全文
打赏
0
2 收藏
分享
加载中
更多评论
打赏
0 评论
2 收藏
0
分享
返回顶部
顶部