出自谷歌博客

机器之心编译程序

参加：一鸣、思

剪裁视频无需愁，Google AutoFlip 完成全自动视频剪辑。视频尺寸、精彩文章全都自动化技术。

由于手机平板等各种各样智能终端五花八门，制片人拍个视頻也要裁剪成各种各样规格，便于派发到各种各样的渠道。殊不知，假如要聚焦点于具体内容，那麼能跟踪行为主体，并剪裁视频宽度规格的工作能力就不可或缺了。

前不久，Google开源系统了 AutoFlip 专用工具。这是一个开源系统的智能化视频剪裁架构，其根据Google MediaPipe 架构。

新项目详细地址：https://github.com/google/mediapipe

在应用全过程中，只必须将一段视頻和总体目标层面（如提取的宽高比种类）做为键入，AutoFlip 会剖析视頻內容并明确提出一个提升途径和剪裁对策，最终輸出一段视頻。以下动态图所显示，我们可以挑选各种各样裁剪宽高比与裁剪方式：

AutoFlip 是啥

AutoFlip 为智能视频调节出示了一套自动式的解决方法，它依靠当今顶级的目标检测与跟踪实体模型了解视頻內容。AutoFlip 会检验表明情景转变的构图法转变，便于分离出来出情景开展进一步的解决。在每一个摄像镜头中，它会应用视频采集鉴别重新构建情景以前的关键內容，其重新构建情景关键根据挑选对于内容优化的照相机方式和途径。

视频剪裁三步走，检验摄像镜头级的视頻界限、剖析视頻內容随后再依据要求开展裁剪。

摄像镜头检验

视頻可被视作是一段沒有终断的摄像镜头或情景编码序列。为了更好地检验是不是发生了摄像镜头的转变，AutoFlip 测算每一帧的颜色值，并和前一帧开展比照。假如颜色值的遍布发生了显著转变，则标识摄像镜头的更改。在得到视频剪辑对策前，AutoFlip 会缓存文件全部视頻，用以对全部情景开展提升。

视頻评析

为了更好地从视頻中寻找趣味的视频剪辑精彩片段，AutoFlip 选用了深度神经网络目标检测实体模型。趣味的视频剪辑精彩片段通常包括动物和人，可是别的原素还可以被鉴别出去，例如文字和广告宣传 logo，健身运动中的球和姿势的捕获等。

深度神经网络实体模型对健身运动的人或面部开展了鉴别。

视频剪辑

在每一帧找到兴趣爱好总体目标后，AutoFlip 全自动挑选优化策略——静态数据的、追拍或跟踪的，这种在于总体目标在视頻中的个人行为。如下图所显示，第一行是 AutoFlip 依据帧级的界限框跟踪到的照相机途径，第二行是光滑后的照相机途径。历经平滑处理后，跟踪实际效果還是较为理想化的。

左图总体目标在界面移动必须跟踪照相机途径；下图基本上固定不动在界面同样的部位，静态数据照相机途径就充足了。

AutoFlip 有一个特性图，能够出示最好实际效果或自定要求的视频剪辑。假如遮盖全部必须的地区不可以完成（如总体目标在一帧视頻中看起来很大），AutoFlip 则会全自动转换到相对性不那麼激进派的对策上。它会运用「邮箱效用：letterbox effect」，在维持初始视频尺寸的另外加上显示屏黑框，让界面更当然。

针对下图规定视頻包揽任何人脸，AutoFlip 会填充透明色黑框以考虑设置的视頻宽高比。

由于 AutoFlip 是 MediaPipe 的一部分，因此针对实际如何使用，阅读者可查看详细介绍文本文档

文本文档详细地址：https://github.com/google/mediapipe/blob/master/mediapipe/docs/autoflip.md

最终，和其他深度学习优化算法一样，AutoFlip 的特性会伴随着目标检测等工作能力的提高而大大的提升，尤其是衍化出去的工作能力，比如访谈摄像镜头中的讲话人检验或日本动漫中的小动物脸检验这些。

自然，现阶段 AutoFlip 也有挺多提高的地区，尤其是当视頻边沿有较为关键的文字信息内容等。Google事后也期待 AutoFlip 能进一步结合自然语言理解解决等技术性完成更有效的视頻智能化裁剪。

全文详细地址：https://ai.googleblog.com/2020/02/autoflip-open-source-framework-for.html

推荐阅读：海峡投资网