Loading...
谷歌的AutoFlip使用人工智能为你裁剪视频
勿扰心安 发布于 02/14 11:29 浏览 100 点赞 0 收藏 0

为电视拍摄和编辑的视频通常是在横向创建和观看,但问题是,像16:9和4:3这样的高宽比并不总是适合用于观看的显示器。幸运的是,谷歌正在处理这个问题。今天它详细介绍了AutoFlip,一个用于智能视频重构的开源工具。在给定视频和目标维数的情况下,分析视频内容,制定最优的跟踪和裁剪策略,然后在期望的长宽比下生成持续时间相同的输出视频。

谷歌Research的高级软件工程师Nathan Frey和高级软件工程师Zheng Sun在一篇博客文章中指出,传统的视频重构方法通常涉及静态裁剪,这往往会导致不满意的结果。更多的定制方法是更好的,但它们通常需要视频管理员手动识别每一帧的突出内容,跟踪它们在帧与帧之间的转换,并在整个视频中相应地调整作物区域。

相比之下,AutoFlip是完全自动的,这要归功于人工智能对象检测和跟踪技术,这些技术能够智能地理解视频内容。系统检测组成中表示场景变化的变化,以便隔离场景进行处理。在每个镜头中,它使用视频分析来识别突出的内容,然后重新构建场景,主要是通过选择一个优化的相机模式和路径。

为了检测视频中的镜头何时变化,AutoFlip计算每一帧的颜色直方图,并将其与之前的帧进行比较。如果帧颜色的分布变化的速度不同于滑动的历史窗口,则会发出镜头变化的信号。AutoFlip会缓冲视频,直到场景完成,然后再做出重新构图的决定,从而优化整个场景的重新构图。

AutoFlip还利用基于AI的对象检测模型来发现框架中有趣的内容,比如人、动物、文本覆盖、标识和运动。人脸和目标检测模型与AutoFlip through MediaPipe集成在一起,该框架支持开发处理多模态数据的管道,它在处理器上使用了谷歌的TensorFlow Lite机器学习框架。根据谷歌,这个结构允许AutoFlip可扩展,因此开发人员可以为不同的用例和视频内容添加检测算法。

AutoFlip会根据物体在场景中的行为方式,自动选择重建策略——静止、平移或跟踪。在固定模式下,重新定义的摄像机视口被固定在一个位置上(像一个固定的三脚架),在这里重要的内容可以在大部分场景中被看到。另一方面,平移模式以恒定的速度移动视口,而跟踪模式在物体在框架内移动时提供连续稳定的跟踪。

根据选择的重新构建策略,AutoFlip确定每个框架的裁剪窗口,同时保留感兴趣的内容。配置图提供了重新构建的设置,这样,如果无法覆盖所有需要的区域,系统将自动切换到一个不太积极的策略,通过应用信箱效应,填充图像来填充框架。AutoFlip将绘制背景颜色(如果是纯色),以确保填充混合,或者使用原始框架的模糊版本。

研究者留给未来的工作改善AutoFlip探测的能力”对象相关视频的目的”,如扬声器检测接受采访或动画卡通人脸检测,并确保输入视频覆盖在屏幕的边缘(如文字或标识)不出现的观点。但他们断言,即使以目前的形式,AutoFlip也会“减少……设计创意的障碍”。

“通过结合文本/标志检测和图像绘制技术,我们希望未来版本的AutoFlip可以重新定位前景对象,以更好地适应新的长宽比。在需要填充物的情况下,深层uncrop技术可以提供改进的能力,扩展到原始可视区域之外,”Frey和Sun写道。“我们很高兴能将这个工具直接发布给开发者和电影制作人,减少他们设计创意的障碍,并通过视频编辑的自动化来实现。”随着视频内容消费设备的多样性继续迅速增加,使任何视频格式适应各种长宽比的能力变得越来越重要。”


声明:本文由易百纳技术社区编写,文章内容来自venturebeat,版权归原作者所有,转载请注明出处,如有侵权请联系删除。

hahahahah

*本文仅代表作者观点,不代表易百纳技术社区立场。系作者授权易百纳技术社区发表,未经许可不得转载。

精彩评论

内容存在敏感词
打赏
打赏作者
勿扰心安
您的支持将鼓励我继续创作!
金额:
¥1 ¥5 ¥10 ¥50 ¥100
支付方式:
微信支付
支付宝支付
微信支付
打赏成功!

感谢您的打赏,如若您也想被打赏,可前往 发表专栏 哦~

易百纳技术社区
确定要删除此文章、专栏、评论吗?
确定
取消
易百纳技术社区