首页专栏详情
打赏
海侃|海思V900 MEMC:披着青铜外衣的王者
易百纳技术社区 四叶草~ 2022-02-21 09:00:27
在开始介绍今天的主角前
我们先看一段对比影片
👇👇👇

钢铁侠的变身让相信大家对于60fps VS 24fps的对比已经心里有数,画面流畅性上前者吊打后者,因此画面的流畅感和视频的帧率(Frame Rate)有很大的关系。
 
帧率的单位为 fps(frame per second),即每秒播放多少帧画面。当前主流电影的帧率为24fps,而早期的电影拍摄和播放的帧率是不固定的,一般拍摄帧率在16fps到24fps之间,播放的帧率一般在22fps到26fps之间。比如大家熟悉的卓别林的电影,播放的时候有点像快进,导演有时会用帧率的变化来传递不同的情绪。

1926年有声电影推出时,研究发现人耳对音频的变化更敏感,削弱了人对电影帧率变化的关注,而大部分无声电影使用22至26帧/秒播放,所以选择中间值24帧/秒作为有声电影的帧率,大致在1930年,24帧/秒成为35mm有声电影的标准。
 
电影和电视帧率不一 ,易造成抖动


大家常看的电视剧和综艺节目,帧率为25fps或30fps。电视主流的制式PAL(50Hz)和NTSC(60Hz),采用25fps或30fps拍摄正好和电视机的扫描频率成整数倍关系,所以看电视的时候大家不会感觉有明显的抖动,然而在电视上看电影或美剧(多采用24fps拍摄)时,则会不同程度感觉到运动不连续或抖动。

主流消费级显示设备(显示器、电视机、投影仪)的刷新频率一般为60Hz,少数高端产品会有120Hz、144Hz等面板。对于60Hz刷新率而言,去播放一个24Hz的片子,60不是24的整数倍,所以必须采取3:2 pull down的方式进行帧重复(即第一帧重复3次,第二帧重复2次,第三帧再重复3次,第四帧再重复2次……)这样就把24“fps”的视频各帧“相对均匀”地分配到了60Hz的播放设备上。再加之显示设备的响应速度(response time)有制约,导致视频看起来有点不连续和抖动(judder)。
 
电影观感就是比电视强,为啥?


为什么judder在电影院里是不存在的?因为放映机直接就是24Hz的刷新率,不需要 pull up或pull down,保证为24Hz原汁原味,所以电影院的观感上会比电脑、电视上看起来好很多。目前只非常少的几部电影有采用 48fps 及更高帧率拍摄,如《霍比特人》(48fps)、《比利林恩的中场战事》(120fps)。

⬆️ 这是一个足球的实际运动轨迹
⬆️ 这是用24帧的摄像机拍摄下来的足球轨迹
⬆️ 我们在电视上实际看到的足球
⬆️ 在电视上实际看到的足球轨迹图


从上面的图,明显看出足球实际的运动轨迹和最终电视上看到的轨迹差别比较大。将两张图叠起来大家就更容易看出来。

⬆️ 足球在飞行的过程中,会看到运动不连续和抖动
 
显示尺寸越大抖动越明显

很多人会发现在手机或PAD这类小的屏幕上足球的抖动就不明显,而在55寸或75寸的大屏幕电视上这个抖动就会非常明显,这是由于屏幕尺寸变大以后运动的不连续会被放大,有些对抖动敏感的人会有眩晕的感觉。

解决问题需要运用MEMC的技术


讲解完这个电视中存在的judder的问题以后,那有没有办法去掉这个judder呢?OK,那就需要讲到今天我们介绍的技术了MEMC(motion estimation and motion compensation)。

 

运动预估与运动补偿,简单的字面解释就是基于物体运动的轨迹进行预测,并根据预测的结果来插入一个运动的中间状态来改善judder。
 
运用MEMC的技术,就是通过对图像里物体的运动轨迹(运动矢量)检测,在原始帧中间插入运算后的补偿帧来提升画面的流畅性:


以把24fps插帧到60fps举例,原来的画面次序是这样的:

1   2   3   4   5   6…

按3:2 pull down的顺序插帧

1   1a  1b  2   2a  3   3a  3b  4   4a  5   5a  5b  6   6a…

这样原来24帧的画面就通过计算插帧变成了60帧的画面了
去除果冻效应有高招


由于所有新增的帧都是运动预测计算出来的,因此预测失误可能会带来副作用,预测算法的优劣,直接影响副作用大小,比较明显的就是果冻效应或光环“halo”。



左侧是国内已经上市的某品牌电视MEMC产品的效果图,右侧是海思最新的MEMC算法的效果图,通过对人物运动的轨迹精确的计算,可以减少halo的效应。
 
另外一项在MEMC插帧算法中会出现的小物体运动的物体丢失。

大家会发现图2插入的帧足球消失了,为什么呢?大部分的MEMC算法模块中,采用块匹配的方法计算相邻的帧之间物体的运动相关性,也就是把图像切成16x16或32x32像素矩阵的块,再根据物体的运动矢量(mv)进行插值,由于算法是基于图像的块进行计算而非像素级(每个像素进行计算,计算量成几何级数上升,从芯片成本和可实现性上来看无法实现)导致对于小物体的运动矢量估计不准确,会导致小物体的丢失或出现重叠的现象。
 
海思算法让“消失的足球”回来啦


为了改善小物体的运动,海思芯片算法基于当前帧的频率特征计算图像块的运动矢量,这样就能改善小物体的运动矢量计算,大家看图3,消失的足球又回来了。

很多人有在手机端看视频的经历,同样的视频在手机屏上看没有卡顿的感觉,但在电视上看会发现有明显的视频不流畅的问题。这是由于大部分网络视频流都是24/25/30fps帧率,而在手机屏上由于物体相同时间内从位置A到位置B的移动距离远远小于电视屏幕,通常液晶电视屏的尺寸一般是手机屏的8-10倍,导致低帧率的视频在电视侧更需要MEMC的技术来消除Judder。

 

NO.1做到8K MEMC整合8K SoC内的芯片


8K的电视是4K电视分辨率(像素点)的4倍,而且8K电视的主流尺寸是70-90寸,还有土豪喜欢的110寸,所以MEMC效果的好坏直接影响到电视用户的观影体验。

 

海思最新的8K芯片Hi3751V900是第一家把8K MEMC整合到8K SoC内的芯片,把MEMC内置到8K主SoC里面可以和8K画质模块更好的配合,为消费者完美呈现8K身临其境的画质体验。小伙伴们是不是迫不及待就想看到基于海思最新8K芯片,8K MEMC的画质效果了?

以上视频及图片仅用于解释及描述技术特性



往期推荐

《海思:我在绘制一张通往智能世界的地图?》

《上海海思熊伟:如何筑就通往智能世界之路?》



如有兴趣,可扫描下方二维码关注留言,感谢!



【关于我们】上海海思技术有限公司是全球领先的Fabless半导体设计公司。全球设有12个能力中心,面向城市、家庭及出行三大应用场景,提供领先、创新、安全可靠的芯片与解决方案,业务覆盖100多个国家及地区。

转载:上海海思

837
收藏
点赞
打赏
给作者打赏,鼓励他抓紧创作吧~
元宇宙(Metaverse)
评论
0个
内容存在敏感词
相关专栏
点击登录
-- 积分
-- EBC
专栏
收益
评论
我要创作
打赏作者
四叶草~
您的支持将鼓励我继续创作!
打赏金额:
¥1
¥5
¥10
¥50
¥100
支付方式:
微信支付
支付宝支付
微信支付
打赏成功!

感谢您的打赏,如若您也想被打赏,可前往 发表专栏 哦~

审核失败

失败原因
备注
Loading...
易百纳技术社区
确定要删除此文章、专栏、评论吗?
确定
取消
易百纳技术社区
在专栏模块发布专栏,可获得其他E友的打赏
回答悬赏问答,被题主采纳后即可获得悬赏金
在上传资料时,有价值的资料可设置为付费资源
达到一定金额,收益即可提现~
收益也可用来充值ebc,下载资料、兑换礼品更容易
活动规则
  • 1.周任务为周期性任务,每周周一00:00刷新,上周完成的任务不会累计到本周,本周需要从头开始任务,当前任务完成后才可以完成下一个任务
  • 2.发布的专栏与资料需要与平台的板块有相关性,禁止注水,专栏/资料任务以审核通过的篇数为准
  • 3.任务完成后,现金奖励直接打款到微信账户;EBC/收益将自动发放到个人账户,可前往“我的钱包”查看;其他奖励请联系客服兑换
  • 4.每周最后三个任务将会有以下奖品掉落:社区热卖开发板、小米音响、视频年度会员、京东卡、华为手机等等