首页专栏详情
打赏
Google使用AI追踪2D视频中的3D对象
易百纳技术社区 tomato 2020-03-12 11:25:13

配合2020年TensorFlow开发者峰会的开幕,谷歌今天发布了一个名为Objectron的管道,它可以在2D图像中发现物体,并通过人工智能模型估计它们的姿态和大小。该公司表示,它对机器人、自动驾驶汽车、图像检索和增强现实技术都有意义——例如,它可以帮助工厂车间的机器人实时避开障碍物。

跟踪3D对象是一项复杂的工作,特别是在处理有限的计算资源(如智能手机系统上的芯片)时。当仅有的图像(通常是视频)是2D的时候,由于缺乏数据和对象的外观和形状的多样性,这就变得更加困难了。

然后,由Objectron支持的Google团队开发了一个工具集,该工具集允许注释者使用分屏视图显示2D视频帧来标记对象的3D边界框(即矩形边框)。3D边界框与点云、摄像机位置和探测平面一起覆盖在上面。注释器在3D视图中绘制3D边界框,并通过查看2D视频帧中的投影来验证它们的位置,对于静态对象,只需在单一帧中注释目标对象。该工具使用来自AR会话数据的ground truth摄像机位姿信息将对象的位置传播到所有帧。

为了补充现实世界的数据以提高AI模型预测的准确性,该团队开发了一种引擎,将虚拟对象放置到包含AR会话数据的场景中。这样就可以使用摄像机的姿势,检测到的平面表面以及估计的照明来生成与场景匹配的光照在物理上可能的位置,从而产生高质量的合成数据,其中包含的渲染对象尊重场景的几何形状并无缝地适合真实背景。在验证测试中,综合数据的准确性提高了约10%。

更好的是,该团队表示,当前版本的Objectron模型足够轻巧,可以在旗舰移动设备上实时运行。借助LG V60 ThinQ,三星Galaxy S20 +和Sony Xperia 1 II等手机中的Adreno 650移动图形芯片,它能够每秒处理约26帧。



Objectron在MediaPipe中可用,MediaPipe是一个框架,用于构建跨平台的AI管道,该管道包括快速推理和媒体处理(如视频解码)。提供训练有素的识别鞋子和椅子的模型,以及端到端演示应用程序。

该团队表示,将来计划与研发社区共享其他解决方案,以刺激新的用例,应用程序和研究工作。此外,它打算将Objectron模型扩展到更多类别的对象,并进一步提高其在设备上的性能。


声明:本文由易百纳技术社区编写,文章内容来自venturebeat,版权归原作者所有,转载请注明出处,如有侵权请联系删除。

1074
收藏
点赞
打赏
给作者打赏,鼓励他抓紧创作吧~
===============
评论
0个
内容存在敏感词
相关专栏
打赏作者
易百纳技术社区
tomato
您的支持将鼓励我继续创作!
打赏金额:
¥1 易百纳技术社区
¥5 易百纳技术社区
¥10 易百纳技术社区
¥50 易百纳技术社区
¥100 易百纳技术社区
支付方式:
微信支付
支付宝支付
易百纳技术社区 微信支付
易百纳技术社区
打赏成功!

感谢您的打赏,如若您也想被打赏,可前往 发表专栏 哦~

审核成功

发布时间设置
发布时间:

审核失败

失败原因
备注
Loading...
易百纳技术社区
确定要删除此文章、专栏、评论吗?
确定
取消
易百纳技术社区
易百纳技术社区
在专栏模块发布专栏,可获得其他E友的打赏
易百纳技术社区
回答悬赏问答,被题主采纳后即可获得悬赏金
易百纳技术社区
在上传资料时,有价值的资料可设置为付费资源
易百纳技术社区
达到一定金额,收益即可提现~
收益也可用来充值ebc,下载资料、兑换礼品更容易
易百纳技术社区
活动规则
  • 1.周任务为周期性任务,每周周一00:00刷新,上周完成的任务不会累计到本周,本周需要从头开始任务,当前任务完成后才可以完成下一个任务
  • 2.发布的专栏与资料需要与平台的板块有相关性,禁止注水,专栏/资料任务以审核通过的篇数为准
  • 3.任务完成后,现金奖励直接打款到微信账户;EBC/收益将自动发放到个人账户,可前往“我的钱包”查看;其他奖励请联系客服兑换
  • 4.每周最后三个任务将会有以下奖品掉落:社区热卖开发板、小米音响、视频年度会员、京东卡、华为手机等等
易百纳技术社区
升级提醒
易百纳技术社区

恭喜您由入门

社区送出礼品一份

请填写您的收件地址,礼品将在3个工作日寄出

易百纳技术社区