竞技宝官网_首页_竞技宝官网官网

0930-56375225

在线客服| 微信关注
当前位置: 首页 > 后期工艺

首页_谷歌用MediaPipe实现手机高效实时3D对象检测


竞技宝官网:(影像维度网2020年0~3月12日)对象检查是普遍研究的计算机视觉问题,但很多研究集中在2D对象预测上。 2D预测只能取得2D边界板,但通过将预测扩展到3D,可以捕捉对象的现实世界的大小、方位、方向,可以在机器人技术、汽车驾驶、图像检索、增强现实等领域构筑一系列用例。

与成熟期相比,2D对象检查在业界得到了广泛的应用,但由于数据不足、对象的外观和形状的多样性,基于2D图像的3D对象检查依然是非常具有挑战性的课题。 针对这个问题,谷歌日前发布了动态3D对象检测管MediaPipe Objectron,将其用作日常对象。 该工具可以检测2D图像中的对象,使用从新的3D数据集展开训练的机器学习模型来估计其姿势和大小。

MediaPipe是源代码的跨平台框架,主要用于构建处理不同形式的感觉数据的管线。 Objectron由MediaPipe构建,需要在移动设备上动态计算面向对象的3D边界板。

从单张图像展开3D对象检测。 MediaPipe Objectron可以反对移动设备动态确认日常对象的方向、方向和大小。 1 .依赖于提供真实世界3D训练数据的3D传感器(例如LIDAR )的自动驾驶车研究正在普及,因此业界不存在作为街道视图使用的大量3D数据,但包括面向日常对象的ground truth 3D注释的德为了解决这个问题,谷歌团队利用移动增强现实为数据开发了新的数据管道。

随着ARCore和ARKit的到来,数亿智能手机已经具备AR功能,在AR不会说话之前需要捕获更多的信息。 还必须估计camera姿势、稠密3D点云、灯光和平面。

为了标记ground truth数据,团队构建了一个复杂的注释工具,使AR不能说话数据,并允许Annotator缓慢地标记对象的3D边界板。 工具利用画面分割视图显示2D视频帧,在左侧变换3D边界板,在右侧显示3D点群、照相机方位、检测面。

Annotator在3D视图中绘制3D边界板,并参照2D视频帧的投影来确定方向。 对于静态对象,必须在单个帧中注释对象,并使用来自AR会话数据的ground truth camera姿势信息将方向传播到所有帧。

这可以大大提高工艺的效率。 用作3D对象检测的现实数据注释。 右:在3D世界中检测曲面和点云标签3D边界板。 左:带注释的3D边界板的投影转换为视频帧,然后检查注释。

2 .加强现实制造数据的生成将提高预测的精度,一种风行的方法是用制造数据补充现实世界的数据。 但是,这种方式一般不好,提供不现实的数据,或者为了将图形真实地成像,不需要大量的劳力和计算量。

因此,谷歌明确提出了AR Synthetic Data Generation (增强现实制造数据分解)这一精炼的方法。 可以将虚拟世界对象放置在具有AR会话数据的场景中,可以利用照相机的姿势检测平面,估计灯光,分解物理上可能的方位,并具备给场景的灯光。 这种方法可以分解高质量的制造数据,包含的图形对象必须接受场景的几何形状,并与实际背景无缝兼容。 通过融合现实世界的数据和增强现实的制造数据,谷歌的响应精度提高了约10%。

为了从用于3.3d对象检测的机器学习流水线单一RGB图像中预测对象的姿势和物理尺寸,谷歌构建了单阶段模型。 所述模型主干具有基于MobileNetv2构建的编码器-解码器架构。 团队使用多任务自控方法,通过检测和恢复共同预测对象的形状。

形状任务根据可用的ground truth注释预测对象形状信号。 这是可选的,在训练数据中缺少形状注释时可用。 在检查任务中,小组使用带注释的边界板将高斯值纳入框中,中心位于板的重心,标准偏差与框的大小成比例。

返回任务估计八个界板顶点的2D投影。 为了获得边界板的最后3D坐标,团队利用了完整的姿势估计算法(EPnP )。 因为可以完全恢复对象的3D边界板,所以必须事先知道对象的尺寸。

等效于3D边界板,团队可以很好地计算对象的姿势和大小。 右图是明确的网络架构和后处理。 该模型非常轻,可以反对移动设备的动态操作(在Adreno 650移动GPU中为26 FPS )。 4 .如果将4. MediaPipe中的检测和跟踪模型应用于移动设备捕获的每个帧,则模型可能会受到每个帧中估计的3D边界板的模糊性的影响。

竞技宝官网

为了减轻这种情况,谷歌使用了最近发布在2 dobjectdetectionandtracking (2d对象检测和跟踪)解决方案中的检测跟踪框架。 这个框架降低了每帧运营网络的市场需求,计算量更大,但需要反对更准确的模型,同时在移动设备上维持流水线的动态部署。 同时在帧上保持对象的身份,确保预测在时间上完全一致,增加摇晃。

_竞技宝官网。

本文来源:首页-www.nynuts.com

客户案例Customer case
  • 竞技宝官网官网_2020宝山区月浦八村幼稚园收费
  • 宝宝的天性你了解多少(幼儿早期教育指导),早教:竞技宝官网
  • 【竞技宝官网官网】家园共育,对宝宝成长的重要性(暑假幼儿入园教育),入园
  • 相信孩子,多赞赏孩子|首页
  • 好父母教育孩子的重点问题,早教_竞技宝官网官网
  • 关注:独一代后的独二代 便后排队等擦屁股【竞技宝官网】
  • 2014闸北区芷江中路幼儿园全面招生简章参考-首页
  • 2018厦门马巷第二中心幼儿园招生简章-竞技宝官网
  • 关于电子玩具 父母应如何看待?-竞技宝官网官网
  • 【首页】家长要鼓励孩子多跟异性小朋友游戏,早教