新方法帮助AI使用2D图像导航3D空间

照片是二维的，但自动驾驶汽车和其他技术必须在三维世界中导航。研究人员开发了一种新方法，帮助人工智能（AI）从2D图像中提取3D信息，使相机成为这些新兴技术的有用工具。

“现有的从2D图像中提取3D信息的技术很好，但还不够好，”一篇论文的合著者、北卡罗来纳州立大学电气和计算机工程副教授Tianfu Wu说。“我们的新方法称为MonoXiver，可以与现有技术结合使用，并使其更加准确。”

这项工作对自动驾驶汽车等应用特别有用。这是因为相机比其他用于导航3D空间的工具便宜，比如依靠激光测量距离的激光雷达。由于摄像头比其他技术更实惠，自动驾驶汽车的设计者可以安装多个摄像头，从而在系统中建立冗余。

但只有当自动驾驶汽车中的人工智能能够从相机拍摄的2D图像中提取3D导航信息时，这才有用。这就是MonoXiver的用武之地。

现有的从2D图像中提取3D数据的技术——比如吴和他的合作者开发的MonoCon技术——利用了“边界框”。具体来说，这些技术训练人工智能扫描2D图像，并在2D图像中的物体周围放置3D边界框，比如街道上的每辆车。

这些盒子是长方体，有八个点——想象一下鞋盒上的角。边界框帮助AI估计图像中物体的尺寸，以及每个物体与其他物体的关系。换句话说，边界框可以帮助AI确定汽车的大小，以及它与道路上其他汽车的相对位置。

然而，现有程序的边界框并不完善，通常无法包括2D图像中出现的车辆或其他物体的部分。

新的MonoXiver方法使用每个边界框作为起点或锚点，并让AI对每个边界框周围的区域进行第二次分析。第二次分析导致程序在锚的周围产生许多附加的边界框。

为了确定哪个辅助盒子最能捕捉到物体的“缺失”部分，AI会进行两次比较。一种比较是查看每个辅助框的“几何形状”，看看它是否包含与锚框中的形状一致的形状。另一种比较是查看每个次要框的“外观”，看它是否包含与锚框内的视觉特征相似的颜色或其他视觉特征。

“一个重要的进步是MonoXiver允许我们运行这种自上而下的采样技术——创建和分析二次边界盒——非常有效，”Wu说。

为了测量MonoXiver方法的准确性，研究人员使用两个2D图像数据集进行了测试:一个是完善的KITTI数据集，另一个是更具挑战性的大规模Waymo数据集。

Wu说:“我们将MonoXiver方法与MonoCon和其他两个现有的程序结合使用，这些程序旨在从2D图像中提取3D数据，MonoXiver显着提高了这三个程序的性能。”“当我们将MonoXiver与MonoCon结合使用时，我们获得了最 佳性能。”

“同样重要的是要注意，这种改进带来了相对较小的计算开销，”吴说。“例如，MonoCon本身可以以每秒55帧的速度运行。当你结合MonoXiver方法时，它会减慢到每秒40帧，这对于实际应用来说仍然足够快。”

“我们对这项工作感到兴奋，并将继续对其进行评估和微调，以用于自动驾驶汽车和其他应用，”吴说。