阿里巴巴开源:一次采集轻松解决多摄像机和3D激光雷达标定-程序员宅基地

技术标签: 机器学习  计算机视觉  深度学习  人工智能  大数据  

点云PCL免费知识星球,点云论文速读。

文章:Single-Shot is Enough: Panoramic Infrastructure Based Calibration of Multiple Cameras and 3D LiDARs

作者:Chuan Fang1 , Shuai Ding, Zilong Dong, Honghua Li, Siyu Zhu, Ping Tan

编译:点云PCL

代码:https://github.com/alibaba/multiple-cameras-and-3D-LiDARs-extrinsic-calibration.git

来源:arxiv 2021

欢迎各位加入免费知识星球,获取PDF论文,欢迎转发朋友圈。文章仅做学术分享,如有侵权联系删文。未经博主同意请勿擅自转载。

公众号致力于分享点云处理,SLAM,三维视觉,高精地图相关的文章与技术,欢迎各位加入我们,一起每交流一起进步,有兴趣的可联系微信:920177957。本文来自点云PCL博主的分享,未经作者允许请勿转载,欢迎各位同学积极分享和交流。

摘要

多个相机和3D激光雷达的集成已成为增强现实设备、机器人和自动驾驶车辆的基本配置,多模态传感器的校准对于系统正常运行至关重要,但对于大规模生产来说,它仍然是不切实际的,此外,大多数设备在使用一段时间后需要重新校准,在本文中,我们提出了一种单次采集的解决方案,用于校准多个相机和三维激光雷达之间的外参。在此建立了一个全景标定间,在这个标定房间中,可以使用单帧数据对相机或激光雷达进行可靠定位,在三台具有不同相机激光雷达配置的设备上进行的实验表明,该方法实现了与最先进方法相当的标定精度,并且效率更高!!!

主要贡献

3f51422284d1f6dc645ee7eb05dc2d1c.png

图1:规模不断扩大的各种标定间。(a) 基于纸板的标定场景,(b)基于棋盘格的标定间,(c)基于AprilTag的标定间,以及(d)本文提出的的全景标定间

图1a显示了用于相机与激光雷标定的两块硬纸板的方法,为了同时校准多个传感器,研究人员提出了大规模封闭场景设备,其关键目的是将来自多个传感器的数据匹配到一个共同的场景中,该场景设施应该足够大,可以覆盖所有传感器的视图。图1b显示了具有多个棋盘格的封闭场景,而图1c显示了中包含了由数百个AprilTags覆盖的三个平面墙,然而,这两个基础设施并不是全景式的,这意味着只能同时校准系统的一部分,因此,耗时的多次捕获是不可避免的。

为了克服多次采集场景的限制,本文提出了一种全景校准标定场景。如图1d所示,这样的标定间是一个720度的房间,由分段的平面墙和地板组成,并由无特征的基准标记覆盖。实验证明,无特征基准标记在校准精度方面略优于Apriltag,此类型标定间具有以下特点:

  • 全景式,720度场景与多模态系统中所有传感器的视觉重叠,因此仅从单个姿势捕获一次就足以将所有传感器定位标定间坐标系下。

  • 鲁棒性,随机分布的无特征基准标记物和分段平面的直线和角分别构成相机和激光雷达鲁棒姿态估计的显著特征。

  • 统一性,在此配置中,相机与相机、相机和激光雷达配置的标定均是支持。为了重建标定间的三维结构,我们使用低端立体相机捕捉其外观,并采用标准的运动结构(SfM)方法进行稀疏重建,实验证明,与工作中采用的高端扫描仪相比,这种低成本方法能够实现相当的重建精度。随后,我们能够在一次拍摄中有效地校准具有多个摄像头和激光雷达的系统的外参数据,并使用最先进的方法实现可比的校准精度。

在实验部分,我们通过多个具有不同传感器配置的设备验证了所提出的校准方法的准确性和效率,我们提出的方法甚至可以处理传感器不共享重叠区域的复杂且具有挑战性的情况,定量和定性结果表明,该方法的准确度与主流方法相当,而校准效率显著提高。

博主觉得这篇文章可以说是绝了!多个激光雷达和相机的快速且鲁棒的外参标定方法(代码开源)这篇文章的后续了,不同的是这里采用了单独有人工设计的标定间,思想是一致的。

主要内容

本文所提出的基于全景标定间的多传感器校准方法的框架如图2所示。在标定间重建过程中,使用标准增量双目SfM方法,获得标定房间的稀疏点云,这种稀疏重建作为后续校准过程的校准参考,基于重建的校准参考,只需对传感器数据进行一次扫描,包括多个摄像头和激光雷达,即可进行基于定位的校准。更具体地说,通过视觉匹配无特征基准标记,摄像机姿势在稀疏地图中定位,随后应用多个摄像机的联合优化,同样,我们通过几何特征(例如相对于相同稀疏重建的直线和点)定位激光雷达的姿态,最后,可以从任意两个传感器相对于校准基准的相应刚体变换推导出它们之间的相对姿态。

e4304a7d582f90d81a59952bf34e832d.png

图2:本文提出的的基于全景标定间的多摄像机和3D激光雷达标定框架

A.全景标定间的重建

文章选择圆形标记物作为无特征基准标记,因为圆形标记的中心检测通常被认精度是比较高的,并且实验证明了圆形标记在校准精度方面优于AprilTags,为了重建全景标定间,提出了一种基于无特征基准标记物的立体SfM方法,该方法由立体视觉跟踪、局部建图和全局优化三个步骤组成。(双目的SFM,具有尺度,重建效果好)

1) 立体帧跟踪:为了捕获连续的立体帧,需要平滑地移动立体摄像机以捕获720度的房间,与现有的双目SfM方法类似,左帧和右帧的无特征圆心均由检测圆形的标准方法检测,在双目相机的内、外参进行标定的前提下,通过标准极线搜索得到立体摄像机的特征对应关系,一旦左右帧之间建立了特征对应关系,就可以对相应的稀疏3D点进行三角剖分,为了在连续立体帧之间建立稀疏3D点的对应关系,文章提出了以下基于三角形的匹配算法,并在算法1中提供了详细信息。为了增加标定间重建的密度,特定立体帧的不匹配3D点仍保留在最终重建数据中。

f84a81fb52c4340d4e4b78659fed38ef.png

2) 局部建图:在每次立体帧跟踪操作之后,提出一种环路闭合检测,以获得当前和先前立体帧之间更鲁棒的三维对应关系。回环检测的策略是将当前双目帧的稀疏点投影到在时间序列上远离当前双目帧的其他双目帧图像上。然后,检索与当前双目帧具有最多共可见稀疏点的立体帧,并通过执行算法1获得它们的匹配对应。

3) 全局优化:由于增量重建的结果会受到累积误差的影响,因此会应用束调整(BA)优化来同时优化所有摄影机姿势和稀疏点,并且将附近距离小于2cm的稀疏点合并为一个。

B.相机定位

一旦全景标定间的稀疏地图可用,我们就可以在单次拍摄中准确定位预先校准相机,首先,标定房间内每个摄像机的定位提供了多摄像机之间的初始参信息,然后,我们应用多个摄像机的几何约束,通过迭代Levenberg–Marquardt(LM)算法进一步优化外参,由于校准参考系中的基准标记没有特征,传统的视觉定位方法无法估计待校准多个摄像机的姿态,如图3b所示,与双目帧跟踪中引入的基于三角形的3D点匹配方法类似,我们可以克服图像和3D稀疏点都缺乏显著的基于纹理的特征,并将基于三角形的PnP与RANSAC算法相结合,以获得局部相机姿势。其步骤可分为四步:

1) 二维点的三角化

2) 三维点的三角化

3) 基于三角化的PnP

4) 多相机优化

3a447c03fff153b8b3953e211b4a5003.png

图3:通过三角化匹配的3D-3D和2D-3D特征对应匹配的视觉演示。(a) 双目帧跟踪中的3D-3D三角化匹配。(b) 摄像机定位中的2D-3D三角匹配示意图。

C.激光雷达定位

激光雷达的定位主要取决于房间内的几何信息,如重建点云中的空间线和角,这里,参考重建的角可以定义为4元组,分别为三条角线的方向向量,以及房间中的角点。对应的,由激光雷达采样的场景中也能检测到对应的角点和线。空间线和角点是三个墙面的交点,可通过平面拟合获得。

当激光雷达放置在标定间中时,激光雷达的大致方向是已知的,我们可以手动指定激光雷达和参考的标定间之间的空间线和角的对应关系,在获得参考系全景标定间和激光雷达之间方向不同的三条空间线和一个空间点的对应关系后,激光雷达扫描点云相对于校准基准的姿态可通过以下两个方程计算:

6ff27b49f395132c046e8e7e75533742.png

上述操作能够提供输入激光雷达扫描的粗略姿态,为了进一步优化输入激光雷达扫描的姿态,通过平面拟合的方式增采样全景标定间的稀疏重建的点云数据,并在激光雷达扫描点云和稠密的参考重建点云之间执行迭代最近点(ICP)优化位姿。对于参考的全景标定间,最终可获得了多个摄像机和激光雷达的局部姿态,推导出任意两个传感器之间的相对姿态就非常简单了。

这种基于重建的方法的优势是能够解决传感器没有或者较小的公共FOV外参标定,如此高投入的标定间也只有在大公司且量产较多的设备才会值得。

实验

为了评估所提出的方法的效率,我们在一台装有Intel i7-8700k的计算机上进行了所有实验,实验中采用了四种装置,如图4所示:

(a)立体摄像机(分辨率:1280×1024);

(b)地面激光扫描仪(TLS)由安装在伺服电机上的一个2D激光雷达和两个摄像头(分辨率:4608×3456)组成;

(c) 背包扫描仪,配备两个3D激光雷达和四个鱼眼摄像头(分辨率:2304×3840);

(d) 带有一个3D激光雷达和四个广角相机的移动机器人(分辨率:1280×720)。

e33d52def4c17e3a9a767f2c0e85913a.png

图 4 实验中采用了四种装置

图5a所示为提出的立体SfM算法重建的全景地图点云地图,为了验证重建精度,引入了高端徕卡BLK3602来重建图5b所示的库房,捕获的密集点云具有高精度,可以视为真值(GT)

9e8143eedc155212505f23262bbf505d.png

图5:标定间的重建:(a)立体SfM重建的全景地图点云,(b)徕卡BLK360重建的密集点云

dc3c2fff3c3e48dcebfe906a5aa25686.png

重建阶段使用的立体相机的校准结果,以及相应的重建精度

ea2d2fb61b00d7e0a5a8bfb3b6c0f5e2.png

相机与相机外参的标定结果结果表明,所提出的方法仅使用一帧就可以达到与Kalibr相当的性能

989f979c659da0519d0e56e4474c3360.png

相机与激光雷达外参校准结果,旋转由绕XYZ的欧拉角表示,平移以XYZ的三个方向表示

雷达之间的外参标定结果显示了我们的方法与之间方法的平移向量估计的比较。结果标定畸变有很少的FOV区域标定结果依旧表现出色。

f6c57c0ae46709984a273ea5026d19fa.png

多传感器标定精度这里设计了一系列实验,定性和定量地分析了多传感器标定精度的情况,为了验证,我们收集了不同的数据,包括三个配备了不同传感器套件的平台。对于每个平台,校准程序重复十次,并计算平均结果以进行鲁棒性分析。由于提供了三个平台的完整CAD图纸,我们将校准结果的旋转和平移与CAD图纸进行比较,后者被视为GT。旋转由绕XYZ的欧拉角表示,平移以XYZ的三个方向表示。

bcd87e725dd451c0c462c8bad7447545.png

下图:背包扫描器外参校准结果:(a)为两个激光雷达扫描点云。(b) 激光雷达扫描外参投影到图像上。点的颜色因距离而异。

2ca9bcf2039719abe234db42f1fa320d.png

下图:从2米处捕获的标记物:(a)捕获的100个Apriltag标记。(b) 捕获了40个CCTAG。

39b26287d6266a7a4436958629297632.png

对于标记选择,通过实验来比较CCTAG和AprilTags的校准精度,实验表明CCTAG在校准精度方面略优于AprilTags!!!

总结

在本文中,我们寻求一种高效的多传感器的外参标定的解决方案,该方案应涉及很少的操作,不需要专业知识,并适应多种摄像机和激光雷达的配置,为此,文章提出了一种基于全景标定间的单次采集的标定方法,该参考场景是经过精心设计,使得摄像机或激光雷达能够可靠地定位,从中可以导出传感器的相对变换。我们还提出了一种使用低端立体相机重建基础设施的经济方法,该方法可与昂贵的专业3D扫描仪(如徕卡BLK360)达到相当的精度。

A  局限性

激光雷达的定位仅依赖于3D扫描帧和重建标定间之间的ICP配准结果。如果激光雷达扫描不包含显著的几何特征,ICP匹配可能会失败,为了对窄视场激光雷达进行唯一定位,可以采取两种补救措施,首先,多个激光雷达应该通过成对的方法进行校准,然后它们的扫描组合成一个更大的扫描,这更有可能在基础设施中正确定位,第二,在标定房间内应增加几何特征,例如增加平面数量。

B  未来的工作

我们希望扩展我们的全景标定间,用于校准其他类型的传感器,例如cameraIMU(惯性测量单元)配置。此外,摄像机的内在参数也可以使用所提出的标定间与外在变换一起校准,我们还想检查在联合配置的传感器中优化相机和激光雷达的外部参数是否有益。

比如可以通过单帧图实现隔着玻璃的相机的内参再标定和优化,以及实现IMU与其他传感器的外参标定,十分期待了!!!,另外既然有开源代码,博主计划在后期对代码进行一些编译和记录,欢迎有兴趣的小伙伴一起学习!

资源

三维点云论文及相关应用分享

【点云论文速读】基于激光雷达的里程计及3D点云地图中的定位方法

3D目标检测:MV3D-Net

三维点云分割综述(上)

3D-MiniNet: 从点云中学习2D表示以实现快速有效的3D LIDAR语义分割(2020)

win下使用QT添加VTK插件实现点云可视化GUI

JSNet:3D点云的联合实例和语义分割

大场景三维点云的语义分割综述

PCL中outofcore模块---基于核外八叉树的大规模点云的显示

基于局部凹凸性进行目标分割

基于三维卷积神经网络的点云标记

点云的超体素(SuperVoxel)

基于超点图的大规模点云分割

更多文章可查看:点云学习历史文章大汇总

SLAM及AR相关分享

【开源方案共享】ORB-SLAM3开源啦!

【论文速读】AVP-SLAM:自动泊车系统中的语义SLAM

【点云论文速读】StructSLAM:结构化线特征SLAM

SLAM和AR综述

常用的3D深度相机

AR设备单目视觉惯导SLAM算法综述与评价

SLAM综述(4)激光与视觉融合SLAM

Kimera实时重建的语义SLAM系统

SLAM综述(3)-视觉与惯导,视觉与深度学习SLAM

易扩展的SLAM框架-OpenVSLAM

高翔:非结构化道路激光SLAM中的挑战

SLAM综述之Lidar SLAM

基于鱼眼相机的SLAM方法介绍

扫描下方微信视频号可查看最新研究成果及相关开源方案的演示:

如果你对本文感兴趣,请后台发送“知识星球”获取二维码,务必按照“姓名+学校/公司+研究方向”备注加入免费知识星球,免费下载pdf文档,和更多热爱分享的小伙伴一起交流吧!

以上内容如有错误请留言评论,欢迎指正交流。如有侵权,请联系删除

扫描二维码

                   关注我们

让我们一起分享一起学习吧!期待有想法,乐于分享的小伙伴加入免费星球注入爱分享的新鲜活力。分享的主题包含但不限于三维视觉,点云,高精地图,自动驾驶,以及机器人等相关的领域。

分享及合作方式:微信“920177957”(需要按要求备注) 联系邮箱:[email protected],欢迎企业来联系公众号展开合作。

点一下“在看”你会更好看耶

a15875313efd8b6f443cbc9b1280253a.gif

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/u013019296/article/details/121782415

智能推荐

解决SpringMVC的@ResponseBody返回中文乱码_@responsebody @requestmapping 中文乱码-程序员宅基地

文章浏览阅读2.3k次。第一种:在@RequestMapping中添加produces="text/html;charset=UTF-8@ResponseBody @RequestMapping(value = "/hello",produces = "produces=text/html;charset=UTF-8") public String hello(){ List<Em..._@responsebody @requestmapping 中文乱码

SQL 调优1_show parameter dbw-程序员宅基地

文章浏览阅读440次。SQL 调优1调整的方法调整的工具内存组件调整 shared_pool data_buffer pga IO性能文件确定调整的方法:调整的流程 架构设计 建模 程序 数据库 硬件调整 每次只调整一个地方 top 消耗资源最多 执行的次数最多 执行的时间最长 达到优化的目标就不优化了 优化的过程中一定不要产生新的_show parameter dbw

ZOJ-3772 Calculate the Function(线段树,矩阵乘法)-程序员宅基地

文章浏览阅读260次。Calculate the FunctionTime Limit: 2 Seconds Memory Limit: 65536 KBYou are given a list of numbers A1 A2 .. AN and M queries. For the i-th query:The query has two parameters Li and R_calculate the function

linux命令实现git代码copy到svn仓库并提交_git文件考到svn路徑下,怎麽留下copy路徑-程序员宅基地

文章浏览阅读534次。项目需要,将git仓库master代码copy到svn仓库的主干上,需要在linux上实现,只能老老实实敲命令了。1. 解决方案 非常原始,首先创建/git目录,然后clone git仓库master最新代码,copy到/svn目录下,删除.git文件,然后使用svn add,commit到svn的分支上。2. 直接写命令:#创建git文件夹并进入目录,mkdir -p:递归创建目录,即使上级目录不存在,会按目录层级自动创建目录mkdir -p /code/..._git文件考到svn路徑下,怎麽留下copy路徑

win10linux双系统时间,win10与linux双系统切换时间不一致的调整-程序员宅基地

文章浏览阅读956次。按照Linux系统之后再切换回到win10后,我发现win10的时间不再是北京时间,而是比北京时间多了整整8小时,之后百度找到了问题来源,这里给出解决方法。如果安装了 Windows 和 Linux(比如 Ubuntu)双系统,有时会出现两个系统的时间不一致的情况。这是因为,两个操作系统对电脑硬件时间的定义不一样,Windows 认为电脑硬件时间是“本地时间”,因此它启动后直接用该时间作为“系统时..._win10+linux电脑时间不对

别浪费自己的高学历_别浪费自己的高学历,你最该拥有这些能力-程序员宅基地

文章浏览阅读237次。转自:科学堂原文链接:http://scienceroom.net/dont-waste-your-high-academic-records-666.html很多人在问念研究生能学到什么,短短的两年时间,上课学不到多少有用的,科研也没怎么搞,到底念研究生能学到什么?一开始念硕士博士的时间都是有这 些迷惘的,甚至有些人连这些问题想也没想。如果用点心思,不管我们将来搞不搞_别浪费自己的高学历,你最该拥有这些能力

随便推点

[亲测有用]nginx重新加载配置时候出现nginx: [emerg] invalid host in upstream-程序员宅基地

文章浏览阅读1.1w次。问题描述nginx重新加载配置时候出现nginx: [emerg] invalid host in upstream “http://1.15.xxx.xxx:3001” in /usr/local/nginx解决方案改为下图所示_nginx: [emerg] invalid host in upstream

Unity3D说明文档翻译-Mobile Keyboard_touchscreenkeyboard.open-程序员宅基地

文章浏览阅读1.7k次。Mobile Keyboard手机键盘In most cases, Unity will handle keyboard input automatically for GUI elements but it is also easy to show the keyboard on demand from a script.在大多数情况下,Unity将通过GUI元素自动处理键盘输入,但_touchscreenkeyboard.open

scrapy读取settings.py文件_scrapy获取settings文件中的内容、-程序员宅基地

文章浏览阅读362次。 get_project_settingsfrom scrapy.utils.project import get_project_settings def __init__(self): #读取设置 self.mySetting = get_project_settings() #get获取参数 self.timeo..._scrapy获取settings文件中的内容、

Win 10开启人类迈进智能世界的大门_人类正在迈进智能世界-程序员宅基地

文章浏览阅读8.3k次。3月18日,从微软硬件工程大会(WinHEC 2015)上传来好消息:今年夏天,Win 10将要正式发布.Win 10发布,有何新意?微软新领导人纳德拉(Nadella)主张:运计算,大数据与人工智能是软件支撑世界的未来.实际上,Win 10开启了未来智能世界的大门.为什么?我们要注意的是,Win 10内置了语音识别接口,使得人用语音能够与系统直接交互,_人类正在迈进智能世界

PCB的WIP系統如何做?_pcb wipdata-程序员宅基地

文章浏览阅读2.6k次。由於最近在處理一個線路板(PCB)的軟件.由於線路板的生產要求很多,而且要經過很多的工藝流程.如果確保能正常交貨以及了解生產的各種狀態,以及了解現場各個工序的狀態,這幾乎成了PCB企業的一個難題.生產管理是整個生產的關鍵.以至於有一些生產經理,用了系統後感覺很麻煩,感覺還不如手工做得好,於是就放棄了WIP.實行手工過帳.但是走了一段時間後,感覺需要的數據不能及時了解到.不如用系統,於是WIP系統也_pcb wipdata

InnoDB: Error: io_setup() failed with EAGAIN after 5 attempts_[error] innodb: io_setup() failed with eagain afte-程序员宅基地

文章浏览阅读1.5k次。在一台服务器中以各数据库的备份文件为数据文件启动多个MySQL实例供SQL Review使用。之前运行一直没有问题(最多的时候有23个MySQL实例同时运行),后来新配置了一台服务器,启动其对应的实例时失败。部分错误日志如下:……140505 16:05:59 InnoDB: Using Linux native AIO140505 16:05:59 InnoDB: Warning: io_se..._[error] innodb: io_setup() failed with eagain after 5 attempts. [error] inno

推荐文章

热门文章

相关标签