IROS 2021最新开源!深度学习三维激光雷达动态物体分割-程序员宅基地

技术标签: 算法  机器学习  计算机视觉  深度学习  人工智能  

点击上方“3D视觉工坊”,选择“星标”

干货第一时间送达

大家好,今天给大家介绍的是德国波恩大学在读博士陈谢沅澧的最新工作。该方法的论文,代码,数据集以及视频都已经公开。

作者:Xieyuanli Chen

论文: 

http://www.ipb.uni-bonn.de/pdfs/chen2021ral-iros.pdf
代码: https://github.com/PRBonn/LiDAR-MOS

数据集: http://bit.ly/mos-benchmark

视频: https://youtu.be/NHvsYhk4dhw

以下是内容简介:

构建长期一致(consistent)的环境地图并区分其中正在运动和静止的部分对于移动机器人和自动驾驶汽车等智能移动平台而言至关重要,因为智能移动平台通常需要一致的环境地图来实现定位或规划路径。在进行导航过程中,智能移动平台也需要感知正在移动的物体,从而根据他们的运动特性进行规划和决策。在真实动态环境中,正在移动的行人、汽车和其他动态物体往往给移动智能平台进行环境地图三维重建或 SLAM 系统带来了巨大挑战。例如在建图过程中,正在运动的物体可能会造成地图的不一致并严重影响所生成的三维模型的质量。

图1. 高速路场景中三维激光雷达(LiDAR)动态物体分割结果(红色部分为检测到的移动车辆)

因此,检测和分割传感器数据中的动态物体对于构建一致的环境地图、对无人平台进行状态预测、避免碰撞和路径规划而言至关重要。今天介绍的这篇工作旨在解决自动驾驶应用中的三维激光雷达运动物体检测和分割问题(LiDAR-based Moving Object Segmentation,LiDAR-MOS)。

图2. 该方法使用距离图像来表述LiDAR数据,并使用CNN进行基于距离图像的动态物体分割,最终通过投影关系得到每个点的动态或静态标签,例如图中所展示的红色部分代表检测分割出的动态物体,黑色部分代表静态物体。

该工作提出了一种仅使用 LiDAR 进行运动对象分割的新方法,可以实现实时的激光雷达动态物体分割(LiDAR-MOS)。 该方法不是进行全类别语义分割,即预测多种语义类别,如车辆、行人、道路等,而是将场景分割为动态部分和静态部分,例如该方法可以区分正在行驶的汽车和停放在路边的汽车,如上图所示。

这篇论文所提出的方法利用3D LiDAR的连续距离图像作为结合卷积神经网络(CNN )的输入。该方法利用在类似图像的激光雷达表述上进行分割,因此不需要设计复杂的三维卷积神经网络。

这样做除了可以使用已有的 2D CNN框架外,相较于直接处理 3D 点云的方法,该方法运算速度很快,可以实现实时运行(20Hz)。 为了能够检测运动物体,在实际运用过程中,该方法使用序列距离图像信息。利用所提出的差异图(residual images)和新开放的数据集SemanticKITTI-MOS benchmark,通过时空信息结合的方式,该方法得到了很好的三维激光雷达动态物体分割结果。

图3. 使用距离图生成的差异图像和新开放的LiDAR-MOS数据集来训练现有的CNN实现动态物体检测和分割。

本文还基于SemanticKITTI 构建并开放了基于 LiDAR 的动态物体分割的数据集用以对不同的动态分割算法进行评估。除了对动态物体分割结果进行评估外,本文还提供了两个相关的动态物体分割的应用场景,激光雷达里程计/SLAM以及激光雷达三维建图。    

  

图4. 左:原始点云聚合图,右:利用提出的LiDAR-MOS清理点云后所构建的地图

图5. KITTI Odometry 数据集中不同算法的里程计定位结果

上图中所展示的是利用提出的动态物体分割算法简单地对SLAM输入进行预处理之后得到的定位和建图的结果。可以看到,仅仅使用所提出的LiDAR-MOS去除点云输入中的动态物体,而不需要改变任何SLAM细节,就可以对SLAM的定位和建图结果起到很大帮助。

如图4所示,在建图结果中使用该算法就可以很好的去除掉所谓”ghost“也就是由动态物体所导致的伪影。如图5所示,在定位结果中,使用动态物体检测提升SLAM的定位结果甚至超过了之前的使用全类别语义信息的SuMa++的定位结果。

使用该方法的另一个好处就是,该方法只是对点云进行了预处理就可以提高SLAM的定位和建图的结果,因此可以很轻松的移植到不同激光雷达SLAM算法中,大家只需要利用LiDAR-MOS动态物体分割滤除掉当前激光雷达中的动态物体就可以提升自己SLAM的性能。

该方法的论文,代码,数据集以及视频都已经公开。

本文仅做学术分享,如有侵权,请联系删文。

下载1

在「3D视觉工坊」公众号后台回复:3D视觉即可下载 3D视觉相关资料干货,涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。

下载2

在「3D视觉工坊」公众号后台回复:3D视觉github资源汇总即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。

下载3

在「3D视觉工坊」公众号后台回复:相机标定即可下载独家相机标定学习课件与视频网址;后台回复:立体匹配即可下载独家立体匹配学习课件与视频网址。

重磅!3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信,可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群,旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群,目前主要有3D视觉CV&深度学习SLAM三维重建点云后处理自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

一定要备注:研究方向+学校/公司+昵称,例如:”3D视觉 + 上海交大 + 静静“。请按照格式备注,可快速被通过且邀请进群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球:针对3D视觉领域的视频课程(三维重建系列三维点云系列结构光系列手眼标定相机标定orb-slam3等视频课程)、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕,更有各类大厂的算法工程人员进行技术指导。与此同时,星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息,打造成集技术与就业为一体的铁杆粉丝聚集区,近2000星球成员为创造更好的AI世界共同进步,知识星球入口:

学习3D视觉核心技术,扫描查看介绍,3天内无条件退款

 圈里有高质量教程资料、可答疑解惑、助你高效解决问题

觉得有用,麻烦给个赞和在看~  

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/Yong_Qi2015/article/details/119224792

智能推荐

Windows内核驱动中操作文件_win 内核模式读文件-程序员宅基地

文章浏览阅读5.7k次。一. 在驱动中使用文件在Windows执行体中,通过文件对象来代表文件,该文件对象是一种由对象管理器管理的执行体对象。例如:目录也是由文件对象代表的。内核组件通过对象名来引用文件,即在文件的全路径前面加\DosDevices。(在Windows 2000及后续操作系统中,\??等同于\DosDevices)。例如,文件C:\WINDOWS\example.txt的对象名为\DosDevic_win 内核模式读文件

【经验总结】SQL注入Bypass安全狗360主机卫士_sql_inject bypass-程序员宅基地

文章浏览阅读811次。0x00 前言这类的文章已经是比较多了,本文也主要是作为学习笔记来记录,主要是记录一下我在学习 SQL 注入 Bypass 的过程,同时前人的不少绕过方法已经失效了,所以这里也是记录一下最新规则的一些绕过方法。0x01 环境搭建测试环境:Win7 + Apache + MySQL 5.7.26 + PHP 5.5.45测试代码:<?phpif ($_GET['id']==null..._sql_inject bypass

matlab仿真fir滤波器,基于matlab的FIR滤波器的设计与仿真-程序员宅基地

文章浏览阅读768次。基于matlab的FIR滤波器的设计与仿真 毕 业 设 计 论 文 基于matlab的FIR滤波器的设计与仿真 指导老师姓名: 专 业 名 称:电子信息工程技术 班 级 学 号: 09136210 论文提交日期:2011年12月15日 论文答辩日期:2011年12月16日 2011年 12月 15 日 摘 要 FIR滤波器是数字滤波器系统中常见的滤波器。论文针对窗函数法、最优化设计法和最小约束二乘..._一种基于短波校时信号的fir滤波器matlab仿真设计

Python-Django初体验—创建Django项目并实现页面跳转功能_django跳转到指定页面-程序员宅基地

文章浏览阅读8.7k次,点赞14次,收藏85次。关于Python-Django创建新项目,并实现页面跳转功能。_django跳转到指定页面

1024程序员节,送18本技术书籍给大家,祝大家节日快乐_1024送书-程序员宅基地

文章浏览阅读1.9w次,点赞167次,收藏214次。新的资源等你来去,永久免费哦~【作者注】: 1024已经过去了,本文的送18本书的活动也已经结束了(原文内容已经删除)。考虑到该文章可能还会被一些朋友看到,所以我在这留了一波福利,永久有效,希望能对大家有用,也希望大家能够感受到我一片心意。免费给大家赠送一波很有价值的架构师视频教程,总共四个阶段,非常棒的资源。领取方式如下:扫描上方二维码关注我的公众号『程序员私房菜』,在公众号内回..._1024送书

Spring .NET框架概览-程序员宅基地

文章浏览阅读68次。Spring.NET 是一个关注于.NET企业应用开发的应用程序框架。它能够提供宽广范围的功能,例如依赖注入、面向方面编程(AOP)、数据访问抽象, 以及ASP.NET集成等。基于java的spring框架的核心概念和价值已被应用到.NET。Spring.NET 1.0 包含一个完全功能的依赖注入容器和AOP库。后续的发布将包含对ASP.NET、Remoting和数据访问的支持。下图展现出了 Sp..._.net spring.core spring.data spring.service 框架

随便推点

soul源码分析数据同步篇之HTTP长轮询同步流程_长轮询数据流程图-程序员宅基地

文章浏览阅读280次。说明本文代码基于soul 2021.2.4 master分支版本。准备请先阅读soul官方文档 数据同步原理,对soul数据同步原理有个基本的了解。如何开启HTTP同步策略这个小节主要引自soul官网 使用不同的数据同步策略soul-admin的配置application.yml中添加如下配置,或是在启动参数中添加--soul.sync.http='',然后重启服务:soul: sync: http: enabled: truesoul-bootstrap的_长轮询数据流程图

入职IT岗位,如何做一份出彩的简历_简历如何出彩 it行业-程序员宅基地

文章浏览阅读502次。工作信息千万条,应聘上才是第一条。简历不出彩,何以博眼球?面试过的同学可能都知道,行业千千万万,但只有那些专业性特别强,像IT行业、金融行业之类的工作需要你的简历必须出彩,不能光只有基本信息。一份基本的简历,是我们和人事交流的开始;一份真正好的简历,才是通向一份好工作的敲门砖。那么如何在众多求职者投递的简历当中脱颖而出,一眼被HR相中,这是一门学问,值得我们去认真对待。当我还在学校的时候,从不曾想到过这个问题。制作的简历自然也是平平无奇,因为确实不知道面试官需要求职者应该具备如何的闪光点。._简历如何出彩 it行业

易优cms 多语言版本的分页变量修改_eyoucms后台页面修改-程序员宅基地

文章浏览阅读961次。在使用多语言版本时,遇到了分页没有多语言时怎么处理?这个需要改动分页PHP文件,文件目录 根目录corelibrary hinkpaginatordriver。Eyou.php是PC端,Mobile.php是手机端然后打开Eyou.php修改PC端分页打开后找到下面代码,替换红色部分1,大改在97行 /** * 共N页 N条 * @param string $t..._eyoucms后台页面修改

Android O(8.0) Keyguard之启动流程_android keyguardbouncer-程序员宅基地

文章浏览阅读1.8k次。今天开始梳理SystemUI Keyguard源码话不多说首先从启动流程开始:起点是在 SystemUI/src/com/android/systemui/SystemUIService.javaonCreate() -> ((SystemUIApplication) getApplication()).startServicesIfNeeded();启动SystemUI各..._android keyguardbouncer

数据扁平化-程序员宅基地

文章浏览阅读6.4k次,点赞3次,收藏23次。什么是扁平化数组的扁平化,就是将一个嵌套多层的数组 array (嵌套可以是任何层数)转换为只有一层的数组。举个例子,假设有个名为 flatten 的函数可以做到数组扁平化,效果就会如下:var arr = [1, [2, [3, 4]]];console.log(flatten(arr)) // [1, 2, 3, 4]一、递归我们最一开始能想到的莫过于循环数组元素,如果还是一个数..._数据扁平化

PPPOE和pppd的流程详解--good_pppd pppoe-程序员宅基地

文章浏览阅读1w次,点赞3次,收藏18次。PPD是用户态应用程序,负责PPP协议的具体配置,如MTU、拨号模式、认证方式、认证所需用户名/密码等一 终端 终端介绍 终端是一种字符型设备,它有多种类型,通常使用tty来简称各种类型的终端设备。看下面一副图展示了计算机系统与终端之间得联系。 终端驱动程序的主要功能是在程序与相关设备之间进行数据传递。在一个LINUX内核自身的内部_pppd pppoe

推荐文章

热门文章

相关标签