3D目标检测-OpenPCDet使用realsense采集的.ply文件进行训练_realsense ply-程序员宅基地

技术标签: 计算机视觉  目标检测  人工智能  

许久没有更新了,3D目标检测在去年暑期做了语言,在今年年底获得了初步的实践过程,此处3D目标检测使用的是OpenPCDet框架,希望使用PointPillar进行训练,由于OpenPCDet都是基于Kitti数据集的.bin文件,因此通过realsense相机采集的.ply文件需要经过初步的处理才可以用于训练,具体的步骤如下。

OpenPCDet环境配置

首先需要安装好open3d,在OpenPCDet根目录下运行以下命令完成基本的环境配置

pip install open3d
pip install -r requirements.txt
python setup.py develop

在运行setup脚本时可能会出现权限不足的问题,可以改用 pip install -e . 对pcdet库进行安装。安装完成后可以下载部分kitti数据集并运行demo.py进行测试,或是在命令行尝试import pcdet

python tools/demo.py --cfg_file tools/cfgs/kitti_models/pointpillar.yaml --ckpt tools/pointpillar_7728.pth --data_path data/kitti/training/velodyne/000008.bin 

建立自定义数据集

数据集标定使用了kitti的格式,因此可以模仿kitti数据集结构分配文件,文件树结构如下:

OpenPCDet
├── data
│   ├── kitti
│   │   │── ImageSets
│   │   │   ├──train.txt & test.txt & val.txt
│   │   │── training
│   │   │   ├──calib & velodyne & label_2 & image_2
│   │   │── testing
│   │   │   ├──calib & velodyne & image_2 & label_2

ImageSets文件夹保存了用于训练、测试以及验证的数据集分类结果,将标定数据的文件名写入train.txt文件,并且需要将所对应的点云和label数据放到training文件夹的velodyne和label_2文件夹下。

点云数据转换

kitti数据集的点云.bin文件中包含了点云的x、y、z空间坐标以及激光反射强度intensity数据,而realsense采集到的点云.ply文件为xyzrgb格式,为了快速使用OpenPCDet进行训练,因此可以将.ply文件通过tools/ply2bin.py进行转换。(此处可优化custom_dataset.py中的数据集加载进行修改,从而省去点云数据转换一步和生成pkl文件步骤)

import open3d as o3d
import numpy as np
import os

# load ply
def read_ply(filepath):
    lidar = []
    pcd = o3d.io.read_point_cloud(filepath, format='ply')
    points = np.array(pcd.points)
    for linestr in points:
        if len(linestr) == 3:  # only x,y,z
            linestr_convert = list(map(float, linestr))
            linestr_convert.append(0)
            lidar.append(linestr_convert)
        if len(linestr) == 4:  # x,y,z,i
            linestr_convert = list(map(float, linestr))
            lidar.append(linestr_convert)
        if len(linestr) == 6: # x,y,z,r,g,b
            linestr_convert = list(map(float, linestr))
            linestr_convert = linestr_convert[:3]
            linestr_convert.append(0)
            lidar.append(linestr_convert[:3])
    return np.array(lidar)


def pcd2bin(pcd_fullname, bin_fullname):
    pl = read_ply(pcd_fullname)
    
    np_x = (np.array(pl[:,0], dtype=np.float32)).astype(np.float32)
    np_y = (np.array(pl[:,1], dtype=np.float32)).astype(np.float32)
    np_z = (np.array(pl[:,2], dtype=np.float32)).astype(np.float32)
    np_i = (np.array(pl[:,3], dtype=np.float32)).astype(np.float32) / 256
    points_32 = np.transpose(np.vstack((np_x, np_y, np_z, np_i)))

    points_32.tofile(bin_fullname)
 

if __name__ == '__main__':
    root_folder = "data/kitti/training/velodyne"
    plylist = os.listdir(root_folder)
    for plyfile in plylist:
        plypath = os.path.join(root_folder, plyfile)
        binpath = plypath.split('.')[0]+".bin"
        # ply -> bin
        pcd2bin(plypath,binpath)

完成了数据集文件的建立,需要对数据集进行初始化,即编写相对应的custom_dataset.py和.yaml文件。

custom_dataset.py修改

仿照kitti_dataset.py进行修改,参考博文:https://blog.csdn.net/JulyLi2019/article/details/126351276

通过.yaml文件配置参数

创建tools/cfgs/dataset_configs/cpte_dataset.yaml定义数据集相关参数

创建tools/cfgs/custom_models/pointpillar.yaml定义模型和训练相关参数

# 生成训练所需的pkl文件
python -m pcdet.datasets.custom.custom_dataset create_custom_infos /data/pl/OpenPCDet/tools/cfgs/dataset_configs/cpte_dataset.yaml
# 训练
python tools/train.py --cfg_file tools/cfgs/custom_models/pointpillar.yaml --batch_size=2 --epochs=300

待解决

训练结束后的验证方法,以及点云的坐标转换等,忙完毕业论文后又是工作上的如火如荼,后续尽量多多记录

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/Pariya_Official/article/details/133173548

智能推荐

vue引入原生高德地图_前端引入原生地图-程序员宅基地

文章浏览阅读556次,点赞2次,收藏3次。由于工作上的需要,今天捣鼓了半天高德地图。如果定制化开发需求不太高的话,可以用vue-amap,这个我就不多说了,详细就看官网 https://elemefe.github.io/vue-amap/#/zh-cn/introduction/install然而我们公司需要英文版的高德,我看vue-amap中好像没有这方面的配置,而且还有一些其他的定制化开发需求,然后就只用原生的高德。其实原生的引入也不复杂,但是有几个坑要填一下。1. index.html注意,引入的高德js一定要放在头部而_前端引入原生地图

ViewGroup重写大法 (一)-程序员宅基地

文章浏览阅读104次。本文介绍ViewGroup重写,我们所熟知的LinearLayout,RelativeLayout,FrameLayout等等,所有的容器类都是ViewGroup的子类,ViewGroup又继承View。我们在熟练应用这些现成的系统布局的时候可能有时候就不能满足我们自己的需求了,这是我们就要自己重写一个容器来实现效果。ViewGroup重写可以达到各种效果,下面写一个简单的重写一个Vi..._viewgroup 重写

Stm32学习笔记,3万字超详细_stm32笔记-程序员宅基地

文章浏览阅读1.8w次,点赞279次,收藏1.5k次。本文章主要记录本人在学习stm32过程中的笔记,也插入了不少的例程代码,方便到时候CV。绝大多数内容为本人手写,小部分来自stm32官方的中文参考手册以及网上其他文章;代码部分大多来自江科大和正点原子的例程,注释是我自己添加;配图来自江科大/正点原子/中文参考手册。笔记内容都是平时自己一点点添加,不知不觉都已经这么长了。其实每一个标题其实都可以发一篇,但是这样搞太琐碎了,所以还是就这样吧。_stm32笔记

CTS(13)---CTS 测试之Media相关测试failed 小结(一)_mediacodec框架 cts-程序员宅基地

文章浏览阅读1.8k次。Android o CTS 测试之Media相关测试failed 小结(一)CTSCTS 即兼容性测试套件,CTS 在桌面设备上运行,并直接在连接的设备或模拟器上执行测试用例。CTS 是一套单元测试,旨在集成到工程师构建设备的日常工作流程(例如通过连续构建系统)中。其目的是尽早发现不兼容性,并确保软件在整个开发过程中保持兼容性。CTS 是一个自动化测试工具,其中包括两个主要软件组件:CTS tra..._mediacodec框架 cts

chosen.js插件使用,回显,动态添加选项-程序员宅基地

文章浏览阅读4.5k次。官网:https://harvesthq.github.io/chosen/实例化$(".chosen-select").chosen({disable_search_threshold: 10});赋值var optValue = $(".chosen-select").val();回显1.设置回显的值$(".chosen-select").val(“opt1”);2.触发cho..._chosen.js

C++ uint8_t数据串如何按位写入_unit8_t 集合 赋值 c++-程序员宅基地

文章浏览阅读1.9k次。撸码不易,网上找不到,索性自己写,且撸且珍惜!void bitsWrite(uint8_t* buff, int pos, int size, uint32_t value){ uint32_t index[] = { 0x80000000, 0x40000000, 0x20000000, 0x10000000, 0x8000000, 0x4000000, 0x2000000, 0x1000000, 0x800000, 0x400000, 0_unit8_t 集合 赋值 c++

随便推点

Javaweb框架 思维导图_javaweb框架图-程序员宅基地

文章浏览阅读748次。javaweb知识点_javaweb框架图

adb的升级与版本更新_adb iptabls怎么升级-程序员宅基地

文章浏览阅读1.1w次,点赞3次,收藏16次。adb是没有自动升级的命令的,如果想要更新adb的版本,我们可以在网上找到自己想要的版本进行更新给大家提供几个版本https://pan.baidu.com/s/1yd0dsmWn5CK08MlyuubR7g&shfl=shareset 提取码: 94z81、下载解压后我们可以找到下面几个文件,并复制2、找到adb安装的文件夹下的platform-tools文件夹,我这里是..._adb iptabls怎么升级

微信苹果版删除所有的聊天记录的图文教程_mac微信怎么删除聊天列表-程序员宅基地

文章浏览阅读3.8k次。很多用户可能都知道怎么在Windows系统上删除微信的聊天记录,那么苹果电脑上的微信软件怎么删除所有的聊天记录呢?下面小编就专门来给大家讲下微信mac版删除所有的聊天记录的图文教程。点击后会弹出提示窗口,点击这里的确认按钮就可以将其清理掉了。在这里选择要清理的数据,然后点击下方右边的清理按钮就行了。在mac上打开微信后,点击左下角的横线图标。然后再点击这里的管理微信聊天数据按钮。打开了设置窗口,点击上方的“通用”。在这里点击下方的前往清理按钮。点击弹出菜单里的“设置”。_mac微信怎么删除聊天列表

【报错笔记】数据类型转换时报错:Request processing failed;nested exception is java.lang.NumberFormatException:..._request processing failed; nested exception is jav-程序员宅基地

文章浏览阅读7.7k次。数据类型转换时报错:Request processing failed;nested exception is java.lang.NumberFormatException:For input String “20151512345”报错原因:数字格式异常,接着后面有 For input string: “201515612343” 提示,这就告诉我们你当前想把 “201515612343” 转换成数字类型时出错了。解决方案:使用2015151612343这个数字太大了,所以直接使用string_request processing failed; nested exception is java.lang.numberformatexcepti

qml 自定义消息框_Qt qml 自定义消息提示框-程序员宅基地

文章浏览阅读387次。版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。本文链接:https://blog.csdn.net/a844651990/article/details/78376767Qt qml 自定义消息提示框QtQuick有提供比较传统的信息提示框MessageDialog,但是实际开发过程并不太能满足我们的需求。下面是根据controls2模块中..._qml 自定义 messagedialog

Redis.conf 默认出厂内容_默认出厂的原始redis.conf文件全部内容-程序员宅基地

文章浏览阅读599次。# Redis configuration file example.## Note that in order to read the configuration file, Redis must be# started with the file path as first argument:## ./redis-server /path/to/redis.conf # Note on units: when memory size is needed, it is pos._默认出厂的原始redis.conf文件全部内容

推荐文章

热门文章

相关标签