技术标签: VTK三维重建 python 计算机视觉 重构 深度学习
最近在开发过程中遇到了这样的问题:
在医学图像开发过程中,我们将医学图像通过深度学习算法进行分割,现在想要通过这一套二维图像进行三维重构。
以下是分割结果:
图一:前列腺核磁图像分割结果 图一:前列腺核磁图像分割结果 图一:前列腺核磁图像分割结果
以下是读取的遮罩mask:
图二:图像分割遮罩 图二:图像分割遮罩 图二:图像分割遮罩
如何将这些二维图像进行三维重建,是个棘手问题,笔者通过vtk进行建模操作。
医学图像的三维重建本身就是热点技术,这项技术也并非新鲜技术,笔者调研多份前者的博客与其余资料,整理出了自己的解决方案,旨在与大家共同交流,如果您有更好的建模方案,欢迎随时与我交流!
进行医学图像的三维重建,首先需要提供清晰可见的轮廓与遮罩。(如图二所示)
所用到的库:
pip install vtk
直接安装mask_0.png
, mask_1.png
, mask_2.png
等20张图片)如图所示:
图三:项目采用的文件结构 图三:项目采用的文件结构 图三:项目采用的文件结构
我知道有的朋友比较急,这里先给出完整代码:
import vtk
# 定义渲染窗口、交互模式
aRender = vtk.vtkRenderer()
Renwin = vtk.vtkRenderWindow()
Renwin.AddRenderer(aRender)
iren = vtk.vtkRenderWindowInteractor()
iren.SetRenderWindow(Renwin)
# 定义个图片读取接口
# 读取PNG图片就换成PNG_Reader = vtk.vtkPNGReader()
PNG_Reader = vtk.vtkPNGReader()
PNG_Reader.SetNumberOfScalarComponents(1)
PNG_Reader.SetFileDimensionality(2) # 说明图像是三维的
# 定义图像大小,本行表示图像大小为(512*512*240)
PNG_Reader.SetDataExtent(0, 256, 0, 256, 0, 19)
# 设置图像的存放位置
name_prefix = ['mask/mask_']
PNG_Reader.SetFilePrefix(name_prefix[0])
# 设置图像前缀名字
# 表示图像前缀为数字(如:0.jpg)
PNG_Reader.SetFilePattern("%s%d.png")
PNG_Reader.Update()
PNG_Reader.SetDataByteOrderToLittleEndian()
spacing = [1.0, 1.0, 2.5] # x, y 方向上的间距为 2 像素,z 方向上的间距为 2.5 像素
PNG_Reader.GetOutput().SetSpacing(spacing)
# 高斯平滑
gauss = vtk.vtkImageGaussianSmooth()
gauss.SetInputConnection(PNG_Reader.GetOutputPort())
gauss.SetStandardDeviations(1.0, 1.0, 1.0)
gauss.SetRadiusFactors(1.0, 1.0, 1.0)
gauss.Update()
# 计算轮廓的方法
contour = vtk.vtkMarchingCubes()
gauss.GetOutput().SetSpacing(spacing)
contour.SetInputConnection(gauss.GetOutputPort())
contour.ComputeNormalsOn()
contour.SetValue(0, 100)
mapper = vtk.vtkPolyDataMapper()
mapper.SetInputConnection(contour.GetOutputPort())
mapper.ScalarVisibilityOff()
actor = vtk.vtkActor()
actor.SetMapper(mapper)
renderer = vtk.vtkRenderer()
renderer.SetBackground([1.0, 1.0, 1.0])
renderer.AddActor(actor)
window = vtk.vtkRenderWindow()
window.SetSize(512, 512)
window.AddRenderer(renderer)
interactor = vtk.vtkRenderWindowInteractor()
interactor.SetRenderWindow(window)
# 开始显示
if __name__ == '__main__':
window.Render()
interactor.Initialize()
interactor.Start()
import vtk
# 定义渲染窗口、交互模式
aRender = vtk.vtkRenderer()
Renwin = vtk.vtkRenderWindow()
Renwin.AddRenderer(aRender)
iren = vtk.vtkRenderWindowInteractor()
iren.SetRenderWindow(Renwin)
本人的所有三维重建脚本中几乎都包含这一块内容,同时这也是进行vtk交互窗口初始化的部分,更多信息您可以查阅vtk官方文档或者其他技术博客。
要将mask_0.png
到mask_19.png
的图像全部读取,需要先定义个图片读取接口 (vtk.vtkXxxReader)。
笔者的图像为.png
格式,因此使用vtk.vtkPNGReader()
进行图像读取。
PNG_Reader = vtk.vtkPNGReader()
PNG_Reader.SetNumberOfScalarComponents(1)
PNG_Reader.SetFileDimensionality(2) # 说明图像是二维的
在这里,可以根据不同的图片格式选取不同的vtkReader,如果是 .jpg
格式的图像,可以有如下更改:
JPG_Reader = vtk.vtkJPEGReader()
# your code here...
# 定义图像大小,本人表示图像大小为(256*256)
# 后两个参数是图片的数目,本人这里所用的图像共20张,所以就输入0, 19
# 在后续读取的时候,会根据这个序列进行读取
PNG_Reader.SetDataExtent(0, 256, 0, 256, 0, 19)
# 设置图像的存放位置
name_prefix = ['mask/mask_']
PNG_Reader.SetFilePrefix(name_prefix[0])
# 表示图像前缀为数字(如:0.jpg)
PNG_Reader.SetFilePattern("%s%d.png")
PNG_Reader.Update()
PNG_Reader.SetDataByteOrderToLittleEndian()
这段代码是进行图像读取的一些前置设置。SetDataExtent()
函数的参数设置会对后续图像的处理会有一定影响,请正确填写您所使用的图片的大小和数目!
SetFilePrefix()
函数会根据传入的字符串进行锁定。在这里一定要特别注意:
mask
文件夹下,每张图片的名字为:mask_0.png
, mask_1.png
等mask/mask_
SetFilePattern()
函数会自动读取数字,因为前缀已经设置好,不需要再在此处进行一些正则运算符操作解决方案:您可以增大图像之间的间距来解决这个问题,紧接着上面的代码:
PNG_Reader.SetDataByteOrderToLittleEndian()
spacing = [1.0, 1.0, 2.5] # x, y 方向上的间距为 2 像素,z 方向上的间距为 2.5 像素
PNG_Reader.GetOutput().SetSpacing(spacing)
在读取好图片之后,可以设置图像之间的 spacing
这个列表,分别代表x, y, z
三个维度的间距,其中我将z
维度的间距增大为2.5
, 这样的操作在后面的建模中有显著效果。具体内容如下:
图四:两种不同间距的建模结果,左图为 z = 1.0 ,右图为 z = 2.5 图四:两种不同间距的建模结果,左图为z=1.0,右图为z=2.5 图四:两种不同间距的建模结果,左图为z=1.0,右图为z=2.5
为了使建模结果更接近与器官的形状,我建议设置好二维图像之间的间距。
原本建模的结果“层次分明”,并不是特别美观。笔者采用高斯平滑的方案对图像进行平滑。
如果您有更好的平滑方案,欢迎您与我交流!
# 高斯平滑
gauss = vtk.vtkImageGaussianSmooth()
gauss.SetInputConnection(PNG_Reader.GetOutputPort())
gauss.SetStandardDeviations(1.0, 1.0, 1.0)
gauss.SetRadiusFactors(1.0, 1.0, 1.0)
gauss.Update()
图五:两种不同间距的平滑结果,左图为未平滑,右图为使用高斯平滑 图五:两种不同间距的平滑结果,左图为未平滑,右图为使用高斯平滑 图五:两种不同间距的平滑结果,左图为未平滑,右图为使用高斯平滑
在进行高斯平滑之后,进行边缘提取。
# 计算轮廓的方法
contour = vtk.vtkMarchingCubes()
gauss.GetOutput().SetSpacing(spacing)
contour.SetInputConnection(gauss.GetOutputPort())
contour.ComputeNormalsOn()
contour.SetValue(0, 100)
后面这段代码是vtk的显示部分,笔者一般不去动它,也是每一份脚本中的固有内容,如果您对该部分感兴趣,您应该查阅vtk官方文档。
mapper = vtk.vtkPolyDataMapper()
mapper.SetInputConnection(contour.GetOutputPort())
mapper.ScalarVisibilityOff()
actor = vtk.vtkActor()
actor.SetMapper(mapper)
renderer = vtk.vtkRenderer()
renderer.SetBackground([1.0, 1.0, 1.0])
renderer.AddActor(actor)
window = vtk.vtkRenderWindow()
window.SetSize(512, 512)
window.AddRenderer(renderer)
interactor = vtk.vtkRenderWindowInteractor()
interactor.SetRenderWindow(window)
# 开始显示
if __name__ == '__main__':
window.Render()
interactor.Initialize()
interactor.Start()
个人感觉python vtk的开发并没有pythonic风格,开发者有一些将cpp的开发思路带入python库/接口的设计,让我写起来味如嚼蜡,从上面的代码亦可以看出,具有浓厚的cpp风格。
不过代码能跑就行,不得不说vtk仍然是很强大的三维重建工具!
.GetOutputPort()
和 .SetInputConnection()
您会看见诸如 contour.SetInputConnection(gauss.GetOutputPort())
的句子。
这两个函数一般是成对出现,上下传递的。
.GetOutput()
和 .SetInputData()
笔者在参阅其他博主的博客时,同样看见这样的写法,例如:
contour.SetInputData(gauss.GetOutput())
这两个函数一般是成对出现的,进行上下传递处理结果。
在开发过程中,您可能会遇到不少报错,其中肯定会有vtk数据类型报错的问题。我整理了一份表格:
Name | Input Type | Return Type | Variable |
---|---|---|---|
vtk.vtkPNGReader() | ? | vtkImageData | PNG_Reader |
vtk.vtkImageGaussianSmooth() | vtkImageData | vtkImageData | gauss |
vtk.vtkMarchingCubes() | vtkImageData | vtkPolyData | contour |
vtk.vtkPolyDataNormals() | vtkImageData | vtkPolyData | normfilter |
希望能够帮助您解决开发过程中的一些疑惑。
医学图像的三维重建工作部分博客较少,笔者希望提供一些星星之火,大家共同进步!
笔者采用的重建代码已经打包至百度云盘,您可以通过下面的链接下载:
提取码:jpt3
文章浏览阅读3k次,点赞3次,收藏13次。root@server ~]# vim /etc/named.rfc1912.zones #添加如下内容,也可直接更改模板。[root@server ~]# vim /etc/named.conf #打开主配置文件,将如下两处地方修改为。注意:ip地址必须反向书写,这里文件名需要和反向解析数据文件名相同。新建或者拷贝一份进行修改。nslookup命令。_dns反向解析
文章浏览阅读2.5w次,点赞16次,收藏103次。这个函数TIM_SetCompare1,这个函数有四个,分别是TIM_SetCompare1,TIM_SetCompare2,TIM_SetCompare3,TIM_SetCompare4。位于CH1那一行的GPIO口使用TIM_SetCompare1这个函数,位于CH2那一行的GPIO口使用TIM_SetCompare2这个函数。使用stm32f103的除了tim6和tim7没有PWM..._tim_setcompare1
文章浏览阅读950次,点赞33次,收藏19次。多线程_进程和线程,并发与并行,线程优先级,守护线程,实现线程的四种方式,线程周期;线程同步,线程中的锁,Lock类,死锁,生产者和消费者案例
文章浏览阅读2.9k次。ifort 编译器的安装ifort 编译器可以在 intel 官网上下载。打开https://software.intel.com/content/www/us/en/develop/tools/oneapi/components/fortran-compiler.html#gs.7iqrsm点击网页中下方处的 Download, 选择 Intel Fortran Compiler Classic and Intel Fortran Compiler(Beta) 下方对应的版本。我选择的是 l_在linux系统的用户目录下安装ifort和mkl库并配置
文章浏览阅读689次,点赞7次,收藏8次。些项目时需要一个生成图片的方法,我在网上找到比较方便且适合我去设置一些样式的生成方式之一就是使用Freemarker,在对应位置上先写好一个html格式的ftl文件,在对应位置用${参数名}填写上。还记得当时为了解决图片大小设置不上,搜索了好久资料,不记得是在哪看到的需要在里面使用width与height直接设置,而我当时用style去设置,怎么都不对。找不到,自己测试链接,准备将所有含有中文的图片链接复制一份,在服务器上存储一份不带中文的文件。突然发现就算无中文,有的链接也是打不开的。_ftl格式pdf的样式调整
文章浏览阅读1.5k次,点赞6次,收藏12次。拉取librealsense。_opt/ros/noetic/lib/nodelet/nodelet: symbol lookup error: /home/admin07/reals
文章浏览阅读3.4k次,点赞3次,收藏29次。一.单选题二.填空题三.判断题一.单选题静态链接是在( )进行的。A、编译某段程序时B、装入某段程序时C、紧凑时D、装入程序之前Pentium处理器(32位)最大可寻址的虚拟存储器地址空间为( )。A、由内存的容量而定B、4GC、2GD、1G分页系统中,主存分配的单位是( )。A、字节B、物理块C、作业D、段在段页式存储管理中,当执行一段程序时,至少访问()次内存。A、1B、2C、3D、4在分段管理中,( )。A、以段为单位分配,每._系统抖动现象的发生由什么引起的
文章浏览阅读2.4k次。在实际的工作生产中,零件的加工制造一般都需要二维工程图来辅助设计。UG NX 的工程图主要是为了满足二维出图需要。在绘制工程图时,需要先确定所绘制图形要表达的内容,然后根据需要并按照视图的选择原则,绘制工程图的主视图、其他视图以及某些特殊视图,最后标注图形的尺寸、技术说明等信息,即可完成工程图的绘制。1.视图选择原则工程图合理的表达方案要综合运用各种表达方法,清晰完整地表达出零件的结构形状,并便于看图。确定工程图表达方案的一般步骤如下:口分析零件结构形状由于零件的结构形状以及加工位置或工作位置的不._ug-nx工程图
文章浏览阅读920次,点赞29次,收藏18次。原文《智能制造数字化工厂智慧供应链大数据解决方案》PPT格式主要从智能制造数字化工厂智慧供应链大数据解决方案框架图、销量预测+S&OP大数据解决方案、计划统筹大数据解决方案、订单履约大数据解决方案、库存周转大数据解决方案、采购及供应商管理大数据模块、智慧工厂大数据解决方案、设备管理大数据解决方案、质量管理大数据解决方案、仓储物流与网络优化大数据解决方案、供应链决策分析大数据解决方案进行建设。适用于售前项目汇报、项目规划、领导汇报。
文章浏览阅读2w次,点赞38次,收藏102次。在服务器端,socket()返回的套接字用于监听(listen)和接受(accept)客户端的连接请求。这个套接字不能用于与客户端之间发送和接收数据。 accept()接受一个客户端的连接请求,并返回一个新的套接字。所谓“新的”就是说这个套接字与socket()返回的用于监听和接受客户端的连接请求的套接字不是同一个套接字。与本次接受的客户端的通信是通过在这个新的套接字上发送和接收数_当在函数 'main' 中调用 'open_socket_accept'时.line: 8. connection request fa
文章浏览阅读4.3k次。对象销毁对象销毁的标准语法Close和Stop何时销毁对象销毁对象时清除字段对象销毁的标准语法Framework在销毁对象的逻辑方面遵循一套规则,这些规则并不限用于.NET Framework或C#语言;这些规则的目的是定义一套便于使用的协议。这些协议如下:一旦销毁,对象不可恢复。对象不能被再次激活,调用对象的方法或者属性抛出ObjectDisposedException异常重复地调用对象的Disposal方法会导致错误如果一个可销毁对象x 包含或包装或处理另外一个可销毁对象y,那么x的Disp_c# 销毁对象及其所有引用
文章浏览阅读1.1w次。这是记录,在中项、高项过程中的错题笔记;https://www.zenwu.site/post/2b6d.html1. 信息系统的规划工具在制订计划时,可以利用PERT图和甘特图;访谈时,可以应用各种调查表和调查提纲;在确定各部门、各层管理人员的需求,梳理流程时,可以采用会谈和正式会议的方法。为把企业组织结构与企业过程联系起来,说明每个过程与组织的联系,指出过程决策人,可以采用建立过程/组织(Process/Organization,P/O)矩阵的方法。例如,一个简单的P/O矩阵示例,其中._大型设备可靠性测试可否拆解为几个部分进行测试