TensorFlow 2.0 U-Net图像分割教程_日月光华tensorflow2.0unet-程序员宅基地

技术标签: Tensorflow  tensorflow  机器学习  image segmentation  图像分割  

什么是图像分割(image segmentatioin)?

想必你已经了解图像分类,神经网络所应用的任务之一就是对输入图像进行分类,指出其属于哪一类图像。然而,如果你需要从图像中识别出物体,指出图片中的像素点分别归属于什么物体,这种情况下你需要的是分割图像(segment the image),换句话说就是给图像的像素点打上标签。图像分割(image segmentation)的任务就是训练一个神经网络来,其输出为图片像素级别(pixel-wise)的mask。这可以帮助我们在像素层面上理解图片。图像分割技术有许多应用,如:医疗影像,自动驾驶,卫星图片处理。

本教程使用的数据集是Oxford-IIIT Pet Dataset,作者是Parkhi等。数据集包含了图片,其相关的标签,像素级的mask。mask基本上就是每一个像素点的标签。每个像素点都被分为3类:

  • Class 1 : 属于宠物的像素点
  • Class 2 : 宠物边界的像素点
  • Class 3 : 其它像素点,环境等
!pip install -q git+https://github.com/tensorflow/examples.git
try:
  # %tensorflow_version only exists in Colab.
  %tensorflow_version 2.x
except Exception:
  pass
import tensorflow as tf
from __future__ import absolute_import, division, print_function, unicode_literals

from tensorflow_examples.models.pix2pix import pix2pix

import tensorflow_datasets as tfds
tfds.disable_progress_bar()

from IPython.display import clear_output
import matplotlib.pyplot as plt

下载Oxford-IIIT Pets数据集

数据集已经集成在TensorFlow中,我们只需要下载即可。分割mask(segmentation masks)在3.0.0版本中才有提供,因此我们使用这一版本:

dataset, info = tfds.load('oxford_iiit_pet:3.0.0', with_info=True)

The following code performs a simple augmentation of flipping an image. In addition, image is normalized to [0,1]. Finally, as mentioned above the pixels in the segmentation mask are labeled either {1, 2, 3}. For the sake of convinience, let's subtract 1 from the segmentation mask, resulting in labels that are : {0, 1, 2}.

def normalize(input_image, input_mask):
  input_image = tf.cast(input_image, tf.float32)/128.0 - 1
  input_mask -= 1
  return input_image, input_mask
@tf.function
def load_image_train(datapoint):
  input_image = tf.image.resize(datapoint['image'], (128, 128))
  input_mask = tf.image.resize(datapoint['segmentation_mask'], (128, 128))

  if tf.random.uniform(()) > 0.5:
    input_image = tf.image.flip_left_right(input_image)
    input_mask = tf.image.flip_left_right(input_mask)

  input_image, input_mask = normalize(input_image, input_mask)

  return input_image, input_mask
def load_image_test(datapoint):
  input_image = tf.image.resize(datapoint['image'], (128, 128))
  input_mask = tf.image.resize(datapoint['segmentation_mask'], (128, 128))

  input_image, input_mask = normalize(input_image, input_mask)

  return input_image, input_mask

数据集本身需要分割训练和测试,以下我们对其进行分割:

TRAIN_LENGTH = info.splits['train'].num_examples
BATCH_SIZE = 64
BUFFER_SIZE = 1000
STEPS_PER_EPOCH = TRAIN_LENGTH // BATCH_SIZE
train = dataset['train'].map(load_image_train, num_parallel_calls=tf.data.experimental.AUTOTUNE)
test = dataset['test'].map(load_image_test)
train_dataset = train.cache().shuffle(BUFFER_SIZE).batch(BATCH_SIZE).repeat()
train_dataset = train_dataset.prefetch(buffer_size=tf.data.experimental.AUTOTUNE)
test_dataset = test.batch(BATCH_SIZE)

让我们以一个图片为例看一下,数据集里面的mask是什么效果:

def display(display_list):
  plt.figure(figsize=(15, 15))

  title = ['Input Image', 'True Mask', 'Predicted Mask']

  for i in range(len(display_list)):
    plt.subplot(1, len(display_list), i+1)
    plt.title(title[i])
    plt.imshow(tf.keras.preprocessing.image.array_to_img(display_list[i]))
    plt.axis('off')
  plt.show()
for image, mask in train.take(1):
  sample_image, sample_mask = image, mask
display([sample_image, sample_mask])

定义模型

这里使用的是改进的U-Net。U-Net由一个下采样编码器 (downsampler)和上采样解码器 (upsampler)组成。为了能够学习到鲁棒的特征,并减少训练的参数,可以用一个预训练的模型充当编码器。本任务中编码器使用的是一个经过预训练的MobileNetV2模型,并应用其中间输出, 上采样解码器模块在Pix2pix tutorial的tensorflow例子实现。

有3个输出通道的原因是因为有像素点的分类有3种可能。

OUTPUT_CHANNELS = 3

如上,编码器是经过预训练的MobileNetV2,其已经在tf.keras.applications中集成。这个编码器包括了模型中介层(intermediate layer)的特别输出。请注意,编码器在训练过程(training process)中不会被训练。

base_model = tf.keras.applications.MobileNetV2(input_shape=[128, 128, 3], include_top=False)

# Use the activations of these layers
layer_names = [
    'block_1_expand_relu',   # 64x64
    'block_3_expand_relu',   # 32x32
    'block_6_expand_relu',   # 16x16
    'block_13_expand_relu',  # 8x8
    'block_16_project',      # 4x4
]
layers = [base_model.get_layer(name).output for name in layer_names]

# Create the feature extraction model
down_stack = tf.keras.Model(inputs=base_model.input, outputs=layers)

down_stack.trainable = False
Downloading data from https://github.com/JonathanCMitchell/mobilenet_v2_keras/releases/download/v1.1/mobilenet_v2_weights_tf_dim_ordering_tf_kernels_1.0_128_no_top.h5
9412608/9406464 [==============================] - 2s 0us/step

解码器/上采样器是上采样模块的简单串联,以下是tensorflow的例子:

up_stack = [
    pix2pix.upsample(512, 3),  # 4x4 -> 8x8
    pix2pix.upsample(256, 3),  # 8x8 -> 16x16
    pix2pix.upsample(128, 3),  # 16x16 -> 32x32
    pix2pix.upsample(64, 3),   # 32x32 -> 64x64
]
def unet_model(output_channels):

  # This is the last layer of the model
  last = tf.keras.layers.Conv2DTranspose(
      output_channels, 3, strides=2,
      padding='same', activation='softmax')  #64x64 -> 128x128

  inputs = tf.keras.layers.Input(shape=[128, 128, 3])
  x = inputs

  # Downsampling through the model
  skips = down_stack(x)
  x = skips[-1]
  skips = reversed(skips[:-1])

  # Upsampling and establishing the skip connections
  for up, skip in zip(up_stack, skips):
    x = up(x)
    concat = tf.keras.layers.Concatenate()
    x = concat([x, skip])

  x = last(x)

  return tf.keras.Model(inputs=inputs, outputs=x)

训练模型

现在,让我们来编译和训练模型。这里的损失函数采用losses.sparse_categorical_crossentropy。选择这个损失函数的原因是任务的目标是对每个像素点进行分类,即是一个多分类预测问题。 在真正的segmentation mask中,每个像素点的标签是 {0,1,2}之一。网络的输出有3个通道。每个通道都要训练到,losses.sparse_categorical_crossentropy正适合这样的场景。网络的输出是像素点的标签,像素点的标签是得分最高的那个通道的代表值({0,1,2}之一)。 这是create_mask function所做的工作:

model = unet_model(OUTPUT_CHANNELS)
model.compile(optimizer='adam', loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])

我们先来看看,在训练前,预测结果是怎样的:

def create_mask(pred_mask):
  pred_mask = tf.argmax(pred_mask, axis=-1)
  pred_mask = pred_mask[..., tf.newaxis]
  return pred_mask[0]
def show_predictions(dataset=None, num=1):
  if dataset:
    for image, mask in dataset.take(num):
      pred_mask = model.predict(image)
      display([image[0], mask[0], create_mask(pred_mask)])
  else:
    display([sample_image, sample_mask,
             create_mask(model.predict(sample_image[tf.newaxis, ...]))])
show_predictions()

让我们观察一下训练带来的提升效果。为了完善这个工作,以下定义callback函数用来显示。

class DisplayCallback(tf.keras.callbacks.Callback):
  def on_epoch_end(self, epoch, logs=None):
    clear_output(wait=True)
    show_predictions()
    print ('\nSample Prediction after epoch {}\n'.format(epoch+1))
EPOCHS = 20
VAL_SUBSPLITS = 5
VALIDATION_STEPS = info.splits['test'].num_examples//BATCH_SIZE//VAL_SUBSPLITS

model_history = model.fit(train_dataset, epochs=EPOCHS,
                          steps_per_epoch=STEPS_PER_EPOCH,
                          validation_steps=VALIDATION_STEPS,
                          validation_data=test_dataset,
                          callbacks=[DisplayCallback()])

Sample Prediction after epoch 20

57/57 [==============================] - 4s 73ms/step - loss: 0.1445 - accuracy: 0.9344 - val_loss: 0.3345 - val_accuracy: 0.8859
loss = model_history.history['loss']
val_loss = model_history.history['val_loss']

epochs = range(EPOCHS)

plt.figure()
plt.plot(epochs, loss, 'r', label='Training loss')
plt.plot(epochs, val_loss, 'bo', label='Validation loss')
plt.title('Training and Validation Loss')
plt.xlabel('Epoch')
plt.ylabel('Loss Value')
plt.ylim([0, 1])
plt.legend()
plt.show()

预测

我们来进行预测,为了节省时间,epoch的数量不宜太大,但是要足够大以保证足够的准确度。

show_predictions(test_dataset, 3)

下一步

现在,你已经了解什么是图像分割以及如何进行图像分割,你可以尝试使用不同的intermediate layer作为输出,或者更进一步使用不同的预训练模型。你也可以尝试挑战自己,参加Kaggle上的Carvana image masking挑战赛。

你可以在Tensorflow Object Detection API 找到其他的模型用来进行训练。

原文链接:https://www.tensorflow.org/beta/tutorials/images/segmentation

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/XiaoMeow/article/details/100587879

智能推荐

爱达荷大学计算机科学专业,爱达荷大学(University of Idaho)计算机科学Computer Science专业排名第176-200位(2021年THE世界大学商科排名)...-程序员宅基地

文章浏览阅读138次。2021年THE泰晤士高等教育计算机科学Computer Science专业世界大学排名公布,爱达荷大学(University of Idaho)计算机科学世界排名第176-200位,爱达荷大学(University of Idaho)计算机科学专业实力怎么样呢?下面美英港新留学介绍爱达荷大学(University of Idaho)计算机科学专业培养计划,爱达荷大学(University of ..._爱达荷大学计算机属于哪个学院

计算集合的并集(set)_集合求并集-程序员宅基地

文章浏览阅读2.6k次。给你两个集合,计算其并集,即{A}+{B}。注意:{A}+{B}中不允许出现重复元素,但是{A}与{B}之间可能存在相同的元素。输入格式输入数据分为三行,第一行有两个数字n,m(0<n,m<10000),分别表示集合A和集合B的元素个数。后两行分别表示集合{A}和集合{B}。每个元素为不超过int范围的整数,每个元素之间用空格隔开。输出格式输出一行数据,表示合并后的集合,要求..._集合求并集

亿能bms上位机_BMS_CAN 基于USBCAN的BMS上位机软件,VC CSharp C#编程 238万源代码下载- www.pudn.com...-程序员宅基地

文章浏览阅读2k次,点赞2次,收藏3次。文件名称: BMS_CAN下载 收藏√ [5 4 3 2 1]开发工具: Visual C++文件大小: 1079 KB上传时间: 2015-05-06下载次数: 1提 供 者: 龚先生详细说明:基于USBCAN的BMS上位机软件,VC-The BMS USBCAN based PC software文件列表(点击判断是否您需要的文件,如果是垃圾请在下面评价投诉):上位机........_亿能上位机软件下载

QT QVTKWidge-程序员宅基地

文章浏览阅读307次。 把libQVTKWidgetPlugin.so放到指定文件夹下,即可/opt/Qt5.10.1/Tools/QtCreator/lib/Qt/plugins/designer/libQVTKWidgetPlugin.solibQVTKWidgetPlugin.so 在build VTK的VTK-8.1.2/build/lib目录..._qvtkwidge

Flutter错误记录_flutter warning: '@return' command used in a comme-程序员宅基地

文章浏览阅读1.7k次。1.Xcode12 打包报错Dart snapshot generator failed with exit code 1Building App.framework for arm64...Building AOT snapshot in release mode (ios-release)... 13.2sBuilt to build/aot/.Snapshotting (IOSArch.armv7) exited with non-zero exit code: 1_flutter warning: '@return' command used in a comment that is attached to a m

Ford-Fulkerson algorithm with capacity scaling_ford capacity 详解-程序员宅基地

文章浏览阅读714次。//// main.cpp// Ford-Fulkerson with capacity scaling//// Created by Longxiang Lyu on 8/9/16.// Copyright (c) 2016 Longxiang Lyu. All rights reserved.//#include #include #include #includ_ford capacity 详解

随便推点

GEE:遥感影像数据集的多个属性获取分析_gee如何读取数据集中feather-程序员宅基地

文章浏览阅读2.3k次,点赞2次,收藏23次。使用GEE,查看影像数据集的各个属性,如影像数量、影像时间范围、各个影像的时间、影像某属性的统计量等_gee如何读取数据集中feather

如何将LaTeX公式拷贝到Word中_latex公式转word-程序员宅基地

文章浏览阅读6.6w次,点赞52次,收藏91次。LaTeX可以方便地用来编辑公式,但是它的排版需要编译以后才能看到,Word就在公式编辑上着实让人觉得麻烦,但是Word可以及时显示你所编辑的内容。本文介绍一种方法来帮助你将LaTeX源码直接在Word中转化为公式。_latex公式转word

集论初步_最小单调类存在-程序员宅基地

文章浏览阅读1k次。1.逻辑基础1.1逻辑命题定义1:命题是一个或真或假的陈述语句,即陈述事实的句子,但不能既真又假。其是逻辑的基本成分。定义2:令p是一个命题,则⌝p表示p的否命题,表示“不是p说的情形”。定义3:令p、q都是命题,p、q的合取命题用“p∧q”表示,指命题“p且q”。当且仅当p、q都真时该合取为真。定义4:令p、q都是命题,p、q的析取命题用“p∨q”表示,指命题“p或q”。当且..._最小单调类存在

6—CSS基础选择器(标签选择器、类选择器、id选择器)-程序员宅基地

文章浏览阅读2.4k次,点赞2次,收藏5次。6—CSS基础选择器(标签选择器、类选择器、id选择器)_标签选择器

谷歌静态资源库加速-程序员宅基地

文章浏览阅读521次。修改https://ajax.googleapis.com/为http://ajax.proxy.ustclug.org/或者谷歌字体也可以font.lug.ustc.edu.cn ajax.lug.ustc.edu.cn

qt设置窗口置顶_Qt保持窗口在最上方-程序员宅基地

文章浏览阅读8.5k次,点赞2次,收藏8次。前言在Qt开发桌面软件的过程中,根据开发的需求不同,我们经常需要将弹出窗口,一般常见的是需要是以下两种。锁定弹出的窗口,阻塞其他窗口(包括主窗口)的操作,只有关闭当前窗口才能点击其他窗口或者主窗口保持当前窗口一直显示在最顶层,但是不锁定(即同时可以操作其他窗口),同时也需要保证不影响其他程序知识准备首先我们需要了解一下 QMainWindow、QWidget、QDialog 的区别。具体可以看以下..._新的witget可以置顶显示并且阻塞别的窗口吗

推荐文章

热门文章

相关标签