第4节计划讲图像基础以及有用的传统图像算法，比如keams、边缘检测等等，这些内容后面有个项目会用到，所以放在后面再一块整合了。

第5节的主要目标是教会萌新如何训练测试一个视觉深度学习模型，以及各种指标的含义和作用。

一、训练及测试模型

一般的深度学习模型框架中的train文件代表着训练模型的脚本，训练一个模型我们首先需要输入数据集，所以一般会有一个描述数据集的文件，然后我们需要确定模型的具体结构，所以通常也会有一个描述模型结构的文件，以YOLOv8为例，描述数据集的文件在ultralytics/cfg/datasets路径下，可以看到有各种数据集的描述文件，每份数据集描述文件通常需要写明数据集的路径以及类别，部分描述文件还会对数据集进行下载：

# Ultralytics YOLO , AGPL-3.0 license
# COCO8-seg dataset (first 8 images from COCO train2017) by Ultralytics
# Example usage: yolo train data=coco8-seg.yaml
# parent
# ├── ultralytics
# └── datasets
#     └── coco8-seg  ← downloads here (1 MB)


# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: ../datasets/coco8-seg  # dataset root dir
train: images/train  # train images (relative to 'path') 4 images
val: images/val  # val images (relative to 'path') 4 images
test:  # test images (optional)

# Classes
names:
  0: person
  1: bicycle
  2: car
  3: motorcycle
  4: airplane
  5: bus
  6: train
  7: truck
  8: boat
  9: traffic light
  10: fire hydrant
  11: stop sign
  12: parking meter
  13: bench
  14: bird
  15: cat
  16: dog
  17: horse
  18: sheep
  19: cow
  20: elephant
  21: bear
  22: zebra
  23: giraffe
  24: backpack
  25: umbrella
  26: handbag
  27: tie
  28: suitcase
  29: frisbee
  30: skis
  31: snowboard
  32: sports ball
  33: kite
  34: baseball bat
  35: baseball glove
  36: skateboard
  37: surfboard
  38: tennis racket
  39: bottle
  40: wine glass
  41: cup
  42: fork
  43: knife
  44: spoon
  45: bowl
  46: banana
  47: apple
  48: sandwich
  49: orange
  50: broccoli
  51: carrot
  52: hot dog
  53: pizza
  54: donut
  55: cake
  56: chair
  57: couch
  58: potted plant
  59: bed
  60: dining table
  61: toilet
  62: tv
  63: laptop
  64: mouse
  65: remote
  66: keyboard
  67: cell phone
  68: microwave
  69: oven
  70: toaster
  71: sink
  72: refrigerator
  73: book
  74: clock
  75: vase
  76: scissors
  77: teddy bear
  78: hair drier
  79: toothbrush


# Download script/URL (optional)
download: https://ultralytics.com/assets/coco8-seg.zip

以我们自建YOLO系列数据集为例，根据第一讲中的流程数据集建立格式如下

从0开始的视觉研究生涯（1）从数据集开始讲起（入门）-程序员宅基地

那么只要复制新建一个yaml，替换其中的相关路径即可。

YOLOv5是有现成的train.py脚本的，我们只需替换其中的数据集路径即可。YOLOv8在文档中给出了模型训练的示例

from ultralytics import YOLO

# Load a model
model = YOLO('yolov8n.yaml')  # build a new model from YAML
model = YOLO('yolov8n.pt')  # load a pretrained model (recommended for training)
model = YOLO('yolov8n.yaml').load('yolov8n.pt')  # build from YAML and transfer weights

# Train the model
results = model.train(data='coco128.yaml', epochs=100, imgsz=640)

 当然我们可以设置更多的和训练有关的参数，详情可见ultralytics/cfg/default.yaml

在训练的过程中，一般模型会默认边训练边测试模型的性能，这个过程称之为val，val测试的不是损失函数是否达到最优值，而是相关任务的测试指标是否达到最优值。

val和train一样应用角度只要修改相关脚本中的路径即可，从原理上讲，val的流程会更加简单，没有数据增强、反向传播、优化梯度等过程，只要过一遍模型得出结果，然后计算相关指标。

YOLOv8的val脚本示例如下

from ultralytics import YOLO

# Load a model
model = YOLO('yolov8n.pt')  # load an official model
model = YOLO('path/to/best.pt')  # load a custom model

# Validate the model
metrics = model.val()  # no arguments needed, dataset and settings remembered
metrics.box.map    # map50-95
metrics.box.map50  # map50
metrics.box.map75  # map75
metrics.box.maps   # a list contains map50-95 of each category

一般模型都会有predict脚本或者demo脚本，即利用训练得到的模型对图像进行检测，可以得到检测后的图像，用来看模型效果到底好不好，毕竟只看指标也有可能出错的时候。其基本流程就是先初始化模型，然后读取图像，然后将图像输入进模型得到预测结果，非常简单，还是以YOLOv8为例，YOLOv8docs中给出了很多示例，包括图像和视频的demo，在demo脚本中通常会一并测试pytorch模型的推理速度

Predict - Ultralytics YOLOv8 Docs

from ultralytics import YOLO

# Load a model
model = YOLO('yolov8n.pt')  # pretrained YOLOv8n model

# Run batched inference on a list of images
results = model(['im1.jpg', 'im2.jpg'])  # return a list of Results objects

# Process results list
for result in results:
    boxes = result.boxes  # Boxes object for bbox outputs
    masks = result.masks  # Masks object for segmentation masks outputs
    keypoints = result.keypoints  # Keypoints object for pose outputs
    probs = result.probs  # Probs object for classification outputs

 此外还有一些benchmark等脚本，来测试模型的推理速度以及模型的参数量等信息。

二、视觉任务指标

在深度学习中，定义了三个最基本的测试指标

精确率：在被识别为正类别的样本（预测分类结果）中，确实为正类别的比例是多少
召回率：在所有正类别样本（真实分类结果）中，被正确识别为正类别的比例是多少？
准确率：在所有样本中，被正确识别的样本的比例是多少？

还定义了四类目标，

若一个实例为正类，实际预测为正类，即为真正类(True Positive TP)
若一个实例为负类，实际预测为负类，即为真负类(True Negative TN)
若一个实例为负类，实际预测为正类，即为假正类(False Positive FP)
若一个实例为正类，实际预测为负类，即为假负类(False Negative, FN)

图像分类任务较为常用的指标是准确率Accuracy和错误率（error rate)

Accuracy：(TP+TN)÷(TP+NP+TN+FN)，分类器对整体的判断能力，即正确预测的比例

错误率（error rate)则与正确率相反，描述被分类器错分的比例，error rate = (FP+FN)/(P+N)，对某一个实例来说，分对与分错是互斥事件，所以accuracy =1 - error rate；

有时候还会提到top1-Accuracy和top5-Accuracy，含义如下
top1----- 就是你预测的label取最后概率向量里面最大的那一个作为预测结果，如过你的预测结果中概率最大的那个分类正确，则预测正确。否则预测错误
top5----- 就是最后概率向量最大的前五名中，只要出现了正确概率即为预测正确。否则预测错误。

准确率的弊端：准确率作为我们最常用的指标，当出现样本不均衡的情况时，并不能合理反映模型的预测能力。例如测试数据集有90%的正样本，10%的负样本，假设模型预测结果全为正样本，这时准确率为90%，然而模型对负样本没有识别能力，此时高准确率不能反映模型的预测能力。

目标检测任务中的指标则较为复杂，这里涉及到如何判断一个框是正样本还是负样本，图像分类任务中分类正确的图像即为TP和TN这很好理解。而检测框除了是否检测出了目标，检测框位置也同样需要正确，所以又引入了IoU的概念

IoU指的是预测框和真实框的重叠比例，由此就可以判断预测框的位置是否准确

在目标检测任务中最常用的检测指标是mAP，这个指标综合考虑了精确率（precision）和召回率（recall）。准确率（accuracy）在目标检测任务中应用较少，其并不能很好的反应目标检测模型的性能，首先是目标检测不会有真负类（TN，若一个实例为负类，实际预测为负类，即为真负类(True Negative TN)），这点很好理解，我们不会去框背景或者不关注的东西。

设置IoU的阈值，如IoU=0.5，预测框的IoU值大于0.5  预测结果  正确，认定为真正类(TP,若一个实例为正类，实际预测为正类，即为真正类(True Positive TP))；否则， 预测结果错误，认定为假正类（FP，若一个实例为负类，实际预测为正类，即为假正类(False Positive FP)），此时没有被检测出的剩余目标即为假负类(FN,若一个实例为正类，实际预测为负类，即为假负类)，此外还有同一个正类可能有多个检测框的情况，此时取IoU最大的作为唯一的TP，其他则作为FP

基于此我们可以计算出模型的精确率（precision）和召回率（recall），除了IoU阈值外，还有置信度阈值来反映检测框的可信程度，很显然，置信度设置得越高，错误框越少，模型的精确度就越高，但反过来，一些正确的框也可能被排除了，导致召回率变低了。因此需要找到一个合适的置信度阈值，从而合理的计算P和R，这也就是F1指标，又称为平衡F分数（BalancedScore），它被定义为精确率和召回率的调和平均数。

此外还有不同的F指标，来为P和R赋上不同的权重，F0.5分数和F2分数，在统计学中也得到了大量应用，其中，F2分数中，召回率的权重高于精确率，而F0.5分数中，精确率的权重高于召回率。

 另一种更为全面的评价方法就是设置不同的置信度阈值，然后计算出所有的PR值，再画出相关图像计算mAP值，一张mAP图一般是下面这样的，在YOLOv5中，置信度设置为从0.01开始到1之间的101个值，计算对应的PR值画在这张图上，计算器包含的面积即AP，如果IoU阈值设置的是50%，那么此时称之为AP@50，所有类别的平均AP值就是mAP

 

图像分割的指标大体上与目标检测类似，其特有的指标如下：

PA：像素准确率
对应：准确率（Accuracy）
含义：预测类别正确的像素数占总像素数的比例
混淆矩阵计算：
对角线元素之和 / 矩阵所有元素之和
PA = (TP + TN) / (TP + TN + FP + FN)
CPA：类别像素准确率
对应：精准率（Precision）
含义：在类别 i 的预测值中，真实属于 i 类的像素准确率，换言之：模型对类别 i 的预测值有很多，其中有对有错，预测对的值占预测总值的比例
混淆矩阵计算：
类1：P1 = TP / (TP + FP)
类2：P2 = TN / (TN + FN)
类3：…
MPA：类别平均像素准确率
含义：分别计算每个类被正确分类像素数的比例，即：CPA，然后累加求平均
混淆矩阵计算：
每个类别像素准确率为：Pi（计算：对角线值 / 对应列的像素总数）
MPA = sum(Pi) / 类别数
IoU：交并比
含义：模型对某一类别预测结果和真实值的交集与并集的比值
混淆矩阵计算：
以求二分类：正例（类别1）的IoU为例
交集：TP，并集：TP、FP、FN求和
IoU = TP / (TP + FP + FN)
MIoU：平均交并比
含义：模型对每一类预测的结果和真实值的交集与并集的比值，求和再平均的结果
混淆矩阵计算：
以求二分类的MIoU为例
MIoU = (IoU正例p + IoU反例n) / 2 = [ TP / (TP + FP + FN) + TN / (TN + FN + FP) ] / 2

 关于模型轻量级的指标计算量FLOPs和参数量Params

计算量对应我们之前的时间复杂度，参数量对应于我们之前的空间复杂度，也就是计算量要看网络执行时间的长短，参数量要看占用显存的量

计算量：FLOPs，FLOP时指浮点运算次数，s是指秒，即每秒浮点运算次数的意思，考量一个网络模型的计算量的标准。

参数量：Params，是指网络模型中需要训练的参数总数。

以卷积层为例，参数量就是(kernel*kernel) *channel_input*channel_output

计算量就是(kernel*kernel*map*map) *channel_input*channel_output

池化层无参数

全连接层参数量＝计算量＝weight_in*weight_out

import torch
import torchvision
from thop import profile
 
print('==> Building model..')
model = torchvision.models.alexnet(pretrained=False)
 
input = torch.randn(1, 3, 224, 224)
flops, params = profile(model, (input,))
print('flops: %.2f M, params: %.2f M' % (flops / 1e6, params / 1e6))

模型推理速度的指标通常可以直接用推理所需的平均时间，或者FPS，在不同的硬件设备上会有不同的推理速度。

三、导出模型 

 如果仅仅是写论文的话，第三节加上上面的内容基本上就够用了，也可以用pytorch文件结合pyqt或者gradio做出可视化的界面，应付本科或者研究生毕业设计基本上足够了。

但是在工业应用领域，python的效率太低了，而且在各种嵌入式设备上都是用C++进行的开发，所以导出模型的任务就是将pytorch模型转为C++模型，正如pytorch是基于python实现的网络各个层的计算API，在C++中也有各种API

最基础的导出就是ONNX了，开放神经网络交换（Open Neural Network Exchange）简称ONNX是微软和Facebook提出用来表示深度学习模型的开放格式。所谓开放就是ONNX定义了一组和环境，平台均无关的标准格式，来增强各种AI模型的可交互性。换句话说，无论你使用何种训练框架训练模型（比如TensorFlow/Pytorch/OneFlow/Paddle），在训练完毕后你都可以将这些框架的模型统一转换为ONNX这种统一的格式进行存储。注意ONNX文件不仅仅存储了神经网络模型的权重，同时也存储了模型的结构信息以及网络中每一层的输入输出和一些其它的辅助信息。

onnx/onnx: Open standard for machine learning interoperability (github.com)

我们可以用netron来查看导出后的onnx结构

Netron 

onnx的使用也非常简单，可以直接用opencv中的dnn来跑， 不同的视觉任务再使用不同的后处理即可。

OpenVINO是英特尔推出的一款全面的工具套件(2023.0版本已经发布)，用于快速部署应用和解决方案，支持计算机视觉的CNN网络结构超过200余种。 

Intel Distribution of OpenVINO Toolkit

TensorRT则是在英伟达自家GPU上的推理库

TensorRT SDK | NVIDIA Developer

 Core ML 则是苹果提出的推理库。

Core ML - 简体中文文档 - Apple Developer 

大家一眼就看明白了，追求速度的话，我要应用到什么设备上就用什么推理库就行了呗，相关企业自己优化的那肯定是最好的，都不用比较了，贪图简单的话就直接onnx搞定。

当然在工业领域可能这几款设备都不怎么适用，而是用RAM式架构嵌入式单片机之类的，一些相关的芯片厂商也推出了对应的推理库，比如瑞芯微的RKNN，这里个人推荐如果是自己做实验的话，瑞芯微芯片效率还是很不错的，教程也比较详细。

RKNN 是 Rockchip npu 平台使用的模型类型，以.rknn后缀结尾的模型文件。Rockchip 提供了完整了模型转换 Python 工具，方便用户将自主研发的算法模型转换成 RKNN 模型，同时 Rockchip 也提供了C/C++和Python API 接口。

RKNN 使用 — Firefly Wiki (t-firefly.com)

还有在手机上或者其他芯片上的推理库，安卓手机一般也是RAM式架构芯片，推荐NCNN，啥？你问我苹果手机？那直接就CoreML啦

Tencent/ncnn: ncnn is a high-performance neural network inference framework optimized for the mobile platform (github.com)

另外华为有MindSpore官网 ，阿里有MNNalibaba/MNN: MNN is a blazing fast, lightweight deep learning framework, battle-tested by business-critical use cases in Alibaba (github.com)