CNN中卷积层的计算细节_cnn卷积层卷积举例-程序员宅基地

原文链接： https://zhuanlan.zhihu.com/p/29119239

卷积层尺寸的计算原理

输入矩阵格式：四个维度，依次为：样本数、图像高度、图像宽度、图像通道数
输出矩阵格式：与输出矩阵的维度顺序和含义相同，但是后三个维度（图像高度、图像宽度、图像通道数）的尺寸发生变化。
权重矩阵（卷积核）格式：同样是四个维度，但维度的含义与上面两者都不同，为：卷积核高度、卷积核宽度、输入通道数、输出通道数（卷积核个数）
输入矩阵、权重矩阵、输出矩阵这三者之间的相互决定关系
- 卷积核的输入通道数（in depth）由输入矩阵的通道数所决定。（红色标注）
- 输出矩阵的通道数（out depth）由卷积核的输出通道数所决定。（绿色标注）
- 输出矩阵的高度和宽度（height, width）这两个维度的尺寸由输入矩阵、卷积核、扫描方式所共同决定。计算公式如下。（蓝色标注）

$\begin{cases} height_{out} &= (height_{in} - height_{kernel} + 2 * padding) ~ / ~ stride + 1\\[2ex] width_{out} &= (width_{in} - width_{kernel} + 2 * padding) ~ / ~ stride + 1 \end{cases}$

* 注：以下计算演示均省略掉了 Bias ，严格来说其实每个卷积核都还有一个 Bias 参数。

标准卷积计算举例

以 AlexNet 模型的第一个卷积层为例，
- 输入图片的尺寸统一为 227 x 227 x 3 （高度 x 宽度 x 颜色通道数），
- 本层一共具有96个卷积核，
- 每个卷积核的尺寸都是 11 x 11 x 3。
- 已知 stride = 4， padding = 0，
- 假设 batch_size = 256，
- 则输出矩阵的高度/宽度为 (227 - 11) / 4 + 1 = 55

$\begin{matrix} & \mathbf{Batch} & \mathbf{Height} && \mathbf{Width} && \mathbf{In~Depth} && \mathbf{Out~Depth}\\[2ex] \mathbf{Input} & \quad\quad 256 \quad\quad \times & \color{blue}{227} & \times & \color{blue}{227} & \times & \color{red}{3} \\[2ex] \mathbf{Kernel} &\quad\quad\quad\quad\quad & \color{blue}{11} & \times & \color{blue}{11} & \times & \color{red}{3} & \times & \color{green}{96} \\[2ex] \mathbf{Output} & \quad\quad 256 \quad\quad \times & \color{blue}{55} & \times & \color{blue}{55} &&& \times & \color{green}{96} \end{matrix}$

1 x 1 卷积计算举例

后期 GoogLeNet、ResNet 等经典模型中普遍使用一个像素大小的卷积核作为降低参数复杂度的手段。
从下面的运算可以看到，其实 1 x 1 卷积没有什么神秘的，其作用就是将输入矩阵的通道数量缩减后输出（512 降为 32），并保持它在宽度和高度维度上的尺寸（227 x 227）。

$\begin{matrix} & \mathbf{Batch} & \mathbf{Height} && \mathbf{Width} && \mathbf{In~Depth} && \mathbf{Out~Depth}\\[2ex] \mathbf{Input} & \quad\quad 256 \quad\quad \times & \color{blue}{227} & \times & \color{blue}{227} & \times & \color{red}{512} \\[2ex] \mathbf{Kernel} &\quad\quad\quad\quad\quad & \color{blue}{1} & \times & \color{blue}{1} & \times & \color{red}{512} & \times & \color{green}{32} \\[2ex] \mathbf{Output} & \quad\quad 256 \quad\quad \times & \color{blue}{227} & \times & \color{blue}{227} &&& \times & \color{green}{32} \end{matrix}$

全连接层计算举例

实际上，全连接层也可以被视为是一种极端情况的卷积层，其卷积核尺寸就是输入矩阵尺寸，因此输出矩阵的高度和宽度尺寸都是1。

$\begin{matrix} & \mathbf{Batch} & \mathbf{Height} && \mathbf{Width} && \mathbf{In~Depth} && \mathbf{Out~Depth}\\[2ex] \mathbf{Input} & \quad \quad 256 \quad \quad \times & \color{blue}{32} & \times & \color{blue}{32} & \times & \color{red}{512} \\[2ex] \mathbf{Kernel} &\quad\quad\quad\quad\quad & \color{blue}{32} & \times & \color{blue}{32} & \times & \color{red}{512} & \times & \color{green}{4096} \\[2ex] \mathbf{Output} & \quad \quad 256 \quad \quad \times & \color{blue}{1} & \times & \color{blue}{1} &&& \times & \color{green}{4096} \end{matrix}$

总结下来，其实只需要认识到，虽然输入的每一张图像本身具有三个维度，但是对于卷积核来讲依然只是一个一维向量。卷积核做的，其实就是与感受野范围内的像素点进行点积（而不是矩阵乘法）。

附：TensorFlow 中卷积层的简单实现


    
    
     
      
      
      
       
       
       
        
      
      
       
      
      
       
       
       
        
        
        
        
        
         def 
        
        
         conv_layer
        
        
         (
        
        
         x
        
        
         , 
        
        
         out_channel
        
        
         , 
        
        
         k_size
        
        
         , 
        
        
         stride
        
        
         , 
        
        
         padding
        
        
         ):
       
       
        
      
      
       
      
      
      
       
       
       
        
      
      
       
      
      
       
       
       
            
        
        
         in_channel 
        
        
         = 
        
        
         x
        
        
         .
        
        
         shape
        
        
         [
        
        
         3
        
        
         ]
        
        
         .
        
        
         value
       
       
        
      
      
       
      
      
      
       
       
       
        
      
      
       
      
      
       
       
       
            
        
        
         w 
        
        
         = 
        
        
         tf
        
        
         .
        
        
         Variable
        
        
         (
        
        
         tf
        
        
         .
        
        
         truncated_normal
        
        
         ([
        
        
         k_size
        
        
         , 
        
        
         k_size
        
        
         , 
        
        
         in_channel
        
        
         , 
        
        
         out_channel
        
        
         ], 
        
        
         mean
        
        
         =
        
        
         0
        
        
         , 
        
        
         stddev
        
        
         =
        
        
         stddev
        
        
         ))
       
       
        
      
      
       
      
      
      
       
       
       
        
      
      
       
      
      
       
       
       
            
        
        
         b 
        
        
         = 
        
        
         tf
        
        
         .
        
        
         Variable
        
        
         (
        
        
         tf
        
        
         .
        
        
         zeros
        
        
         (
        
        
         out_channel
        
        
         ))
       
       
        
      
      
       
      
      
      
       
       
       
        
      
      
       
      
      
       
       
       
            
        
        
         y 
        
        
         = 
        
        
         tf
        
        
         .
        
        
         nn
        
        
         .
        
        
         conv2d
        
        
         (
        
        
         x
        
        
         , 
        
        
         filter
        
        
         =
        
        
         w
        
        
         , 
        
        
         strides
        
        
         =
        
        
         [
        
        
         1
        
        
         , 
        
        
         stride
        
        
         , 
        
        
         stride
        
        
         , 
        
        
         1
        
        
         ], 
        
        
         padding
        
        
         =
        
        
         padding
        
        
         )
       
       
        
      
      
       
      
      
      
       
       
       
        
      
      
       
      
      
       
       
       
            
        
        
         y 
        
        
         = 
        
        
         tf
        
        
         .
        
        
         nn
        
        
         .
        
        
         bias_add
        
        
         (
        
        
         y
        
        
         , 
        
        
         b
        
        
         )
       
       
        
      
      
       
      
      
      
       
       
       
        
      
      
       
      
      
       
       
       
            
        
        
         y 
        
        
         = 
        
        
         tf
        
        
         .
        
        
         nn
        
        
         .
        
        
         relu
        
        
         (
        
        
         y
        
        
         )
       
       
        
      
      
       
      
      
      
       
       
       
        
      
      
       
      
      
       
       
       
            
        
        
         return 
        
        
         x

输入 x：[batch, height, width, in_channel]
权重 w：[height, width, in_channel, out_channel]
输出 y：[batch, height, width, out_channel]

本文链接：https://blog.csdn.net/weixin_40964777/article/details/105631298

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

c# 调用c++ lib静态库_c#调用lib-程序员宅基地

文章浏览阅读2w次，点赞7次，收藏51次。四个步骤1.创建C++ Win32项目动态库dll 2.在Win32项目动态库中添加外部依赖项 lib头文件和lib库3.导出C接口4.c#调用c++动态库开始你的表演...①创建一个空白的解决方案，在解决方案中添加 Visual C++ , Win32 项目空白解决方案的创建：添加Visual C++ , Win32 项目这......_c#调用lib

deepin/ubuntu安装苹方字体-程序员宅基地

文章浏览阅读4.6k次。苹方字体是苹果系统上的黑体，挺好看的。注重颜值的网站都会使用，例如知乎：font-family: -apple-system, BlinkMacSystemFont, Helvetica Neue, PingFang SC, Microsoft YaHei, Source Han Sans SC, Noto Sans CJK SC, W..._ubuntu pingfang

html表单常见操作汇总_html表单的处理程序有那些-程序员宅基地

文章浏览阅读159次。表单表单概述表单标签表单域按钮控件demo表单标签表单标签基本语法结构<form action="处理数据程序的url地址“ method=”get|post“ name="表单名称”></form><!--method将表单中的数据传送给服务器处理，get方式直接显示在url地址中，数据可以被缓存，且长度有限制；而post方式数据隐藏传输，_html表单的处理程序有那些

PHP设置谷歌验证器（Google Authenticator）实现操作二步验证_php otp 验证器-程序员宅基地

文章浏览阅读1.2k次。使用说明:开启Google的登陆二步验证（即Google Authenticator服务）后用户登陆时需要输入额外由手机客户端生成的一次性密码。实现Google Authenticator功能需要服务器端和客户端的支持。服务器端负责密钥的生成、验证一次性密码是否正确。客户端记录密钥后生成一次性密码。下载谷歌验证类库文件放到项目合适位置(我这边放在项目Vender下面)https://github.com/PHPGangsta/GoogleAuthenticatorPHP代码示例://引入谷_php otp 验证器

【Python】matplotlib.plot画图横坐标混乱及间隔处理_matplotlib更改横轴间距-程序员宅基地

文章浏览阅读4.3k次，点赞5次，收藏11次。matplotlib.plot画图横坐标混乱及间隔处理_matplotlib更改横轴间距

docker — 容器存储_docker 保存容器-程序员宅基地

文章浏览阅读2.2k次。①Storage driver 处理各镜像层及容器层的处理细节，实现了多层数据的堆叠，为用户提供了多层数据合并后的统一视图②所有 Storage driver 都使用可堆叠图像层和写时复制（CoW）策略③docker info 命令可查看当系统上的 storage driver主要用于测试目的，不建议用于生成环境。_docker 保存容器

随便推点

网络拓扑结构_网络拓扑csdn-程序员宅基地

文章浏览阅读834次，点赞27次，收藏13次。网络拓扑结构是指计算机网络中各组件（如计算机、服务器、打印机、路由器、交换机等设备）及其连接线路在物理布局或逻辑构型上的排列形式。这种布局不仅描述了设备间的实际物理连接方式，也决定了数据在网络中流动的路径和方式。不同的网络拓扑结构影响着网络的性能、可靠性、可扩展性及管理维护的难易程度。_网络拓扑csdn

JS重写Date函数，兼容IOS系统_date.prototype 将所有 ios-程序员宅基地

文章浏览阅读1.8k次，点赞5次，收藏8次。IOS系统Date的坑要创建一个指定时间的new Date对象时，通常的做法是：new Date("2020-09-21 11:11:00")这行代码在 PC 端和安卓端都是正常的，而在 iOS 端则会提示 Invalid Date 无效日期。在IOS年月日中间的横岗许换成斜杠，也就是new Date("2020/09/21 11:11:00")通常为了兼容IOS的这个坑，需要做一些额外的特殊处理，笔者在开发的时候经常会忘了兼容IOS系统。所以就想试着重写Date函数，一劳永逸，避免每次ne_date.prototype 将所有 ios