【论文阅读】MobileNets:Efficient Convolutional Neural Networks for Mobile Vision Applications_mobilenets: efficient convolutional neural network-程序员宅基地
技术标签： 论文阅读 MobileNet 深度学习 神经网络
论文简介：
《MobileNets:Efficient Convolutional Neural Networks for Mobile Vision Applications》中的MobileNets是Google针对手机等计算资源有限的嵌入式设备提出的轻量级的深层神经网络结构，其特点是在牺牲较少精度的情况下获得较快的运行速度（较少计算量和较少参数）。其核心思想是将传统卷积分解为深度分离卷积（depthwise separable convolutions）和1x1点卷积两步来实现。
一、Introduction 介绍
目前CNN在计算机视觉领域无所不在，为了获得更高的性能，往往都是在设计更深、更复杂的网络模型。面对计算资源较少的嵌入式设备，或具有实时运行需求的应用场景，多参数、多计算量的大型网络往往无法得到实用，机器人，自动驾驶，增强现实。
当前构建小而高效网络模型的技术大概可以分为两类，一、压缩预训练好的模型，二、直接训练小型网络。模型压缩技术主要有，网络剪枝，对预训练完成的网络模型，分析去掉不重要的一部分模型参数及结构，参数量化，float型的模型参数进行取整，采用8bit uchar存储，可降低模型大小及加速计算（较轻微精度损失），模型参数聚类，采用huffman编码（出现概率较多的数采用短的编码）。知识蒸馏（distillation）,采用预训练好的大型网络作为“老师”，再训练小型网络（小型网络不是直接使用数据集标签进行训练，而是使用大型网络的输出作为标签进行训练）。
二、MobileNet
MobileNet使用深度分离卷积（depthwise separable convolutions）和1x1点卷积两步来近似等价实现传统卷积，从而减少参数及计算量，加快模型推理速度（时间，latency）。
传统3D卷积是将每个通道的卷积和每个通道卷积结果的融合，两个步骤放在一起进行的，MobileNet将其分解为两步，一、使用深度分离卷积分别进行每个通道的独立卷积，然后使用1x1卷积将各个通道的卷积结果进行融合，作为输出。这种处理方法切断了二维大的卷积核与输出feature map个数之间的联系，降低了计算量和参数量。该方法如下图所示。
标准卷积旨在使用卷积核对上一层的feature进行卷积处理，然后将卷积处理后的feature进行融合得到新的表示。depthwise convolution对每一个通道单独进行卷积，pointwise convolution(1x1 卷积)，使用一个线性组合得到新的特征。MobileNet中主要计算量基本集中在1x1卷积上，卷积的底层实现一般通过一种im2col方式实现，其需要内存重组，当卷积核为1x1时，就不需要这种操作了，底层可以有更快的实现。
MobileNet是一个小型网络，小型网络训练时不容易过拟合，不需要使用dropout，正则化，数据集预处理增强等手段（加畸变，翻转，裁剪等）。
MobileNet网络结构，MobileNet使用BN和RELU，以及最后使用Average pooling将空间分辨率缩小为1，再连接全连接层，softmax层进行分类输出。
三、宽度因子和分辨率因子
width multiplier主要是按比例减少通道数，α取值范围为(0,1]，那么输入与输出通道数将变成αM和αN，降低通道数，降低网络宽度，让网络变瘦。相同参数量下，深瘦型网络比浅胖型网络效果好。
Resolution multiplier控制输入图片以及各层的feature map的大小，能够减小计算量，但是不能减小参数量，因为这个对于卷积核的大小没有影响。
智能推荐
获取大于等于一个整数的最小2次幂算法（HashMap#tableSizeFor）_整数 最小的2的几次方-程序员宅基地
文章浏览阅读2w次，点赞51次，收藏33次。一、需求给定一个整数，返回大于等于该整数的最小2次幂（2的乘方）。例： 输入 输出 -1 1 1 1 3 4 9 16 15 16二、分析当遇到这个需求的时候，我们可能会很容易想到一个"笨"办法：..._整数 最小的2的几次方
Linux 中 ss 命令的使用实例_ss@,,x,, 0-程序员宅基地
文章浏览阅读865次。选项，以防止命令将 IP 地址解析为主机名。如果只想在命令的输出中显示 unix套接字 连接，可以使用。不带任何选项，用来显示已建立连接的所有套接字的列表。如果只想在命令的输出中显示 tcp 连接，可以使用。如果只想在命令的输出中显示 udp 连接，可以使用。如果不想将ip地址解析为主机名称，可以使用。如果要取消命令输出中的标题行，可以使用。如果只想显示被侦听的套接字，可以使用。如果只想显示ipv4侦听的，可以使用。如果只想显示ipv6侦听的，可以使用。_ss@,,x,, 0
conda activate qiuqiu出现不存在activate_commandnotfounderror: 'activate-程序员宅基地
文章浏览阅读568次。CommandNotFoundError: 'activate'_commandnotfounderror: 'activate
Kafka 实战 - Windows10安装Kafka_win10安装部署kafka-程序员宅基地
文章浏览阅读426次，点赞10次，收藏19次。完成以上步骤后，您已在 Windows 10 上成功安装并验证了 Apache Kafka。在生产环境中，通常会将 Kafka 与外部 ZooKeeper 集群配合使用，并考虑配置安全、监控、持久化存储等高级特性。在生产者窗口中输入一些文本消息，然后按 Enter 发送。ZooKeeper 会在新窗口中运行。在另一个命令提示符窗口中，同样切换到 Kafka 的。Kafka 服务器将在新窗口中运行。在新的命令提示符窗口中，切换到 Kafka 的。，应显示已安装的 Java 版本信息。_win10安装部署kafka
【愚公系列】2023年12月 WEBGL专题-缓冲区对象_js 缓冲数据 new float32array-程序员宅基地
文章浏览阅读1.4w次。缓冲区对象（Buffer Object）是在OpenGL中用于存储和管理数据的一种机制。缓冲区对象可以存储各种类型的数据，例如顶点、纹理坐标、颜色等。在渲染过程中，缓冲区对象中存储的数据可以被复制到渲染管线的不同阶段中，例如顶点着色器、几何着色器和片段着色器等，以完成渲染操作。相比传统的CPU访问内存，缓冲区对象的数据存储和管理更加高效，能够提高OpenGL应用的性能表现。_js 缓冲数据 new float32array
四、数学建模之图与网络模型_图论与网络优化数学建模-程序员宅基地
文章浏览阅读912次。（1）图（Graph）：图是数学和计算机科学中的一个抽象概念，它由一组节点（顶点）和连接这些节点的边组成。图可以是有向的（有方向的，边有箭头表示方向）或无向的（没有方向的，边没有箭头表示方向）。图用于表示各种关系，如社交网络、电路、地图、组织结构等。（2）网络（Network）：网络是一个更广泛的概念，可以包括各种不同类型的连接元素，不仅仅是图中的节点和边。网络可以包括节点、边、连接线、路由器、服务器、通信协议等多种组成部分。网络的概念在各个领域都有应用，包括计算机网络、社交网络、电力网络、交通网络等。_图论与网络优化数学建模
随便推点
android 加载布局状态封装_adnroid加载数据转圈封装全屏转圈封装-程序员宅基地
文章浏览阅读1.5k次。我们经常会碰见 正在加载中，加载出错， “暂无商品”等一系列的相似的布局，因为我们有很多请求网络数据的页面，我们不可能每一个页面都写几个“正在加载中”等布局吧，这时候将这些状态的布局封装在一起就很有必要了。我们可以将这些封装为一个自定布局，然后每次操作该自定义类的方法就行了。 首先一般来说，从服务器拉去数据之前都是“正在加载”页面， 加载成功之后“正在加载”页面消失，展示数据；如果加载失败，就展示_adnroid加载数据转圈封装全屏转圈封装
阿里云服务器（Alibaba Cloud Linux 3）安装部署Mysql8-程序员宅基地
文章浏览阅读1.6k次，点赞23次，收藏29次。PS: 如果执行sudo grep 'temporary password' /var/log/mysqld.log 后没有报错，也没有任何结果显示，说明默认密码为空，可以直接进行下一步（后面设置密码时直接填写新密码就行）。3.（可选）当操作系统为Alibaba Cloud Linux 3时，执行如下命令，安装MySQL所需的库文件。下面示例中，将创建新的MySQL账号，用于远程访问MySQL。2.依次运行以下命令，创建远程登录MySQL的账号，并允许远程主机使用该账号访问MySQL。_alibaba cloud linux 3
excel离散度图表怎么算_excel离散数据表格-Excel 离散程度分析图表如何做-程序员宅基地
文章浏览阅读7.8k次。EXCEL中数据如何做离散性分析纠错。离散不是均值抄AVEDEV……=AVEDEV(A1:A100)算出来的是A1：A100的平均数。离散是指各项目间指标袭的离散均值(各数值的波动情况)，数值较低表明项目间各指标波动幅百度小，数值高表明波动幅度较大。可以用excel中的离散公式为STDEV.P(即各指标平均离散)算出最终度离散度。excel表格函数求一组离散型数据，例如，几组C25的...用exc..._excel数据分析离散
学生时期学习资源同步-JavaSE理论知识-程序员宅基地
文章浏览阅读406次，点赞7次，收藏8次。i < 5){ //第3行。int count;System.out.println ("危险！System.out.println(”真”);System.out.println(”假”);System.out.print(“姓名：”);System.out.println("无匹配");System.out.println ("安全");
linux 性能测试磁盘状态监测：iostat监控学习，包含/proc/diskstats、/proc/stat简单了解-程序员宅基地
文章浏览阅读3.6k次。背景测试到性能、压力时，经常需要查看磁盘、网络、内存、cpu的性能值这里简单介绍下各个指标的含义一般磁盘比较关注的就是磁盘的iops,读写速度以及%util（看磁盘是否忙碌）CPU一般比较关注，idle 空闲，有时候也查看wait （如果wait特别大往往是io这边已经达到了瓶颈）iostatiostat uses the files below to create ..._/proc/diskstat
glReadPixels读取保存图片全黑_glreadpixels 全黑-程序员宅基地
文章浏览阅读2.4k次。问题：在Android上使用 glReadPixel 读取当前渲染数据，在若干机型（华为P9以及魅族某魅蓝手机）上读取数据失败，glGetError()没有抓到错误，但是获取到的数据有误，如果将获取到的数据保存成为图片，得到的图片为黑色。解决方法：glReadPixels实际上是从缓冲区中读取数据，如果使用了双缓冲区，则默认是从正在显示的缓冲（即前缓冲）中读取，而绘制工作是默认绘制到后缓..._glreadpixels 全黑