Joint Deep Learning For Pedestrian Detection（论文笔记-深度学习：行人检测）-程序员宅基地

一、摘要：

行人检测主要分为四部分：特征提取、形变处理、遮挡处理和分类。现存方法都是四个部分独立进行，本文联合深度学习将四个部分结合在一起，最大化其能力。

二、引言：

（1）首先，特征提取的应该是行人最有判别力的特征，比较有名的特征描述子有：Haar-like、SIFT、HOG等等；

（2）其次，可变形模型应该可以处理人体的各个部分，如：躯干、头、退等等。最有名的DPM（可变形部件模型）使得各部件具有连接性约束。

（3）遮挡处理，如：检测Blocks或Parts的得分以及采用线索：图像分割、深度图等；

（4）分类器：决定候选窗选中的为一个行人，如：SVM、boosted classifiers、随机森林等等。在这些方法中，分类器是由训练数据来调整的，但是特征是手工设计的。如果有用的信息在特征提取阶段遗漏了，那么在分类阶段不可能在恢复。实际上，应该是分类器应该引导特征的学习。

这几个部分之间的联合通常都是采用手工参数设计实现的。本文的目的是正如作者所述“The motivation of this paper is toestablish automatic interaction in learning these key components. We hope thatjointly learned components, like members with team spirit, can create synergythrough close interaction, and generate performance that is greater thanindividually learned components.”本文将这几个关键部分整合到一个统一的深度学习框架中：“The deep model is especiallyappropriate for this task because it can organize these components intodifferent layers and jointly optimize them through back-propagation.”如下图1。

图1

三、本文的方法：

图2

一）总体概述：
1）Fitered data maps的获取：由第一卷积层获取，即对3通道的输入图像使用9x9x3的滤波器进行卷积，输出64个maps，激励函数为|tan h(x)|。
2）Features maps的获取：由池化层获取，即对64个maps采用4x4的boxcar filters（矩形波过滤器）进行一个4x4的下采样。
3）Part detection maps的获取：由第二卷积层获取，采用20个不同大小的part filters（部件滤波器）对features maps进行卷积，输出20个Part detection maps。（详细分析见下文）
4）Part scores获取：对20个Part detection maps使用一个deformation handling layer（变形处理层）来进行处理，输出20个Part scores.
5）20个Parts的可视化：用于评估检测物体的标签。

注意：在训练阶段，所有的参数优化都是通过Back-propagation（反向传播）。

二）详细分析：

1）输入数据的预处理：

输入图像大小为84x28，包含三个通道：（1）通道1：经过YUV颜色空间变换后的Y通道图像；（2）通道2：YUV空间的三通道42x14图像串联，空白处填零构成84x28的图像作为第二通道输入，即第二个map被均分为四个block，行优先时，分别是U通道，V通道，Y通道和全0；（3）通道3：第三个map是sobel算子计算的第二个map各个Block的边缘，不同的是第四个block是前面三个block的边缘的最大值。

注意：通过这种方式不同分辨率下的像素值信息和原始的边缘信息都被利用。为了处理光照变化的影响，每个通道的map都要被归一到零均值-单位方差的分布。

2）Part detection maps的产生：
一般来说一个卷积层的滤波器大小是固定的。由于行人的各个部分大小不同，因此本文在第二卷积层中的滤波器大小各不同。本文设计了三层不同尺寸的滤波器，共20个，如下图 3所示，上层的滤波器包含下层滤波器的部分，顶层的parts是有可能存在的遮挡情况，灰色表示可能的遮挡。其他两层为身体的Parts。

图3.a

注意：图中Level 3和Level 2中head-shoulder part出现了两次，一次代表遮挡情况，一个代表Part.

这样做带来的HOG提取效果，明显优于单独的HOG。如图3.b。

图3.b

3）The deformation layer：
该层是为了处理不同Part之间的形变约束。定义第p个Part detection map为Mp，对于第p个Part的第n种Deformation map，定义为Dn,p，变形权重为cn,p，N为Deformation maps的总数。

输出的第P个 part scores为Bp的全局最大池化，即：

在本项目的工作中采用的是Example 3中的deformation layer这种情况，该层的详细分析如下图4.a。

图4.a

原理图如下4.b:

图4.b

4）Visibility reasoning and classification：

该部分的推导及反向传播（BP）模型如下：

（1）Visibility reasoning:

（2）Jointly learned:

本文主要是通过反向传播，为了学习两个卷积层和变形层的参数，预测误差是通过S进行反向传播，实现Joint learned。

实验结果不作分析，可参考原文。
原文链接及代码：
http://www.ee.cuhk.edu.hk/~wlouyang/projects/ouyangWiccv13Joint/index.html

——By SS_米西

2016.11.1

本文链接：https://blog.csdn.net/ssmixi/article/details/52993081

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

凸优化简介25_随机镜像下降-程序员宅基地

文章浏览阅读388次。文章目录随机梯度下降的下界与性能提升1. 随机梯度下降的下界2. 随机镜像下降(Stochastic Mirror Descent)3. 随机梯度下降的提升3.1 Reduce Variance3.2 自适应步长3.3 自适应 Bregman Distance随机梯度下降的下界与性能提升1. 随机梯度下降的下界考虑一个一维空间上的函数 f(x)=E[12(x−ξ)2]f(x)=\mathbb..._随机镜像下降

某个班级的全体同学要投票选班长，每名同学在选票上填写一名推荐人选姓名。写程序，输人班级每个同学选票上的推荐人选姓名，程序统计每个推荐人选的得票数，并按得票数由大到小排序并输出所有推荐人选姓名及其得_某个班级的全体同学的-程序员宅基地

文章浏览阅读1.6k次，点赞5次，收藏18次。题目:某个班级的全体同学要投票选班长，每名同学在选票上填写一名推荐人选姓名。写程序，输人班级每个同学选票上的推荐人选姓名，程序统计每个推荐人选的得票数，并按得票数由大到小排序并输出所有推荐人选姓名及其得票数。文章目录1.想法：使用ArrayList数组实现1.1首先定义Person类1.1.1定义他们的属性1.1.2 提供各各个属性的get，set方法（按需提供）1.2person实现Comparable自然排序接口1.2.1perosn重写compareTo()接口方法主程序核心主函数，测试类（完_某个班级的全体同学的

最强求职攻略:java程序员如何通过阿里、百度社招面试-程序员宅基地

文章浏览阅读198次。“史上最强攻略，没有之一！标签：面试攻略社招高级程序员阿里百度开发必备要求如果你想进入一线互联网公司，进入阿里、百度等互联网公司，以下我统称为必备要求，必须掌握。如果你抱有侥辛心理，技术的面试的首轮，也许都过不了。如果以下知识点你掌握的不牢固的，还需要加强，如果还没有涉及到，还需..._百度数据挖掘社招面试

vue.js动态设置VueComponent高度遇到的问题_vuecomponent.minoffset-程序员宅基地

文章浏览阅读1.4w次，点赞2次，收藏2次。1.获取HTML元素高度&lt;div v-for="data in list"&gt; &lt;div ref="abc"&gt;{{data.id}}&lt;/div&gt;&lt;/div&gt;mounted(){ console.log(this.$refs.abc[0]._vuecomponent.minoffset

Queue---队列_*elems[queue_node_num]-程序员宅基地

文章浏览阅读827次。/* Queue class declarations.*/#ifndef _QUEUE_H_#define _QUEUE_H_#include using namespace std;typedef char ElemType;typedef struct SNode{ ElemType data; struct SNode* pNext;_*elems[queue_node_num]

python列表元素求和isinstance,Python检查isinstance列表中是否有任何类型？-程序员宅基地

文章浏览阅读67次。How do I pythonicly do:var = 7.0var_is_good = isinstance(var, classinfo1) or isinstance(var, classinfo2) or isinstance(var, classinfo3) or ... or isinstance(var, classinfoN)It seems silly I can't jus..._isinstance 提取元素相加

随便推点

最适合物联网开发的程序语言曝光_go-iot-程序员宅基地

文章浏览阅读3.9k次。开发物联网应用时，选择合适的程序开发语言和选择合适的硬件平台一样重要。本文将会列出一些你可能会用到的语言，并有适当的应用场景分析；不过在你继续阅读之前，不妨试着来预测一下下面会出现哪些语言。　　物联网现在是个大热门相信谁也不能否认，各种开发项目正如雨后春笋般出现在地球村的各个角落。不断出现的新硬件平台让工程师能够越来越容易地打造新的嵌入式设备。当你选择了其中的某一个硬件平台之后，你还需要为_go-iot

[APIO2015]巴邻旁之桥-程序员宅基地

文章浏览阅读347次。Bzoj权限题 luogu题面先去掉同边的首先k==1，即求一个点j 使∑i∈A|Di−Dj|+∑i∈B|Di−Dj|\sum_{i\in A} |D_i - D_j| + \sum_{i\in B} |D_i - D_j|最小因为两边j是一样的，直接合在一起就好所以就是∑|Di−Dj|\sum |D_i - D_j|最小那么j就是的中位数，合在一起排序就好了然后k==_巴邻旁之桥

解决IDEA编译乱码 Build Output提示信息乱码��_idea build output乱码-程序员宅基地

文章浏览阅读1.4w次，点赞51次，收藏54次。IDEA编译的时候乱码，Build Output提示信息乱码��。提供的解决方案有很多，总有一个适合你。加油。_idea build output乱码

10小时训练数据打造多语种语音识别新高度-程序员宅基地

文章浏览阅读3.1k次。本文联合撰写：腾讯：吕志强，颜京豪，胡鹏飞，康健，阿敏巴雅尔导语｜在刚刚结束的NIST OPENASR评测中，TEG AI语音联合清华大学，刷新世界小语种语音识别比赛6项第一。从2000..._通常训练一个语音识别模型要多少训练数据

实验整理（一）——钓鱼邮件攻击实验_qq邮箱结合gophish-程序员宅基地

文章浏览阅读1w次，点赞6次，收藏98次。一.实验介绍简介本次课程实验中主要是通过发送qq邮件来进行的一个钓鱼邮件实验。我是通过在kali上部署好的gophish工具向自己的一个QQ邮箱发送一个简单的电子邮件来模拟操作这次实验，并且还可以通过gophish来监测收到钓鱼邮件的收件人的状态。本次实验中使用的时kali-Linux-2021.2 -vnware-amd64，以及Windows 10 还有用到了QQ邮箱。还有部署在kali下的gophish钓鱼工具。二.gophish的安装1.下载地址：https://gi_qq邮箱结合gophish

最小的利克瑞尔数196_利克瑞尔数(lychrel number)指的是将该数各数位逆序翻转后形成的新数相加,并将该-程序员宅基地

文章浏览阅读4.5k次。196算法　　一个数正读反读都一样，我们就把它叫做“回文数”。随便选一个数，不断加上把它反过来写之后得到的数，直到得出一个回文数为止。例如，所选的数是67，两步就可以得到一个回文数484：　　67+76=143　　143+341=484　　把69变成一个回文数则需要四步：　　69+96=165　　165+561=726　　726+627=1353_利克瑞尔数(lychrel number)指的是将该数各数位逆序翻转后形成的新数相加,并将该