顶级视觉盛会

CVPR全称为International Conference on Computer Vision and Pattern Recognition，计算机视觉及模式识别大会。涵盖的问题包括但不限于：物体识别与检测、图像高级语义理解、人脸、优化方法、Correspondences求解、相机定位及三维地图构建(SLAM)。CVPR是计算机视觉的最大的年度聚会，今年收到投稿2,145份，接受论文643篇，接收率29.9%。与会人数也是惊人，达3,600人。去年是2800多人，今年有3609人，接近了30％的增长，这与计算机视觉在学术界和工业界得到越来越多的关注不无关系。毫无疑问，在这643篇接收文章中，深度学习再次占据了大半壁江山。

与往届不同的是，今年的CVPR增加了一种新的论文展现形式——Spotlights，有123篇优秀文章（Spotlights）拥有机会进行4分钟在听众面前宣讲他们的工作。在会议的Poster部分，所有文章的作者也可在自己的展板前与其他与会者进行面对面的交流。

今年的CVPR还有许多精彩的创新之处：

CVPR 2016展示了计算机视觉和深度学习领域最新的成就，包括像热门的大型视频理解和新兴的视觉问答领域问题。

有史以来第一次，CVPR 2016举办了一个100个公司参加的工业展。

同样有史以来第一次，CVPR 2016的组委会成员几乎全是女性。

仍然有史以来第一次，CVPR 2016选出了每天的亮点，与报告者的互动提问，介绍女性研究者等等，然后每天以简报的形式推送给大家。

如日中天的深度学习

本次会议张祥雨同学分享的关注点主要在深度学习和图像识别方面。深度学习作为眼下最热门的机器学习框架，其在计算机视觉方面的研究和应用可谓是如日中天。据不完全统计本次会议60%以上的文章均与深度学习有关。在图像识别，尤其是图像（视频）分类、物体检测、图像语义分割等领域，深度学习已呈一统天下之势。即使是在如3D视觉、底层图像处理等传统方法相对主流的领域也有不少学者给出了自己的基于深度学习的解决方案。

图像识别

自从Ross Girshick等人提出基于深度卷积神经网络的物体检测方法“RCNN”以来，深度学习凭借着良好的精度逐渐成为物体检测的主流方法。之后的重要工作如“Fast RCNN”和“Faster RCNN”等更是将物体检查的准确度和速度均提升了一个档次。本次会议有5篇物体检测方面的工作进行了口头展示。其中，Abhinav Shrivastava等人在训练检测网络时通过添加困难样本，以一种非常简洁的方式取得了可观的性能提升，令人印象深刻；而在另一项工作“YOLO”（You Only Look Once: Unified, Real-Time Object Detection）中，演讲者Joseph Redmon通过幽默的语言和生动的现场展示，介绍了他们是如何设计算法框架以同时满足高精度和高实时性的要求。值得一提的是，Ross Girshick本人在这两个工作中均有贡献，足见其在物体检测领域“超级大牛”的地位。

作为图像识别问题的重要分支，图像语义分割（Semantic Segmentation）同样吸引了一批顶尖科学家投入研究。张祥雨所在的微软亚洲研究院视觉计算组通过对图像分割问题中的多个目标函数进行级联式的联合训练，在MS COCO等数据集上取得了明显的性能提升。该项工作是去年ImageNet & MS COCO比赛中微软冠军团队技术体系中的重要一环。此外，视觉计算组的另一篇有关图像语义分割的文章Scribble Sup: Scribble-Supervised Convolutional Networks for Semantic Segmentation也在会议上做了口头展示。

视觉问答（VQA)

视觉问答是近年来迅速兴起的研究课题。该问题的一般提法为：给定一张图片，以及一句使用自然语言描述的和图像相关的问题，视觉问答系统需要对该问题做出回答。可见，该课题同时涉及了图像识别和自然语言理解，更具挑战。而近年来深度神经网络在图像识别和自然语言处理的迅猛发展，为解决视觉问答问题提供了重要的思路。本次会议上视觉问答相关的文章几乎都采用了深度学习的方法。

值得一提的是，今年年初的视觉问答挑战赛（VQA Challenge）的比赛结果也在本次会议的视觉问答专题会议上公布。Yuandong Tian （田渊栋）等一批著名科学家被邀请在讨论会上发言。本次比赛设有4个挑战项目，共有20多支队伍参加角逐。张祥雨表示：“颇感荣幸的是，本次比赛所有项目的前三名均使用了我们发表的152层深度残差网络作为图像特征的提取模型，再次表明了我们的方法在不同的应用场景下均具有较强的推广能力。”

“找到需要去做的东西去做才是最重要的”，此话让人深有感触。计算机视觉经过磕磕碰碰几十年的发展来似乎终于找到了靠谱的落地方式：无人车。主题演讲中Ammon将自动驾驶中的技术分为三个支柱，分别是传感技术(Sensing)，地图绘制(mapping)和驾驶策略(Driving Policy)(Planning)。Ammon用一些例子说明了三个问题的发展状况，以及讨论了为何这三个问题必须同时发展并作为整体来考虑，以免一个问题对另一个问题产生分歧。在现在全世界一窝蜂想搞无人车的大环境下，AmmonShashua教授的演讲为想了解和想进入这个领域的同学们提供了一个很好的全局观，让大家理清了需要解决的问题，以及对这些问题的感性认识。

CVPR 2015曾有个专题研讨会：计算机视觉中的女性研究者（WiCV2015: Women in Computer Vision）。而今年CVPR 2016的组委会几乎全是女性，通过邀请在这个行业中的女性榜样研究员提高女性研究者的影响力和被关注程度。同时每天大会的简报还特意挑选出一两位女性研究者来分享她们关于研究兴趣、职场规划的宝贵经验，也给予年轻的女性研究者更多的机会去展示她们的成果。

CVPR论文是如何写成的

今年的最佳学生论文毫不意外也是关于深度学习的文章，来自康奈尔团队的关于Spatio-Temporal Graph上的深度学习工作：Structural-RNN:Deep Learning on Spatio-Temporal Graphs, Ashesh Jain, Amir R，Zamir, Silvio Savarese, Ashutosh Saxena。最佳论文第二名(Honorable Mention) 则颁给了慕尼黑科大(TUM)团队关于优化理论的文章：Sublabel-Accurate Relaxation of Nonconvex Energies， Thomas Möllenhoff, Emanuel Laude, Michael Moeller, Jan Lellmann, Daniel Cremers。 可见组委会在疯狂的深度学习热潮中依然保持着对传统能量优化问题的重视。其中一个重要原因可能是，尽管深度神经网络在中高层视觉中已所向披靡，但其在底层视觉的一些问题中仍未超越传统方法，例如去噪、光流、以及立体视觉匹配。

该论文中TUM Cremers团队提出的优化方法正是针对低层视觉问题中的经典formulation：逐像素的非凸数据项+TV正则化约束。该方法的中心思想是对每一个像素而言，用一个高维向量(Lifted Representation)来表示原问题中要优化的标量（或低维）自变量，将原问题映射到一个更高维空间中的一个等价问题，从而可以对非凸能量项进行更好的凸近似，获得更高的解的质量。近似后得到的凸能量可以并行优化，且易于实现，可以高效地找到近似问题的全局最优解。论文重点讨论了该方法在立体视觉匹配中的应用，效果大大超过了传统的TV+非凸数据项的解法。

张弛同学解释：“立体视觉匹配是我的研究重点之一，该问题的任务是从双目相机所获取的左眼图像和右眼图像中恢复出逐像素点的深度。由于双目相机中的平行极线约束，该问题又转化为左右眼图之间的逐像素匹配问题。”

受限于训练数据的数量，同时也因为可能未找到该问题下的最佳网络结构，深度学习中的端到端的训练方法在立体视觉匹配上的表现依然未超过传统方法。这里的端到端的训练方法指的是：直接对输入图片进行一些列卷积以及一些列反卷积来回归出输出图像。由于获得双目图像的ground truth深度数据本身就是一个难题，目前立体视觉匹配两个主要benchmark Middlebury和KITTI上也分别只有数十对和数百对的训练数据，对训练端到端的深度估计网络还远远不够。

为了解决这个难题，TUMCremers团队在另一篇论文中讨论了如何生成足够且靠谱的训练数据用以训练深度估计网络：A Large Dataset to Train Convolutional Networks for Disparity, Optical Flow, and Scene Flow Estimation， Nikolaus Mayer, Eddy Ilg, Philip Häusser, Philipp Fischer,Daniel Cremers, Alexey Dosovitskiy, Thomas Brox。该论文使用开源的3D Creation Suite Blender渲染出一系列带有复杂运动模式的物体的双目图片，由于渲染过程是从3D到2D且物体及场景的三维模型已知，生成ground truth的深度图变得非常容易。生成的训练数据集中包含35,000对训练样本，训练得到的深度估计网络在KITTI上的排名也比较靠前，但离第一名传统方法Displet仍有相当一段距离。这里值得一提的是，虽然该网络使用人工合成的数据集进行训练，它在真实数据集上似乎具有良好的泛化能力。随着训练数据的不断完善，深度网络在几个重要的低层视觉问题上是否会超越以及如何超越传统方法，又或者能给传统解法带来什么样的启发，我们拭目以待。

==============文章来源=================