本文参考了Recent Advances in Deep Learning: An Overview，并简单的翻译了一下，供自己学习使用，该论文列举了最近几年深度学习的重要研究成果，从方法、架构、正则化以及技术方面进行了概述，是值得学习的一篇文章，码字不易，且行且珍惜，欢迎交流讨论。
深度学习是机器学习和人工智能研究的最新趋势之一。它也是当今最流行的科学研究趋势之一。深度学习方法带来了计算机视觉和机器学习方面的革命性进步。时不时地，新的深度学习技术应运而生，其性能超过了最先进的机器学习，甚至现有的深度学习技术。近年来，世界在该领域取得了许多重大突破。由于深度学习的发展速度非常快，因此很难跟踪常规的进展，特别是对于新的研究人员而言。在本文中，我们将简要讨论一下深度学习在过去几年中的最新进展。
“深度学习”（DL）一词于1986年首次引入机器学习（ML），随后于2000年用于人工神经网络（ANN）（Schmidhuber，2015年）。深度学习方法由多层组成，以多层抽象的方式学习数据特征（LeCun et al.，2015）。 DL方法允许计算机通过从相对简单的概念来学习复杂的概念（Goodfellow等人，2016）。对于人工神经网络（ANN），深度学习（DL）(又称分层学习（Deng and Yu，2014))是关于在多个计算阶段准确分配信用，以转换网络中的聚合激活（Schmidhuber，2014）。为了学习复杂的功能，将深度架构与多个抽象级别（即非线性操作）结合使用。例如具有许多隐藏层的人工神经网络（Bengio，2009）。准确地说，深度学习是机器学习的一个子领域，它使用许多层次的非线性信息处理和抽象，来进行有监督或无监督的特征学习、表示、分类和模式识别（Deng和Yu，2014年） ）。
深度学习，即表示学习是机器学习的分支或子领域。大多数人认为最近的深度学习方法是2006年以来开发的（Deng，2011年）。本文概述了最新的深度学习技术，主要推荐给即将涉足该领域的研究人员。本文包括DL的基本概念，主要方法，最新进展和应用。
综述论文是非常有益的，特别是对于某一特定领域的新研究人员而言。只要该领域如果在不久的将来和相关应用中具有重大价值的话，通常很难跟踪研究领域的最新进展。如今，科学研究是一种有吸引力的职业，因为知识和教育比以往任何时候都更加容易获得和分享。对于一种技术的研究趋势而言，唯一正常的假设是将它会以各种方式取得许多进步和改进。几年前对某个特定领域的概述，而现在可能已过时了。
考虑到近年来深度学习的普及和推广，我们简要概述了深度学习和神经网络（NN），以及它在过去几年中的主要进展和重大突破。我们希望本文能为该领域的许多新手研究人员提供帮助，全面了解最新的深度学习研究和技术，并指导他们以正确的方式开始。我们也希望通过这项工作向这个时代的DL和ANN顶级研究人员致敬，例如:Geoffrey Hinton（Hinton），Juergen Schmidhuber（Schmidhuber），Yann LeCun（LeCun），Yoshua Bengio（Bengio）和许多其他研究学者。他们精心打造了现代人工智能（AI）。跟进他们的工作，以保持DL和ML研究的最新水平，对我们来说也很重要。
在本文中，首先，我们将对过去有关深度学习模型和方法的综述文章进行简短描述。然后，我们将开始描述该领域的最新进展。我们将讨论深度学习（DL）方法，深度架构（即深度神经网络（DNN）和深度生成模型（DGM）），以及重要的正则化和优化方法。另外，有两个简短的部分，对于开源DL框架和重要的DL应用程序进行总结。最后，我们将在最后两个章节（即讨论和结论）中讨论深度学习的现状和未来。
在过去几年中，有许多关于深度学习（DL）的综述文章。他们以很好的方式描述了DL方法和方法论，以及它们的应用和未来研究的方向。在这里，我们将简要介绍一些深度学习方面的优秀的综述论文。
Young等人（2017）讨论了主要用于自然语言处理（NLP）的DL模型和架构。他们展示了DL在各个NLP领域中的应用，比较了DL模型，并讨论了可能的未来趋势。
Zhang等人（2017）讨论了用于前端和后端语音识别系统的最新深度学习技术。
Zhu等人（2017）提出了有关DL遥感技术的最新进展。他们还讨论了用于深度学习的开源DL框架和其他技术细节。
Wang等人 （2017）描述了深度学习模型在时间顺序方式上的演变。简要介绍了模型，并介绍了DL研究的突破。如果想以进化的方式了解深度学习的起源，那么这篇论文将是不错的阅读。他们还提到了神经网络的优化和未来的研究。
Goodfellow等人 （2016年）详细讨论了深度网络和生成模型。他们从机器学习（ML）的基础知识，深度架构的优缺点出发，全面总结了最近的DL研究和应用。
LeCun等人 （2015）发表了使用卷积神经网络（CNN）和递归神经网络（RNN）的深度学习（DL）模型的概述。他们从表示学习的角度描述了DL，展示了DL技术是如何工作的以及如何在各种应用中成功使用，并基于无监督学习（UL）预测了未来的学习。他们还指出了文献中DL的重大进展的文章。
Schmidhuber（2015）对深度学习以及CNN，RNN和深度强化学习（RL）进行了一般性的历史回顾。他强调了序列处理的RNN，同时指出了基本DL和NN的局限性，以及改进它们的技巧。
Nielsen（2015）详细描述了神经网络以及代码和示例。他还在某种程度上讨论了深度神经网络和深度学习。
Schmidhuber（2014）讨论了基于时间序列的神经网络、采用机器学习方法进行分类，以及在神经网络中使用深度学
文章浏览阅读117次。话说，经过了漫长的一个多月，小明已经成长了许多，所以他改了一个名字叫“大明”。这时他已经不是那个只会做100以内加法的那个“小明”了，现在他甚至会任意长度的正小数的加法。现在，给你两个正的小数A和B，你的任务是代表大明计算出A+B的值。Input本题目包含多组测试数据，请处理到文件结束。每一组测试数据在一行里面包含两个长度不大于400的正小数A和B。Output请在一行里面输出输出A+B的值，请输出最简形式。详细要求请见Sample Output。Sample Input1.1 2.91_小数a+bc语言
文章浏览阅读2w次，点赞11次，收藏19次。文章目录一、如何将List拆分为多个小list写在前面：我是「境里婆娑」。我还是从前那个少年，没有一丝丝改变，时间只不过是考验，种在心中信念丝毫未减，眼前这个少年，还是最初那张脸，面前再多艰险不退却。写博客的目的就是分享给大家一起学习交流，如果您对 Java感兴趣，可以关注我，我们一起学习前言：在平常写代码时候可能会遇到需要将一个大list拆分多个小list，进行一些业务处理。一、如何将List拆分为多个小list如何将List拆分多个小list，首先我们需要list.sublist这个方法_java把list分成多个list
文章浏览阅读2.4k次。有时候SQL Server意外断电会导致SQL Server的ldf日志文件丢失或者损坏，这个时候你如果直接附加mdf文件到SQL Server会失败，这里提供一个方法可以还原只有mdf的数据库文件，这里我们假设你要还原的数据库文件是YourDB.mdf首先在SQL Server中创建一个同名的数据库，叫[YourDB]。 然后停止SQL Server的数据库引擎服务（通过配置管理器停止服务..._只复制了ndf 没复制ldf文件怎么附加
文章浏览阅读5.6k次，点赞4次，收藏53次。Call流程无论是在CS还是ims域看掉话问题首先先分析是否校准以及写入IMEI号在 kernel-3.18及其以前的老平台中可以通过随机接入来分析DUT是否有校准，如果信号还算良好，但频繁随机接入失败。那么可能是没有校准或rf参数本身有问题。典型log如下1403508, 947548, 884529, 18:05:45:610 2018/02/27, MOD_UMAC, , TRACE..._mtk modem 分析
文章浏览阅读4.7w次，点赞4次，收藏4次。出现上面问题的原因是webpack.config.js中config.devServer 配置出现了问题const config = { ...}if(isDev) { config.devServer = { port: 8000, host: '0.0.0.0', overlay: { errors: true,..._webpack dev server invalid options
文章浏览阅读5.4k次。转载地址：http://blog.csdn.net/baidu20008/article/details/41378761事件驱动模型广泛地应用于高性能的web服务器中。而相对应的事件处理模式，最为典型的就是Reactor模式（中文可以称作“反应器” “反应堆”等等，各种叫法都不一样，估且就使用英文吧，叫它Reactor模式）和Proactor模式(中文也称“主动器” “前摄器”，同前者一样称_c++设计模式reactor
文章浏览阅读243次。Centos7 系统上原有目录/data 挂载根目录下，空间有点小，我们需要把/data目录挂载到另一个磁盘，同时把数据迁移。1.查看分区情况fdisk -l2.查看路径对应分区情况df -l3.查看分区文件格式df -T -H4.给指定磁盘分区fdisk /dev/vdaCommand (m for help) nprimary partition (1-4) pPartition number..._linux 移动文件会改变文件的挂载点吗
文章浏览阅读1.5k次，点赞2次，收藏3次。OC介绍文章目录前言 一、OC是什么？ 二、第一段OC代码 三、OC基本介绍前言Objective-C是一种面向对象的C语言,本质还是C语言,兼容C和C++ 简称：OC提示：以下是本篇文章正文内容，下面案例可供参考一、OC是什么？Objective-C，通常写作ObjC或OC和较少用的Objective C或Obj-C，是扩充C的面向对象编程语言。它主要使用于Mac OS X和GNUstep这两个使用..._oc语言输出程序
文章浏览阅读836次。我已经通过autossh建立了一个隧道.这有效：autossh -M 33201 -N -i myIdFile -R 33101:localhost:22 [email protected]我想在后台运行autossh.使用-f选项似乎很容易.但是,这不起作用：autossh -f -M 33201 -N -i myIdFile -R 33101:localhost:22 autossh@myh..._autossh -r 访问不了
文章浏览阅读744次。问题导读1.hbase安装在什么情况下会发生，启动之后自动宕机2.hbase安装目录该如何选择？3.hbase目录如果出现权限不一致，会发生什么情况？4.如果只有一个节点有临时目录会出现什么情况？_hbase-common-2.2.4.jar
文章浏览阅读3.1k次。国密认证遇到的一些问题记录：gmssl生成的key文件解析：gmssl生成的SM2证书文件解析：_gmssl 生成base64
文章浏览阅读7.8k次。一、单选题 (共 90.00 分)1.关于学术造假，下列说法是不正确的是( )A.指伪造、修改研究数据和资料等学术腐败行为B.通常是由研究者学风浮躁和急功近利所致C.为了令理论假设成立，加工和筛选数据并不是造假D.是一种违背学术道德和科学精神的表现满分：15.00 分得分：15.00 分你的答案：C正确答案：C教师评语：暂无2.资料分析中的失范行为往往也被称为学术造假，下列情况不属于学术造假的是（ ）A.筛选数据B.整理数据C.加工数据D.伪造数据满_关于伪造科研数据下列说法错误的是