深度学习-20:神经科学、脑科学和稀疏特性_脑科学 深度学习难度-程序员宅基地

技术标签: 稀疏特性  数学基础  脑科学  深度学习原理与实践  深度学习  深度学习专题  生物神经网络  

深度学习-20:神经科学、脑科学和稀疏特性

深度学习原理与实践(开源图书)-总目录,建议收藏,告别碎片阅读!

第二次世界大战之后,美苏在全维度展开了霸权竞赛,人工智能研究伴随着计算机的发展也开始进入佳境。经过经过半个多世纪的发展,人工智能逐渐形成:符号学派、贝叶斯学派和联结学派三个流派。

  • 符号学派:以谓词逻辑表示法理论为基础的符号主义占据了绝对的主流,但是到了上世纪90年代,符号主义具有的先天缺陷开始暴露出来(没有自我学习能力)。
  • 贝叶斯学派: 贝叶斯学派致力于寻找逻辑和概率的关系,利用概率分布进行有效推理。马尔科夫链和贝叶斯网络是他们的主要理论武器。贝叶斯学派在语言识别等子领域表现还是非常出色的。参考Sari和Google语音搜索利用隐马尔可夫链的论文。
  • 联结学派:试图仿效人脑的结构和工作方式,以期获得相同或相似人脑的功能。借鉴神经科学,连接主义学派创立了神经网络。神经网络无论从原理还是工程实践来看,和人脑还无法相比拟。和符号主义采用数学方法不同,以神经网络为代表的连接主义采用了仿生学原理,利用硬件或者软件模拟出神经网络的连接机制,相对比符号主义,这种方式更加符合生物学事实。神经科学是神经网络的理论支撑,失去神经科学,神经网络也只能实现聚类和分类的角色,和完美的智能就无缘了。联结学派借助深度学习和计算能力的突破,目前在各类人工智能竞赛中大放异彩。

AI的终极目标是实现类人脑智能,神经科学是研究类人脑智能的钥匙。探索智能、意识的人脑机理,认识人的行为和情感,创新脑疾病诊断与治疗,是二十一世纪科学的前沿领域。脑科学和神经科学的发展极大的推动了神经网络计算的发展。当前新一代信息技术产业很关注对于大脑功能和神经网络的研究,希望机器具有更好的智能而不是野蛮的存储和计算能力,希望机器具有类人脑的工作方式而不是简单的数据总线结构。

1 计算神经科学的背景

从神经科学发展处第一代感知机,再到卷积神经网络,再到深度学习,深度学习成为类脑人工智能的最佳实践。深度学习的理论来源于神经科学家对大脑视觉系统的研究,人类的大脑的视觉系统是分层的,低层级神经元识别基础模式,中级神经元识别高级模式,高级神经元识别抽象模式。人们对视觉注意力、抉择、学习等认知功能的大脑神经网络机制的研究方兴未艾。发展脑科学基础研究,将促进“深度学习” 等类脑智能技术的蓬勃发展。

大脑是自然界造物主的终极杰作,近年以类脑计算、人工智能和脑机接口为突破口,为人类认识大脑开创了新纪元。计算神经科学也是脑科学与人工智能两个领域之间的必要桥梁,这些领域的互动和协同创新将极大推动未来的信息科技、脑科技以及下一代超级计算机的发展。

人类的大脑是个未知的黑箱,目前还没有形成系统的理论解释人脑的运作机制,我们对大脑的认识还远远低于我们对宇宙和地球的认识。目前类人脑研究百花齐放,各种跨学科的理论和模型都被应用于人脑机制的研究上。目前神经科学研究和信息科学结合尤为紧密,出现了类脑计算、人工智能和脑机接口等巨大进展。人脑的未知黑箱,就像具有包含巨大数量的未知变量的黑箱,需要新颖和复合的思路才可能找到钥匙。我们需要利用物理学、数学的方法研究上千亿神经元组成的复杂结构及其非线性动态行为;需要用理论和数学模型从基因、到神经元、到神经网络、到脑系统的多个层次来研究,以解释认知功能;需要用新的信息科学的工具分析和解读实验中获得的海量数据;需要用生物医学工程的技术来制造脑机接口,使脊髓损伤和运动残疾的病人能够用脑电信号控制智能假肢。

2 生物神经网络基础

联结学派的人工智能,理论和模型借鉴于生物神经网络。生物神经网络的重要研究进展都会展现在联结学派的理论模型中。联结学派的人工智能主要借鉴了生物神经网络的神经元理论,视觉皮层分层理论和稀疏理论等。

2.1 分层理论

1959年,Hubel和Wiese教授对猫的大脑纹理皮层进行了研究,并提出一种基于视觉皮层的分层结构模型,随后分层模型被广泛用于分类和识别任务; 在1999年,M.Riesenhuber和Tomaso Poggio提出了一种基于视觉感知机理的视觉特征计算的标准量化模型,为这一领域的研究注入了新的灵感。神经科学家Tomaso Poggio发现了视觉皮质是层级体系的工作原理,被划为为V1、V2、MT和V5区域,V1识别物体的基本线条和初始形状;V2识别物体的轮廓,残差和定位等;更好层级识别物体的抽象概念;层级体系中,信息双向流动,信号包含刺激信号和抑制信号。受生物视觉皮层分层模型的启发,各类基于卷积和分层的分类和识别器先后涌现,应用范围包括:手写识别、生物身份认证、DNA序列分析、化学气味识别、药物分子识别、图像理解、 人脸识别、表情识别、手势识别、语音识别、信息检索、数据挖掘、信号处理等领域。

1 人眼视觉皮层

光线落在视网膜上后,被感光细胞接受,产生超极化响应,将光信号转化为电信号。然后通过图2的视觉传导通路传递到脑皮层的视区,形成视觉。Hubel和Wiesel从1962年开始研究人眼视觉皮层,1981年获得诺贝尔医学和生理学奖。强烈的方位选择性是绝大多数视皮层细胞的共性。人眼视觉对图像信息的选择性(刺激信号和抑制信号)机理,对深度学习有非常大的启发。

与人眼视觉有关的大脑皮层多达35个,自皮层表面到白质分成6层,外膝状体核处理后的视觉信息首先传到皮层17区,I区或纹状体区。外膝状体细胞轴突末梢终止于第4层内,然而再与2,3层细胞,第5,6层细胞建立突触联系。V1:纹状皮层(17区), V2第2视区, MST, 内侧上颞区, MT, 中央颞区。细胞类型有星形细胞(stellate cell)和锥体细胞(pyramidal cell)。

视皮层17区和18区的细胞可分为简单细胞(simple cells)和复杂细胞(complex cells)两大类。简单细胞主要分布在视皮层17区的第4层内,感受野较小,呈狭长形,用小光点可以测定,对大面积的弥散光无反应,而对处于拮抗区边缘一定方位和一定宽度的条形刺激有强烈的反应,因此比较适合于检测具有明暗对比的直边,对边缘的位置和方位有严格的选择性,对每一个简单细胞,都有一个最有方位,在此方位上细胞反应最强烈。

复杂细胞同样处在要求刺激具有特定的方位,但对其在感受野中的位置无严格要求。多分布在皮层17区(占大部分细胞)和18区,在19区很少看到。形态学上可能是第3和第5层中的锥体细胞。超复杂细胞对条形刺激的反应类似复杂细胞,不同之处是超复杂细胞感受野的一端或两端有很强的抑制区,因此要求条形刺激有一定长度,过长时就产生抑制,反应减少或消失。

人眼视觉皮层

2.2 稀疏理论

我们使用眼睛观察周围环境,在某些情景中我们相当投入,比如和心爱的人在星巴克聊天喝咖啡,即使我们调用所有的脑细胞去记住每帧精美的画面,最后落入我们记忆中的却是关于我们视觉区兴趣点的轮廓和提示。我们大脑如何存储我们如此着迷的精美视频切片呢?加州大学伯克利分校的分子细胞生物学教授弗兰克.韦伯林(Frank S.Werblin)的研究表明:视觉神经携带10-12个输出通道,每个仅携带少量关于给定画面的信息,其中一组名为神经节细胞的只传送关于相反的边缘对比变化的信息;另一组只探测画面的均匀颜色;第三组只能检测焦点图像之后的背景信息。
Frank S.Werblin认为“尽管我们认为自己看透了世界,但是我们接收到的却只是提示,是空间和时间的边缘,这12副图像组成了我们对外界所知的所有信息,借助这12副图像,我们重构了丰富的视觉世界,我们非常好奇,大自然如何选择这12幅简单的影像以及他们如何做到为我们提供所需要的全部信息”。
这种数据简化就是人工智能领域的“稀疏编码”(Sparse Coding)。我们发现创建一个人工系统时发现,抛弃大多数输入信息,仅保留最显著的细节,却颇有成效。然后大脑皮质的加工信息的能力却被我们选择性忽略了。

图像稀疏特性的扩展思考:

  • 扩展思考A: LeNet神经网络,底层模型表现出来的图像信号的稀疏性。
  • 扩展思考B: H264编码中,底层模型表现出来的图像信号的稀疏性。

3 数学基础

人工智能综合利用交叉学科研究类人脑问题。数学是人工智能必不可少"瑞士军刀", 其中关系紧密的几个数学理论是:概率论、信息论、矩阵理论和数值计算理论。

系列文章

参考文献

  • [1] Ian Goodfellow, Yoshua Bengio. Deep Learning. MIT Press. 2016.
  • [2] 焦李成等. 深度学习、优化与识别. 清华大学出版社. 2017.
  • [3] 佩德罗·多明戈斯. 终极算法-机器学习和人工智能如何重塑世界. 中信出版社. 2018.
  • [4] 雷.库兹韦尔. 人工智能的未来-揭示人类思维的奥秘. 浙江人民出版社. 2016.
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/shareviews/article/details/83027144

智能推荐

mysql.cant create_mysql错误:cannot create windows service for mysql.error:0-程序员宅基地

文章浏览阅读735次。安装新的MYSLQ数据库,安装好运行MySQL Server Instance ConfigWizard,在最后一步却发现无法启动服务,出现这样的提示“cannot create windows service formysql.error:0”!原因:安装mysql时可能产生cannot create windows service formysql.error:0错误,错误的原因多数由于重新安..._mysql:cant create

用Navicat设置mysql的datetime默认值为CURRENT_TIMESTAMP_navicat datetime current-程序员宅基地

文章浏览阅读5.7k次,点赞7次,收藏5次。看了好多,试了好多方法终于在这里成功了。下面我讲一下操作过程:1、新建表:2、输入完你的数据库表后,点右上角的SQL预览,复制它的SQL语句:3、不要保存,关闭4、选中你要查询的数据库,点击查询,新建查询5、把你刚刚复制的SQL语句粘贴进去6、最后修改的结果如下:7、点击左上角的运行,修改成功了。希望这篇博客能..._navicat datetime current

dll实现进程通信_注入dll后如何和进程通信-程序员宅基地

文章浏览阅读2.5k次。3.6.2 使用DLL通信的方法从上面可以看出,对于Win32的DLL,所有载入DLL的应用程序只能共享程序代码,不能共享数据,必须要采取一种方法才能使这些程序之间共享数据。当然访问数据时要注意同步问题。要想使Win32 DLL的数据区能设计成共享的存储区,可以通过#pragmadata_seg指令建立一个新段来做到这一点,实际上是告诉编译器包含段中的特定变量。然而,仅此不足以做到数_注入dll后如何和进程通信

win7 mysql5.7.25安装教程_Win7系统下mysql 5.7.11安装教程详解-程序员宅基地

文章浏览阅读85次。操作系统:win7 64位旗舰版mysql压缩包:mysql-5.7.11-winx64.zip1. 解压MySQL压缩包将下载的MySQL压缩包解压到自定义目录下,我的解压目录是:"D:Program Filesmysql-5.7.11-winx64"将解压目录下默认文件 my-default.ini 拷贝一份,改名 my.ini复制下面的配置信息到 my.ini 保存#如果没有my-defau..._mysql安装教程5.7win7

c++2个三维向量求角度差_基于三维向量对的乱序堆叠物体的位姿识别-程序员宅基地

文章浏览阅读170次。点击上方“3D视觉工坊”,选择“星标”干货第一时间送达摘要:针对乱序堆叠物体识别效率低、速度慢的问题,提出一种快速可靠的3D对象检测可以应用于复杂场景中随机堆积的物体。所提出的方法使用“3D向量对”具有相同的起点和不同的终点,并且它具有表面正态分布作为特征描述符。通过考虑向量对的可观察性,提出的方法已取得较高的识别性能。可观察性向量对的因数是通过模拟可见光来计算的从各种角度来看向量对的状..._如何表达两个三维向量之间的差异性

无线接入网 服务器 选型,XL9X物联网关选型及应用-程序员宅基地

文章浏览阅读232次。XL9X物联网关是XIoT网络核心,启动、管理、协调网络通信。网络、协议转换;数据获取、处理、储贮、转发。构建更稳定、更可靠、更安全的物联网。XL9X物联网关同时向多个平台上传数据;支持MQTT、SOAP、API、Modbus RTU/TCP及其它工业、电力行业通信协议;XL/9-IoT协议,直接推送数据至MS SQL,MY SQL,ORACLE等数据库,和平台通信更方便;提供客户指定的其它通信协...

随便推点

强化学习—DQN训练计算机玩Flappy Bird游戏_paddlepaddle版flappy-bird—使用dqn算法实现游戏智能-程序员宅基地

文章浏览阅读1.1w次,点赞18次,收藏152次。文章目录Q-Learning简述Deep Q Network(DQN)为什么要用DQNDQN中的几个巧妙的地方DQN流程简述Q-Learning简述Deep Q Network(DQN)为什么要用DQNDQN中的几个巧妙的地方DQN流程简述Q Learning 就是创造一个Q表,来指导机器人的行动,Q表对应Action的数值越大,机器人就越大概率地采取这个Action.Q函数的更新方..._paddlepaddle版flappy-bird—使用dqn算法实现游戏智能

Katalon Studio简介_katalon studio的内置脚本语言是什么-程序员宅基地

文章浏览阅读1.8k次,点赞2次,收藏7次。下面是根据katalon 内置的Quick Guide截图的翻译出的基础指导:一、Katalon Studio界面功能区概观指导:二、测试用例操作手册视图指导:三、记录测试用例:四、执行与调试五、移动测试(Mobile Testing)..._katalon studio的内置脚本语言是什么

c语言strlen函数统计空格么,strlen()函数的几点注意的地方-程序员宅基地

文章浏览阅读8.3k次,点赞5次,收藏8次。strlen(const char*)函数是文件头#include "string.h"下的库函数,其返回类型的是int,里面的参数返回类型是char* ,他的作用是后去字符串的长度,不过在1.在scanf()键盘终端下输入zhang sen2.在程序中获取char str[] = "zhang sen";3.char str[] = {'z','h','a','n','g',' ','s','e..._strlen会排除字符串末尾的空格么

cache 计算机系统实验报告,西安交通大学计算机系统结构实验报告CACHE.doc-程序员宅基地

文章浏览阅读635次。计算机系统结构实验报告——Cache性能分析班级:计算机05姓名:陈浩学号日期:2013.5.21实验目的及要求1.加深对cache的基本概念,基本组织结构以及基本工作原理的理解;2.掌握cache容量,相关度。块大小对cache性能的影响;3.掌握降低cache不命中率的各种方法以及对这些方法对提高cache性能的好处;4.理解LRU、FIFO和随机算法的基本思想以及它们对cache性能的影响。..._全相联cache设计实验目的

笔记本无法使用计算机,电脑Win快捷键失灵不能用的两种处理方法-程序员宅基地

文章浏览阅读6.2k次。运行电脑时如果不想用鼠标点,或者鼠标不好用的时候,那么Win快捷键就派上用处了,比如Win+ E打开任务管理器,Win+A打开操作中心,能解决不少繁琐事情。有时候键盘中两个Win键失灵了都不能用,相信大家都遇到这样状况。那么电脑Win快捷键失灵问题该怎么来处理?不要担心,本教程告诉大家Win快捷键失灵不能用的两种处理方法。Win键失效的处理方法一:1、按下键盘上的CTRL+ESC组合键键,相当单按..._笔记本电脑win键没反应

字体大小自适应纯css解决方案-程序员宅基地

文章浏览阅读79次。viewpointcss3提供了一些与当前viewpoint相关的元素,vw,vh,vim等。“viewpoint” = window sizevw = 1% of viewport width1vh = 1% of viewport height1vmin = 1vw or 1vh, 最小1vmax = 1vw or 1vh, 最大兼容性:chrome 2..._css pc端字体大小自适应

推荐文章

热门文章

相关标签