如何堆叠多层LSTM网络——长短期记忆(LSTM)系列_LSTM的建模方法(2)_堆叠lstm-程序员宅基地

技术标签: lstm  LSTM预测之进阶篇系列  深度学习  

导读:

堆叠式LSTM属于深度学习,通过添加网络的深度,提高训练的效率,获得更高的准确性。

文中介绍了堆叠式LSTM的架构和实现方法

在堆叠式LSTM中,层与层的输数出通过return_sequences = True参数修改成3D数据,以便供下一层网络使用。

源码地址

LSTM/长短期记忆(LSTM)/使用LSTM建模/堆叠的长短期记忆网络 at master · yangwohenmai/LSTM · GitHub

为什么要增加深度?

堆叠LSTM隐藏层使模型更深入,更准确地将描述作为深度学习技术获得。

神经网络的深度通常归因于该方法在广泛的具有挑战性的预测问题上的成功

可以将其他隐藏层添加到多层感知器神经网络中以使其更深。附加隐藏层被理解为重新组合来自先前层的学习表示并在高抽象级别创建新表示。例如,从线到形状到对象。

足够大的单个隐藏层多层感知器可用于近似大多数功能。增加网络的深度提供了另一种解决方案,需要更少的神经元和更快的训练。最终,添加深度是一种代表性优化。

堆叠式LSTM架构

LSTM可以利用相同的好处。

鉴于LSTM对序列数据进行操作,这意味着层的添加增加了输入观察随时间的抽象级别。实际上,随着时间的推移分块观察或在不同的时间尺度上表示问题。

在同样的工作中,他们发现网络的深度比给定层中的存储器单元的数量更重要,以模拟技能。

堆叠LSTM现在是用于挑战序列预测问题的稳定技术。堆叠式LSTM架构可以定义为由多个LSTM层组成的LSTM模型。上面的LSTM层提供序列输出而不是单个值输出到下面的LSTM层。具体地说,每个输入时间步长一个输出,而不是所有输入时间步长的一个输出时间步长。

                                                               

                                                       堆叠的长期短期记忆结构

在Keras中实现堆叠LSTM

下面是定义两个隐藏层Stacked LSTM的示例:

model = Sequential()
model.add(LSTM(..., return_sequences=True, input_shape=(...)))
model.add(LSTM(...))
model.add(Dense(...))

只要先前的LSTM层提供3D输出作为后续层的输入,我们就可以继续添加隐藏的LSTM层。例如,下面是一个有4个隐藏层的Stacked LSTM。

model = Sequential()
model.add(LSTM(..., return_sequences=True, input_shape=(...)))
model.add(LSTM(..., return_sequences=True))
model.add(LSTM(..., return_sequences=True))
model.add(LSTM(...))
model.add(Dense(...))

我们可以在Keras Python深度学习库中轻松创建Stacked LSTM模型

每个LSTM存储器单元都需要3D输入。当LSTM处理一个输入时间步长序列时,每个存储器单元将输出整个序列的单个值作为2D阵列。

我们可以使用具有单个隐藏LSTM层的模型来演示以下内容,该LSTM层也是输出层。

# Example of one output for whole sequence
from keras.models import Sequential
from keras.layers import LSTM
from numpy import array
# define model where LSTM is also output layer
model = Sequential()
model.add(LSTM(1, input_shape=(3,1)))
model.compile(optimizer='adam', loss='mse')
# input time steps
data = array([0.1, 0.2, 0.3]).reshape((1,3,1))
# make and show prediction
print(model.predict(data))

输入序列有3个值。运行该示例将输入序列的单个值输出为2D数组。

输出:[[ 0.00031043]]

要堆叠LSTM图层,我们需要更改先前LSTM图层的配置,以输出3D数组作为后续图层的输入。

我们可以通过将图层上的return_sequences参数设置为True(默认为False)来完成此操作。这将为每个输入时间步返回一个输出并提供3D数组。
以下是与return_sequences = True相同的示例。

# Example of one output for each input time step
from keras.models import Sequential
from keras.layers import LSTM
from numpy import array
# define model where LSTM is also output layer
model = Sequential()
model.add(LSTM(1, return_sequences=True, input_shape=(3,1)))
model.compile(optimizer='adam', loss='mse')
# input time steps
data = array([0.1, 0.2, 0.3]).reshape((1,3,1))
# make and show prediction
print(model.predict(data))

运行该示例为输入序列中的每个时间步输出单个值。

[[[-0.02115841]
[-0.05322712]
[-0.08976141]]]

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/yangwohenmai1/article/details/84874197

智能推荐

2021年江苏省职业院校技能大赛中职 “网络信息安全”赛项(超详细)_2021年江苏省职业院校技能大赛网络信息安全赛项中职组-程序员宅基地

文章浏览阅读2.1k次,点赞3次,收藏6次。2021年中职组“网络空间安全”赛项一.江苏省竞赛任务书二.任务书解析:三.不懂的可以私信博主!一.江苏省竞赛任务书一、竞赛时间8:00—11:00 共计3小时二、竞赛阶段竞赛阶段 任务阶段 竞赛任务 竞赛时间 分值第①阶段:单兵模式系统渗透测试任务一:攻击日志分析任务二:系统漏洞利用与提权任务三:代码审计任务四:web安全渗透测试任务五:Linux操作系统渗透测试任务六:端口扫描Python渗透测试备战阶段 休息20分钟第②阶段:分组对抗 系统加固 15分钟_2021年江苏省职业院校技能大赛网络信息安全赛项中职组

Python3爬取猫眼电影信息-程序员宅基地

文章浏览阅读1k次。Python3爬取猫眼电影信息import jsonimport requestsfrom requests.exceptions import RequestExceptionimport reimport time#爬取猫眼电影信息def get_one_page(url): #增加了User-Agent识别,需要在headers中添加User-Agent参数。 ..._python3爬取猫眼

初识Docker(基本概念)_if [ type docker]-程序员宅基地

文章浏览阅读620次。文章目录前言什么是Docker&为什么用它Docker基本概念Docker镜像Docker与虚拟机的差别DockerHub容器总结前言兄弟们,明天我就期末考试了,给我来一波祝福~!!!老规矩,什么是Docker,这玩意能干嘛,有什么用,为什么要用它,有什么优势。在学习一个新东西之前我们都需要带着这些疑问开始进入学习,那么今天的这篇博客主要就是讲解一些基本的概念,这样一来对于Docker的学习就非常快了,同时这也是我本人的笔记整理。那么接下来就开始一一解答上面提到的问题。本章节为纯理论,后面才是_if [ type docker]

将datatable转化为list_datatable杞塋ist-程序员宅基地

文章浏览阅读1.3k次。定义一个person类,声明属性id,name.addresspublic class Person { private int id; public int Id { get { return id; } set { id = value; } } _datatable杞塋ist

ARM Cortex-M0(1)---浅谈ARM Cortex-M0_m0的体系结构-程序员宅基地

文章浏览阅读6.2k次。浅谈ARM Cortex-M0 一、引言  ARM公司在2009年初发布了其嵌入式处理器系列中最小型、最低功耗的CortexM0处理器。CortexM0低功耗、高性能与极精简程序代码的特性,能应用于各种微控制器(MCU)中,并可让研发业者以8位的价位创造32位的效能,并进一步将传统的8位和16位的处理器推进至更高效能、更低功耗的32位处理器。二、关于CortexM0  AR..._m0的体系结构

Flash外部配置器件在SOPC中的应用_sopc中为什么加上flash就什么现象也没了-程序员宅基地

文章浏览阅读728次。1 Flash在SOPC中的作用   Flash在SOPC中的作用主要表现在两方面:一方面,可用Flash来保存FPGA的配置文件,从而可以省去EPCS芯片或解决EPCS芯片容量不够的问题。当系统上电后,从Flash中读取配置文件,对FPGA进行配置。另一方面,可用Flash来保存用户程序。对于较为复杂的SOPC系统,用户程序一般较大,用EPCS来存储是不现实的。系统完成配置后,将Flash中的用户程序转移到外接RAM或片内配置生成的RAM中,然后系统开始运行。  2 Flash编程_sopc中为什么加上flash就什么现象也没了

随便推点

使用Unity的50个建议_unity游戏中的一些规范和优化建议-程序员宅基地

文章浏览阅读491次。关于这些建议这些建议并不适用于所有的项目这些建议是基于我与3-20人的小团队项目经验总结出来的结构、可重复使用性、明晰度都是有价的——团队规模和项目规模决定了是否值得付这个价。一些建议也许公然违抗了传统的Unity开发。例如:使用专业化的组合而不是使用实例就很不像Unity的作风,价格也很高。即使看上去挺疯狂的,但我还是看到了这些建议给开发者带来了利益。 过程方面_unity游戏中的一些规范和优化建议

iOS与前端交互WKWebViewJavascriptBridge-程序员宅基地

文章浏览阅读2.5k次。废话不多说,直接进入正题~~~首先引入 pod 'WKWebViewJavascriptBridge'这部分代码是写死的主要用的是这部分代码 主要用的是这部分代码 主要用的是这部分代码 可以直接放在script标签下,也可以创建一个bridge.js function setupWKWebViewJavascriptBridge(callback) { if (window.WKWebViewJavascriptBridge..._wkwebviewjavascriptbridge

提高ASP.Net应用程序性能的十大方法-程序员宅基地

文章浏览阅读69次。转自:http://www.xiedaima.cn/read.php/72.htm提高asp.net应用程序性能的常说的神话 有用的提高asp.net应用程序性能的技巧 Asp.net应用程序操作数据库的建议 Asp.net中的缓存与后台处理进程 现在写一个asp.net的web应用程序变得非常的简单,许多的程序员都不愿花时间去构建一个性能良好的应用程序。本文将要讨论...

java reduce 求和_Java Stream流之求和的实现-程序员宅基地

文章浏览阅读2.2k次。BigDecimal:BigDecimal bb =list.stream().map(Plan::getAmount).reduce(BigDecimal.ZERO,BigDecimal::add);int、double、long:double max = list.stream().mapToDouble(User::getHeight).sum();补充:java8-Stream流之数值函数..._java reduce求和

aes_descryptoserviceprovider 中的密钥是8位; rijndaelmanaged -程序员宅基地

文章浏览阅读132次。Cannot find any provider supporting AES/CBC/PKCS7Padding关于“Cannot find any provider supporting AES/ECB/PKCS7Padding”问题的解决方案commons-codec-1.7.jarCommons Codec 1.14 Download bcprov-ext-jdk16-1.4..._descryptoserviceprovider 中的密钥是8位; rijndaelmanaged 中的密钥是32位。

AI一分钟 | 别了老司机!深圳无人驾驶公交车霸气上路;乌镇上演最强饭局,丁磊王兴刘强东大宴宾客-程序员宅基地

文章浏览阅读986次。一分钟AI美剧《硅谷》再现NIPS大会,英特尔请来Flo Rida暖场AI演讲互联网大佬的乌镇饭局刷爆朋友圈博通正式启动恶意收购:周一提交高通新董事提名深圳无人驾驶公交车上路试运营李彦宏称无人驾驶将会消灭酒驾雷军:AI将全面赋能小米的各项场景和服务刘强东乌镇发言:要在四川建185个无人机机场工信部:中国人工智能产业初步

推荐文章

热门文章

相关标签