直播 | AAAI 2021最佳论文：比Transformer更有效的长时间序列预测-程序员宅基地
技术标签： 机器学习 推荐系统 firefox 人工智能 神经网络
「AI Drive」是由 PaperWeekly 和 biendata 共同发起的学术直播间，旨在帮助更多的青年学者宣传其最新科研成果。我们一直认为，单向地输出知识并不是一个最好的方式，而有效地反馈和交流可能会让知识的传播更加有意义，从而产生更大的价值。
本期 AI Drive，我们邀请到北京航空航天大学计算机学院博士生张帅，为大家在线解读 AAAI 2021 最佳论文 Informer：比 Transformer 更有效的长时间序列预测方法。对本期主题感兴趣的小伙伴，3 月 23 日（周二）晚 7 点，我们准时相约 PaperWeekly B 站直播间。
直播信息
长时间序列分析预测一直是人工智能基础理论研究的难点，对工业健康维护、疾病传播预测、网络安全分析等关键领域具有重要作用。本文指出“传统循环神经网络因误差逐层累积”已不能满足长序列数据分析的需求，并首次明确了 Transformer 神经网络架构对长序列问题建模的重要意义。该架构的核心优势是构建了自注意力机制来捕捉跨长度的前后相关性，但其伴随的重大挑战是自注意力操作具有随输入长度的二次时间复杂度，无法适用于长序列输入和输出。
据此，本论文突破了传统自注意力的计算复杂度限制，提出一种全新的从概率角度进行自注意力矩阵稀疏化的模型。该模型可以允许以非启发式的方式对自注意力计算进行长尾显著性分析，摘取长序列中重要的前后相关性对，可以依采样方案将计算复杂度降低至对数线性复杂度，使得自注意力满足长序列分析的建模要求。同时，该论文还提出了注意力蒸馏机制来允许构建更深的长序列堆叠模型，同时通过生成式解码来实现长序列单次前向输出。
这是首次在长序列问题上运用 Transformer 神经网络架构，依靠所提出的可分析稀疏化、注意力蒸馏和生成式解码组成 Informer 网络结构，可以在同样硬件限制下显著提高序列分析任务性能，为解决长序列问题提供了一种全新的解决方案。
本次分享的具体内容有：
解释长时间序列分析预测问题
介绍 Informer 模型
论文实验结果分析
总结
嘉宾介绍
张帅 / 北京航空航天大学博士生
张帅，北京航空航天大学计算机学院博士生，研究方向为机器学习与工业、医疗等产业界中实际问题的结合与应用。参与研制的设备故障预测系统在国家电网山东等省份 1300 余台大型变压器上应用，2020 年参与高精尖创新中心的新冠疫情大数据防控分析任务，支撑国家疫情防控决策，得到了国务院办公厅、北京市卫健委等专函致谢。
直播地址 & 交流群
本次直播将在 PaperWeekly B 站直播间进行，扫描下方海报二维码或点击阅读原文即可免费观看。线上分享结束后，嘉宾还将在直播交流群内实时 QA，在 PaperWeekly 微信公众号后台回复「AI Drive」，即可获取入群通道。
B 站直播间：
https://live.bilibili.com/14884511
合作伙伴
????
现在，在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧
关于PaperWeekly
PaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域，欢迎在公众号后台点击「交流群」，小助手将把你带入 PaperWeekly 的交流群里。
智能推荐
Cadence之双击(DSN/brd)文件打开变新建文件的解决方法_如何更改注册表让双击可以启动candence-程序员宅基地
文章浏览阅读4.5k次。注：该文章系转载所得，转载连接：https://www.cnblogs.com/eva0/p/7128068.html。本人亲试方法二、三，均有效，但方法二最为方便快捷，推荐！有时候我们再重新安装Cadence之后，双击打开DNS原理图文件或者brd的PCB文件，发现没有打开对应文件，反而是新建了一个新文件，必须重新取消保存新文件并且从菜单操作打开对应文件，很麻烦我们要解决这个问题，需要修..._如何更改注册表让双击可以启动candence
andriod fragment调用Activity函数方法-程序员宅基地
文章浏览阅读186次。(1)新增一个activity 1 package com.xxxx.activity; 4 5 public interface FragmentCallBack { 7 8 public MainActivity getMainActivity(); 9 10 }（2）在MainActivity 的Java文件中增加g..._android fragment中使用showmsg
[机缘参悟-106] ：一个IT人关于爱的理解：智者不入爱河-程序员宅基地
文章浏览阅读321次。然而，正因为情感的短暂性，对于情感的认知和理解需要灵活和细致的观察和分析，不能简单地将情感状态视为恒定的或永久的。然而，需要注意的是，爱情和爱河并非单一的概念，每个人对它们的理解和体验可能有所不同。情感和感情的融合是人类存在的基本特征之一，它们在我们的生活中起着重要的作用。最重要的是，相信自己的直觉和内心的感受。在追求爱情的过程中，保持自我价值和尊严，不断学习和成长，能够帮助我们区分真假爱情，并最终找到真正的幸福。例如，柏拉图的爱的观念认为，真正的爱应该是理性的、追求美善的，并超越个人欲望的。
Linux 下安装pm2后找不到pm2命令解决方法_linux安装pm2后,未找到命令-程序员宅基地
文章浏览阅读1w次，点赞4次，收藏7次。今天安装pm2碰到一个问题，使用npm install pm2 -g安装完成时，找不到pm2命令：在安装提示中可以看到pm2安装位置，此时我们只要使用以下命令将pm2放入系统路径下就可以了：ln -s /home/soft/elk/node-v8.11.3-linux-x64/bin/pm2 /usr/local/bin/..._linux安装pm2后,未找到命令
java 反编译 调试_eclipse 反编译 jar 中 .class 并打断点调试-程序员宅基地
文章浏览阅读643次。eclipse 反编译 jar中.class 并打断点调试1. 下载工具2. 增加jadeclipse功能把 net.sf.jadclipse_3.3.0.jar复制到eclipse/plugins目录下；jad.exe放到 JAVA_HOME/bin下。3.配置jad路径打开eclipse，windows-->perferences-->java--->jadClips..._eclipse 反编译打不了断点
Visual Studio的SDK配置-程序员宅基地
文章浏览阅读2.4k次。Visual Studio的SDKVisual Studio 6.0自带的SDK是1998年的，目录为C:\Program Files\Microsoft Visual Studio\VC98\，这里简记为VS6SDKDIR。以下为打开vc6菜单tools->options->directories. 我们看到Platform为Win32，Show directories ..._vs platformsdk在哪
随便推点
STM32-USB学习系列(五)：USB复合设备的实现(MSC + HID)_stm32usb复合设备-程序员宅基地
文章浏览阅读8.9k次，点赞7次，收藏57次。一、整体步骤二、_stm32usb复合设备
Android安全之DM-verity中的Device Mapper机制分析-程序员宅基地
文章浏览阅读9k次，点赞6次，收藏39次。我们想法：能不能将多个硬盘，映射成一个逻辑的硬盘，那样我们程序就不用关心复杂的地址问题了，也不用关系是哪个device了？ DM-raid技术RAID全称为独立磁盘冗余阵列(Redundant Array of Independent Disks) 将某个地址段的数据进行加密，只有授权方式才可访问，比如FDE。 DM-crypt技术访问存储介质上的数据时，校验下是否被篡改过
apache=>DokuWiki 安装-程序员宅基地
文章浏览阅读306次。checking for APR... noconfigure: error: APR not found.解决办法：1.下载所需软件包：[code="java"]wget http://archive.apache.org/dist/apr/apr-1.4.5.tar.gz wget http://archive.apache...
crio电压采集 labview_LabVIEW与cRIO入门.pdf-程序员宅基地
文章浏览阅读702次。 和 CompactRIO LabVIEW入门指南注 新用户可通过LabVIEW 入门指南了解LabVIEW 基本信息和相关术语。本..._labview crio
13. 试用vSphere 6（二）：使用vSphere Client 6.0管理ESXi主机-程序员宅基地
文章浏览阅读2.3k次。一、VMware vSphere 6(RC版)安装配置系列文章：1、试用vSphere 6（一）：安装ESXi 6 RC版2、试用vSphere 6（二）：使用vSphere Client 6.0管理ESXi主机3、试用vSphere 6（三）：安装vCenter 6（独立数据库）之：域控服务器安装与配置4、试用vSphere 6（三）：安装vCenter 6（独立数据_vsphere client 6
使用gb2312乱码，utf-8正常-程序员宅基地
文章浏览阅读4.9k次。问题：使用gb2312编码会导致在终端输出和网页输出都是乱码，使用utf-8则不会。原因：jsp使用的编码方式是gb2312，这个编码方式决定了jsp页面所有显示文字的编码方式，包括text组件中输入的内容。对于get方法，请求参数是直接拼接在url后面的，而这个参数的编码应该也是由jsp使用的编码方式决定的。这些参数到达tomcat后，会首先经过一次解码，这个过程是程序不能干预的，发生在servlet所有的操作进行之前。而tomcat8之后默认的编码方式是utf-8，两个编码方式的不一致就导致了乱码。._gb2312乱码