【NLP】因果卷积(causal)与扩展卷积(dilated)_扩张因果卷积_阿木鸣的博客-程序员秘密

技术标签: NLP  

因果卷积:

因为要处理序列问题(即要考虑时间问题,)就不能使用普通的CNN卷积,必须使用新的CNN模型,这个就是因果卷积的作用,看下面一个公式,对与序列问题(sequence modeling),主要抽象为,根据x1......xt和y1.....yt-1去预测yt,使得yt接近于实际值。

我们根据图片来看下因果卷积的样子,下面这个图片来自:https://deepmind.com/blog/wavenet-generative-model-raw-audio/

上面的图片可以详细的解释因果卷积,但是问题就来,如果我要考虑很久之前的变量x,那么卷积层数就必须增加。卷积层数的增加就带来:梯度消失,训练复杂,拟合效果不好的问题,为了决绝这个问题,出现了扩展卷积(dilated)。

扩展卷积:

对于因果卷积,存在的一个问题是需要很多层或者很大的filter来增加卷积的感受野。本文中,我们通过大小排列来的扩大卷积来增加感受野。扩大卷积(dilated convolution)是通过跳过部分输入来使filter可以应用于大于filter本身长度的区域。等同于通过增加零来从原始filter中生成更大的filter。

这就可以解决因果卷积带来的问题,在示意图中,卷积感受野扩大了1,2,4,8倍。扩大卷积(dilated convolution)可以使模型在层数不大的情况下有非常大的感受野。

 

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/My123456abc/article/details/100875742

智能推荐

用python实现目标检测与手势识别的原理简单总结_python手势报告分析体会与总结_布纹球的博客-程序员秘密

一丶目标检测目标检测属于分类和回归的综合问题。目标检测是借助于计算机和软件系统在图像/场景中,定位目标并识别出每个目标的类别的技术。基于深度学习的目标检测算法主要分为两类:Two stage和One stage。本次课程实验代码采用了yolo算法,所以应为One Stage任务流程:特征提取–> 分类/定位回归。不用RP,直接在网络中提取特征来预测物体分类和位置。目标检测分为两大系列——RCNN系列和YOLO系列,RCNN系列是基于区域检测的代表性算法,YOLO是基于区域提

数据完整性校验_存储完整性校验_云中雁012345的博客-程序员秘密

检错码:用于校验数据传输过程中是否出错,纠错码:不仅可以验证数据是否改动过或者出错,还可以纠正出错。用途:数据库中存的是校验码,核对时,对用户的密码使用相同的算法生成校验码,再对比。         身份验证:对数据生成校验码,然后传给第三方。其他人查看的时候,可以交于第三方进行验证。

enq: RO - fast object reuse_congjiu2607的博客-程序员秘密

SQL> l 1* select name, parameter1, parameter2, parameter3 from v$event_name where name like '&event'SQ...

vue项目中eCharts报错问题:vue eCharts Cannot read property ‘init‘ of undefined_vue.prototype.$echarts = echarts; 无效_流氓也是种气质 _Cookie的博客-程序员秘密

1.安装cnpm install echarts --save2. 在main.js引入import echarts from 'echarts'Vue.prototype.$echarts = echarts3.使用<template> <div> <div id="myChart" :style="{width: '300px', height: '300px'}"></div> </div></.

JetBrains 2020 Java调查报告:中国开发者使用比例最高,Java 8最受欢迎_程序员小乐的博客-程序员秘密

点击上方 "程序员小乐"关注,星标或置顶一起成长关注订阅号「程序员小乐」,收看更多精彩内容每日英文It doesn't matter how slow you ...

CentOS7 安装mysql5.6_fangwei1234的博客-程序员秘密

CentOS7 安装MySQL5.6检查是否有MariaDB和MySQL,如果有则卸载掉如果有,则需要用如下命令删除[[email protected] local]# rpm -e --nodeps mariadb-server-5.5.60下载mysql5.6二进制安装包wget https://cdn.mysql.com//Downloads/MySQL-5.6/mysql-5.6.42-linux-glibc2.12-x86_64.tar.gz当然也可以离线下载好,然后再上传到对应的服务器中

随便推点

检测版本号是否合格_baoba84620的博客-程序员秘密

/*** * 检测是否是合格版本号 * @param num * @return */ public static boolean checkVersionNumber(String num){ ...

Android接收UDP TS流实现边缓存边播放_郝三旭的博客-程序员秘密

Android播放本地文件视频是硬解,这样对CPU占用比较少,所以将直播收到的数据临时缓存3个文件,给定每个文件的大小,然后进行播放。后续还会进行优化。具体实现代码如下:[java] view plain copy package com.cayden.videodemo;    import java.io.File;  

C语言学习笔记——n个小孩围成一圈,顺序排号,报数报到5的出局..._Leeoo_lyq的博客-程序员秘密

问题描述:n个小孩围成一圈,顺序排号,从第一个人开始报数(从1报到5),凡是报到5的都要出局,求最后留下的人的号码。#include<stdio.h>void Game(int n){ int arr[n] = {0}; // 记录第n号孩子是否已出局,“0”表示未出局 int out = 0; // 当前出局人数统计 int cal...

Linux导出history命令到本地_linux 导出history_dev_zyx的博客-程序员秘密

思路:找到history记录的文件位置并复制一份把复制的那一份发送回本地一…Linux的history会显示历史代码的记录,想要查到对应的文件位置,可以通过:cd ~ls -a然后可以看到 .bash_history的文件,这个文件记录着历史代码我们可以通过cp复制这个文件然后重命名,也可以有更简单的方法:history > lalala.txt这样就已...

antd中日期选择框DatePicker不可选择日期的前后限制_antd日期选择框只能选择开始时间的后三天_See you的博客-程序员秘密

disabledDate = (current: any) => { const {currentData} = this.state console.log("currentcurrent", current) // return current < moment(currentData.startDate)|| current > moment(currentData.endDate) return current ...

面经——JAVA后端开发实习生_java后端实习__JAMESHUANG_的博客-程序员秘密

大家好,我是小黄呀。文章目录前言一、投简历二、笔试内容三、面试内容计算机网络数据库JAVA算法逻辑题总结前言因为今年寒假时间有点长,而且放的比较早,本来是想安心准备考研,但是觉得太早进行的话会把时间战线拉得很长,因此这段时间投了投简历,找一份寒假的实习,丰富和锻炼一下自己。一、投简历首先是要制作一下自己的简历,我总结了一下几个步骤首先要选一个合适的模板,不要太花哨,也不要太普通,对于简历的模板要求并不是很高。关于简历内容的撰写,我总结了三个一定,如下。一定要根据所投公司的JD(Jo

推荐文章

热门文章

相关标签