关于multi-head的一点思考-程序员宅基地

Google于2017年提出了Transformer，而提出该模型的论文名为《Attention is all you need》，之前翻译该论文的时候并没有太多注意attention，更多的放在了整体的模型结构上。最近面试了一个候选人，他介绍项目用到的AOA时，提到了从“横向”和“纵向”两个维度做softmax，突然让我对Transformer中的multi-head attention有了新的求知欲（虽然这两个事情联系不大，但的确对之前不在意的细节产生了好奇）。
从文章名可以看出attention在Transformer中的重要性，那么笔者就从以下三点再来整理一下multi-head attention。
在这里插入图片描述

为什么要用多个“头”呢？

这个操作和CNN使用多个卷积核的目的一样，从多个维度（或角度）来进行语义理解。只不过，在Transformer中，通过采用h个不同的权重，实现了h个线性变换。

W的维度和embedding维度关系

论文中 $d_k*h=d_{embedding}$ ，所以可以将h个头的结果直接拼接，进行之后的计算。这样操作的前提就是h能被 $d_{embedding}$ 整除，且 $d_k$ 和 $d_{embedding}$ 如前公式的关系。

多个头如何计算

因为h个线性变换之间是相互独立的，所以多头可以并行计算。这样在工程实现上不需要任何的前提等待计算。
翻译论文的时候，虽然把这部分完全翻译出来，但是没有独立思考，对细节的理解还是不到位。当然，现在的理解也可能有不足之处，欢迎指正~

Attention is all your need 译文

更多内容，请关注“机器爱学习”公众号~
在这里插入图片描述

本文链接：https://blog.csdn.net/Airstudy/article/details/107145448

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

级联样式表_级联样式表| 第三部分-程序员宅基地

文章浏览阅读173次。级联样式表 CSS-难以成熟 (CSS — Difficult to maturation)Unlike software, the CSS specifications are developed by successive versions, which would allow a browser to refer to a particular version. CSS was devel..._级联样式表是哪年产生的

sql server学习笔记——批处理语句、存储过程_sql的批处理-程序员宅基地

文章浏览阅读1.7k次。目录批处理语句1、批处理语句简介示例一：示例二：存储过程一、什么是存储过程1、存储过程的简介2、存储过程包含的内容3、存储过程的优点4、存储过程的分类系统存储过程：用户定义存储过程5、常用的系统储存过程（1）一般常用的存储过程（2）xp_cmdshell二、创建存储过程1、定义存储过程的语法2、不带参数的存储过程3、带参数..._sql的批处理

css代码的定位及浮动

上次，我们解除了css的内外边距、鼠标悬停及其练习。现在我们学习css元素练习和定位。

一种简单的蒙特卡洛树搜索并行化方法-程序员宅基地

文章浏览阅读2.2k次，点赞4次，收藏6次。本文提出了 WU-UCT, 一种新颖的并行 MCTS 算法, 通过监控未观察样本的数量来解决并行化过程中统计数据过时的问题. 基于新设计的统计数据, 它有正确地修正了UCT节点选择策略, 实现了有效的探索和利用的权衡. _树搜索并行化

python多页爬取page_python爬虫实现爬取同一个网站的多页数据的实例讲解-程序员宅基地

文章浏览阅读3.2k次。对于一个网站的图片、文字音视频等，如果我们一个个的下载，不仅浪费时间，而且很容易出错。Python爬虫帮助我们获取需要的数据，这个数据是可以快速批量的获取。本文小编带领大家通过python爬虫获取获取总页数并更改url的方法，实现爬取同一个网站的多页数据。一、爬虫的目的从网上获取对你有需要的数据二、爬虫过程1、获取url(网址)。2、发出请求，获得响应。3、提取数据。4、保存数据。三、爬虫功能可以..._python 爬虫 get_page_size

《从0到1学习Flink》—— Flink 读取 Kafka 数据批量写入到 MySQL_flink+kafka统计数据后插入mysql-程序员宅基地

文章浏览阅读2.1k次。本文原创地址是: http://www.54tianzhisheng.cn/2019/01/15/Flink-MySQL-sink/ , 未经允许禁止转载。前言之前其实在《从0到1学习Flink》—— 如何自定义 Data Sink ？文章中其实已经写了点将数据写入到 MySQL，但是一些配置化的东西当时是写死的，不能够通用，最近知识星球里有朋友叫我: 写个从 kafka 中读取数据，..._flink+kafka统计数据后插入mysql

随便推点

还在用PPT做组织架构图？公司都在用的架构图软件是什么？_书本里印刷的结构图是用什么软件做的-程序员宅基地

文章浏览阅读3.1k次。还在用PPT、Word和Excel画企业组织结构图吗?对于人力资源的同事来说，画组织结构图是一键非常头疼的事情，尤其是对于一些大公司和人员变动较大的公司来说，需要经常更换组织结构图，每次变动都要耗费大量的时间和精力去重新绘图。其实绘制织结构图很简单，之所以难是因为没有找对工具和方法!今天小编就教你如何用亿图图示轻松绘制一个既美观又专业的组织结构图!下图是一个简单的组织结构图例子，小编就以此为例，详细讲解一下好看清晰、实用的公司组织结构图是怎么画出来的。1、新建组织结构图2、创建组织结构_书本里印刷的结构图是用什么软件做的