独家 | 图解BiDAF中的单词嵌入、字符嵌入和上下文嵌入（附链接）-程序员宅基地

640?wx_fmt=png

作者：Meraldo Antonio

翻译：张玲

校对：吴金笛

本文约5200字，建议阅读15分钟。

本文重点讲解机器问答任务中常见机器学习模型BiDAF是如何利用单词、字符和上下文3种嵌入机制将单词转化为向量形式，同时包括单词的句法、语义和上下文信息的。

BiDAF(Bi-Directional Attention Flow，双向注意力流)是一种常用的问答任务机器学习模型，本文演示了BiDAF是如何使用三种嵌入机制将单词转化为向量形式的。

640?wx_fmt=png

本文是图解双向注意力流（BiDAF）工作原理系列文章（共4篇）中的第二篇，BiDAF是一种常用的问答任务机器学习模型。

系列文章

https://arxiv.org/abs/1611.01603

概括的说，BiDAF是一个封闭域的抽取式问答模型。这意味着为了能够回答一个Query，BiDAF需要查阅包含回答查询所需信息的随附文本，这个随附的文本被称为Context。BiDAF的工作原理是从上下文中提取一个能够最好Answer查询的子串，这就是我们所说的“对查询的回答”。我有意将单词Query、Context和Answer大写，表示我在本文中使用他们时特指他们的专业技术能力。

640?wx_fmt=png

本系列的第一篇文章介绍了BiDAF的框架。 在本文中，我们将关注BiDAF体系结构中的第一部分-当模型接收到一个传入的Query及其附带文本时，第一件要做的事。为了便于学习，文末提供了这些步骤中包含的数学符号词汇表。让我们了解下相关步骤吧！

步骤1 符号化

在BiDAF中，首先对传入的Query和Context进行标记，即符号化，将这两个长字符串分解为他们的构成词。在BiDAF论文中，符号T和J分别表示Context和Query中单词的数量。下面是符号化的描述：

640?wx_fmt=png

步骤2 单词嵌入

对步骤1得到的单词进行嵌入处理，并将其转化为数字向量。这些向量捕捉单词的语法功能（语法）和含义（语义），便于我们能够对它们进行各种数学计算。在BiDAF中，可以完成3个粒度级别上的嵌入：字符、单词和上下文。现在让我们关注第1个嵌入层-单词嵌入。

在最开始的BiDAF中单词嵌入算法使用的是GloVe，本文中，我只简要介绍它，因为已经有一些优秀的资源对它的工作过程进行了解释。如果你缺少时间深入理解详情，这里有一个非常简单的、关于GloVe的总结：

GloVe

https://nlp.stanford.edu/projects/glove/

优秀的资源

http://mlexplained.com/2018/04/29/paper-dissected-glove-global-vectors-for-word-representation-explained/

GloVe是一种无监督学习算法，利用单词在语料库中的共现频率来生成单词的向量表示，这些向量以数字的形式表示了单词不同方面的含义。

GloVe向量中的数字封装了单词的语义和语法信息，因此，我们可以使用这些向量执行一些很酷的操作！例如，如下图所示，我们可以使用减法来查询单词的同义词。

本文链接：https://blog.csdn.net/tMb8Z9Vdm66wH68VX1/article/details/102426910

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

渗透攻防Web篇-SQL注入攻击初级_class=1 攻击-程序员宅基地

文章浏览阅读498次。前言不管用什么语言编写的Web应用，它们都用一个共同点，具有交互性并且多数是数据库驱动。在网络中，数据库驱动的Web应用随处可见，由此而存在的SQL注入是影响企业运营且最具破坏性的漏洞之一，这里我想问，我们真的了解SQL注入吗？看完本篇文章希望能让你更加深刻的认识SQL注入。目录第一节注入攻击原理及自己编写注入点 1.1、什么是SQL？ 1.2、什么是SQL注入？ 1.3、SQL注入是怎么样产生的？ 1.4、编写注入点第二节寻找及确认SQL注入 2.1、推理测试法 2.2、a_class=1 攻击

未解析成员“MySql.Data.MySqlClient.MySqlException,MySql.Data, Version=6.9.9.0, Culture=neutral, PublicKeyT-程序员宅基地

文章浏览阅读3.3k次。不知道为毛，Windows10突然乱码了。。。于是重新装了一下系统，然后打开一个基于CodeFirst连接mysql的项目文件。。。然后Update-Database 我曹。。。。。。System.Runtime.Serialization.SerializationException: 未解析成员“MySql.Data.MySqlClient.MySqlException,MySql.Data_mysql.data, version=6.9.9.0

【HTTP】Fiddler（二） - 使用Fiddler做抓包分析_3)使用fiddler分析http请求-程序员宅基地

文章浏览阅读262次。转载：https://blog.csdn.net/ohmygirl/article/details/17849983上文( http://blog.csdn.net/ohmygirl/article/details/17846199 )中已经介绍了Fiddler的原理和软件界面。本文主要针对Fiddler的抓包处理。Fiddler抓取HTTP请求。抓包是Fiddler..._3)使用fiddler分析http请求

Ceres 详解（一） Problem类_对‘ceres::problem::addparameterblock(double*, int, -程序员宅基地

文章浏览阅读4.1k次，点赞6次，收藏55次。引言Ceres 是由Google开发的开源C++通用非线性优化库（项目主页），与g2o并列为目前视觉SLAM中应用最广泛的优化算法库（VINS-Mono中的大部分优化工作均基于Ceres完成）。Ceres中的有限边界最小二乘问题建模为以下形式：Ceres的求解过程包括构：建最小二乘和求解最小二乘问题两部分，其中构建最小二乘问题的相关方法均包含在Ceres::Problem类中，涉及的成员函数主要包括 Problem::AddResidualBlock()和 Problem::AddP_对‘ceres::problem::addparameterblock(double*, int, ceres::localparameteriza

2022哈工大计算机系统大作业_郭仁恺-程序员宅基地

文章浏览阅读265次。摘要本文分析了hello程序的整个运行生命周期。首先编写hello.c源程序，之后运行C预处理器对其进行预处理，得到hello.i文件，运行C编译器将翻译生成汇编语言文件hello.s，然后运行汇编器将其翻译成一个可重定位目标文件hello.o，最后运行链接器程序将hello.o和系统目标文件组合起来，就可以创建一个可执行目标文件hello。在shell接收到输入的./hello的指令后开始调用fork函数创建进程，execve加载hello进入内存，由CPU控制程序逻辑流的运行，中断，上下文切换和._郭仁恺

【C/C++】JAVA与C/C++ AES加密算法同步_botan c++ aes java 互通-程序员宅基地

文章浏览阅读4.6k次。此处我们使用的是AES的基础加密模式，即：电码本模式 ECBJAVA代码如下： //创建AES加密实例 SecretKeySpec skeySpec = new SecretKeySpec(keyBytes, "AES"); Cipher cip = Cipher.getInstance("AES/ECB/NoPadding");//算法/模式/补码方式 cip.init(C_botan c++ aes java 互通

随便推点

Java——List.forEach()实现continue与break功能_java foreach continue-程序员宅基地

文章浏览阅读1.2w次，点赞5次，收藏3次。问题：java中List.forEach()无法实现continue和break功能。代码：package com.ziling.mianshi;import java.util.ArrayList;import java.util.List;/** * @Author: yipeng * @Date: 2021/7/21 11:34 */public class ForEachTest { public static void main(String[] args_java foreach continue