技术标签: 机器学习 关系抽取 深度学习 自然语言处理 数据挖掘
论文地址: An Improved Baseline for Sentence-level Relation Extraction
目前的句子级的关系抽取任务效果,还有远远达不到人工的效果。
本文反思已有模型并指出两个被忽视的方面:
最后提出一个经过改善的句子级关系抽取模型:
本文模型再TACRED数据集上的F1达到75.0%,高出SOTA模型2.3%。
本文的RE模型主要是扩展了之前的 基于tranformer3的关系抽取4。
针对实体表示的多个问题,本文对比了多个实体表示方法,包括Entity mask5、Entity marker6、Entity marker (punct) 7、Typed entity marker8、Typed entity marker (punct)(本文提出的):
上图想说明的是:
另一方面,对于新实体的推理方面。之前的工作9表明:实体名字可能对关系类型缺乏启发性,并且只用实体对作为输入能达到更高的效果,因此建议RE分类器不使用entity mark可能对未遇见地实体不具有较好适用性。
但是,使用entity mask又会导致缺失实体信息,无法将实体信息更好学习10 11 12;如果不考虑实体的名字,那么任务不能通过外部知识库进行优化提高。
因此本文提出一个过滤评价(Filtered evaluation setting):对测试及进行筛选,筛选出其实体在训练集没出现过的的测试数据作为过滤测试集(Filtered test set)。然后评估结果如下图:
结论是:Typed Entity Marker(OURS)的效果依然比Entity Mask.
接下来解决第二个问题:实际上,大量的数据都是NA类别数据,TACRED数据集中78.7%都是NA。
已有的解决方法是:使用一个额外的类别,如果分类为NA的概率大于分类为其他类别的概率,那么就分类为NA。
本文方法:使用基于置信度的分类模型,如果一个样本有对应类别关系,就给与较高的置信分,低于置信分的样本则被分为NA类别。本文方法类似于Bendale和Dhamija的开放数据集的分类13 14 和Liang的OOV检测15.我们给定一个句子 x x x,计算出每个类别的分类概率 p ∈ R ∣ R ∣ p \in \mathbb {R}^{|\mathcal R|} p∈R∣R∣和置信分数 c = m a x r ∈ R p r c= max_{r \in\mathbb {R}}p_r c=maxr∈Rpr,通过最大的分类概率确定对应的类别。
为了保证本文方法可行,要有两个条件:
(说了跟没说一样)
前者通过交叉熵损失函数已经实现,后者直接取最小化置信分又会导致优化不足,因此在“样本类别对应最大分类概率”动手脚,替代原来的置信分:
c s u p = ∑ r ∈ R p r 2 c_{sup} = \sum_{r \in \mathcal R} p^2_r csup=r∈R∑pr2
L c o n f = l o g ( 1 − c s u p ) \mathcal{L} _{conf} = log (1-c_{sup}) Lconf=log(1−csup)
其中,根据高数的知识得出 c = m a x r ∈ R p r ⩽ c s u p c= max_{r \in\mathbb {R}}p_r \leqslant \sqrt{c_{sup}} c=maxr∈Rpr⩽csup,最小化上述函数就相当于最小化c,这回使得训练更加稳定。然后用上述函数对关系 r r r的逻辑 l r l_r lr进行求导得到:
∂ L c o n f l r = − 2 p r ( p r − ∑ r ∈ R p r 2 ) 1 − ∑ r ∈ R p r 2 \frac {\partial \mathcal{L} _{conf}} {l_r}= - \frac {2p_r(p_r - \sum_{r \in \mathcal R}p^2_r)} {1- \sum_{r \in \mathcal R}p^2_r} lr∂Lconf=−1−∑r∈Rpr22pr(pr−∑r∈Rpr2)
并且:
训练结果如图:
比基线模型16F1高出0.5%。
Zexuan Zhong and Danqi Chen. 2020. A frustratingly easy approach for joint entity and relation extraction.arXiv preprint arXiv:2010.12812. ︎
Iris Hendrickx, Su Nam Kim, Zornitsa Kozareva,Preslav Nakov, Diarmuid O S´eaghdha, Sebastian Pad ´o, Marco Pennacchiotti, Lorenza Romano, and Stan Szpakowicz. 2019. Semeval-2010 task 8: Multi-way classification of semantic relations between pairs of nominals. arXiv preprint arXiv:1911.10422. ︎
Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. 2019. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pages 4171–4186, Minneapolis, Minnesota. Association for Computational Linguistics. ︎
Livio Baldini Soares, Nicholas FitzGerald, Jeffrey Ling, and Tom Kwiatkowski. 2019. Matching the blanks: Distributional similarity for relation learning. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pages 2895–2905, Florence, Italy. Association for Computational Linguistics. ︎
Yuhao Zhang, Victor Zhong, Danqi Chen, Gabor Angeli, and Christopher D. Manning. 2017.Positionaware attention and supervised data improve slot filling. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing,pages 35–45, Copenhagen, Denmark. Association for Computational Linguistics. ︎
Livio Baldini Soares, Nicholas FitzGerald, Jeffrey Ling, and Tom Kwiatkowski. 2019. Matching the blanks: Distributional similarity for relation learning. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pages 2895–2905, Florence, Italy. Association for Computational Linguistics. ︎
Ruize Wang, Duyu Tang, Nan Duan, Zhongyu Wei, Xuanjing Huang, Cuihong Cao, Daxin Jiang, Ming Zhou, et al. 2020. K-adapter: Infusing knowledge into pre-trained models with adapters. arXiv preprint arXiv:2002.01808. ︎
Zexuan Zhong and Danqi Chen. 2020. A frustratingly easy approach for joint entity and relation extraction. arXiv preprint arXiv:2010.12812. ︎
Yuhao Zhang, Peng Qi, and Christopher D. Manning. 2018. Graph convolution over pruned dependency trees improves relation extraction. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pages 2205–2215, Brussels, Belgium. Association for Computational Linguistics. ︎
Zhengyan Zhang, Xu Han, Zhiyuan Liu, Xin Jiang, Maosong Sun, and Qun Liu. 2019. ERNIE: Enhanced language representation with informative entities. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pages 1441–1451, Florence, Italy. Association for Computational Linguistics. ︎
Matthew E. Peters, Mark Neumann, IV RobertLLogan, Roy Schwartz, V. Joshi, Sameer Singh, and Noah A. Smith. 2019. Knowledge enhanced contextual word representations. In EMNLP/IJCNLP. ︎
Ruize Wang, Duyu Tang, Nan Duan, Zhongyu Wei, Xuanjing Huang, Cuihong Cao, Daxin Jiang, Ming Zhou, et al. 2020. K-adapter: Infusing knowledge into pre-trained models with adapters. arXiv preprint arXiv:2002.01808. ︎
Abhijit Bendale and Terrance E Boult. 2016. Towards open set deep networks. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 1563–1572. ︎
Akshay Raj Dhamija, Manuel G ¨unther, and Terrance E Boult. 2018. Reducing network agnostophobia. In NeurIPS. ︎
Shiyu Liang, Yixuan Li, and R Srikant. 2018. Enhancing the reliability of out-of-distribution image detection in neural networks. In International Conference on Learning Representations. ︎
Livio Baldini Soares, Nicholas FitzGerald, Jeffrey Ling, and Tom Kwiatkowski. 2019. Matching the blanks: Distributional similarity for relation learning. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pages 2895–2905, Florence, Italy. Association for Computational Linguistics ︎
文章浏览阅读645次。这个肯定是末尾的IDAT了,因为IDAT必须要满了才会开始一下个IDAT,这个明显就是末尾的IDAT了。,对应下面的create_head()代码。,对应下面的create_tail()代码。不要考虑爆破,我已经试了一下,太多情况了。题目来源:UNCTF。_攻防世界困难模式攻略图文
文章浏览阅读2.9k次,点赞3次,收藏10次。偶尔会用到,记录、分享。1. 数据库导出1.1 切换到dmdba用户su - dmdba1.2 进入达梦数据库安装路径的bin目录,执行导库操作 导出语句:./dexp cwy_init/[email protected]:5236 file=cwy_init.dmp log=cwy_init_exp.log 注释: cwy_init/init_123..._达梦数据库导入导出
文章浏览阅读1.9k次。1. 在官网上下载KindEditor文件,可以删掉不需要要到的jsp,asp,asp.net和php文件夹。接着把文件夹放到项目文件目录下。2. 修改html文件,在页面引入js文件:<script type="text/javascript" src="./kindeditor/kindeditor-all.js"></script><script type="text/javascript" src="./kindeditor/lang/zh-CN.js"_kindeditor.js
文章浏览阅读2.3k次,点赞6次,收藏14次。SPI的详情简介不必赘述。假设我们通过SPI发送0xAA,我们的数据线就会变为10101010,通过修改不同的内容,即可修改SPI中0和1的持续时间。比如0xF0即为前半周期为高电平,后半周期为低电平的状态。在SPI的通信模式中,CPHA配置会影响该实验,下图展示了不同采样位置的SPI时序图[1]。CPOL = 0,CPHA = 1:CLK空闲状态 = 低电平,数据在下降沿采样,并在上升沿移出CPOL = 0,CPHA = 0:CLK空闲状态 = 低电平,数据在上升沿采样,并在下降沿移出。_stm32g431cbu6
文章浏览阅读1.2k次,点赞2次,收藏8次。数据链路层习题自测问题1.数据链路(即逻辑链路)与链路(即物理链路)有何区别?“电路接通了”与”数据链路接通了”的区别何在?2.数据链路层中的链路控制包括哪些功能?试讨论数据链路层做成可靠的链路层有哪些优点和缺点。3.网络适配器的作用是什么?网络适配器工作在哪一层?4.数据链路层的三个基本问题(帧定界、透明传输和差错检测)为什么都必须加以解决?5.如果在数据链路层不进行帧定界,会发生什么问题?6.PPP协议的主要特点是什么?为什么PPP不使用帧的编号?PPP适用于什么情况?为什么PPP协议不_接收方收到链路层数据后,使用crc检验后,余数为0,说明链路层的传输时可靠传输
文章浏览阅读587次。软件测试工程师移民加拿大 无证移民,未受过软件工程师的教育(第1部分) (Undocumented Immigrant With No Education to Software Engineer(Part 1))Before I start, I want you to please bear with me on the way I write, I have very little gen...
文章浏览阅读304次。Thinkpad X250笔记本电脑,装的是FreeBSD,进入BIOS修改虚拟化配置(其后可能是误设置了安全开机),保存退出后系统无法启动,显示:secure boot failed ,把自己惊出一身冷汗,因为这台笔记本刚好还没开始做备份.....根据错误提示,到bios里面去找相关配置,在Security里面找到了Secure Boot选项,发现果然被设置为Enabled,将其修改为Disabled ,再开机,终于正常启动了。_安装完系统提示secureboot failure
文章浏览阅读10w+次,点赞93次,收藏352次。1、用strtok函数进行字符串分割原型: char *strtok(char *str, const char *delim);功能:分解字符串为一组字符串。参数说明:str为要分解的字符串,delim为分隔符字符串。返回值:从str开头开始的一个个被分割的串。当没有被分割的串时则返回NULL。其它:strtok函数线程不安全,可以使用strtok_r替代。示例://借助strtok实现split#include <string.h>#include <stdio.h&_c++ 字符串分割
文章浏览阅读2.3k次。1 .高斯日记 大数学家高斯有个好习惯:无论如何都要记日记。他的日记有个与众不同的地方,他从不注明年月日,而是用一个整数代替,比如:4210后来人们知道,那个整数就是日期,它表示那一天是高斯出生后的第几天。这或许也是个好习惯,它时时刻刻提醒着主人:日子又过去一天,还有多少时光可以用于浪费呢?高斯出生于:1777年4月30日。在高斯发现的一个重要定理的日记_2013年第四届c a组蓝桥杯省赛真题解答
文章浏览阅读851次,点赞17次,收藏22次。摘要:本文利用供需算法对核极限学习机(KELM)进行优化,并用于分类。
文章浏览阅读1.1k次。一、系统弱密码登录1、在kali上执行命令行telnet 192.168.26.1292、Login和password都输入msfadmin3、登录成功,进入系统4、测试如下:二、MySQL弱密码登录:1、在kali上执行mysql –h 192.168.26.129 –u root2、登录成功,进入MySQL系统3、测试效果:三、PostgreSQL弱密码登录1、在Kali上执行psql -h 192.168.26.129 –U post..._metasploitable2怎么进入
文章浏览阅读257次。本文将为初学者提供Python学习的详细指南,从Python的历史、基础语法和数据类型到面向对象编程、模块和库的使用。通过本文,您将能够掌握Python编程的核心概念,为今后的编程学习和实践打下坚实基础。_python人工智能开发从入门到精通pdf