【论文精读】Hi-Transformer 层次化和交互化的长文档建模-程序员宅基地

技术标签：自然语言处理

论文链接：https://aclanthology.org/2021.acl-short.107.pdf

Hi-Transformer: Hierarchical Interactive Transformer for Efficient and Effective Long Document Modeling

Abstract

因为输入文本长度的复杂性，Transformer难以处理长文档。

为此，提出一种分层交互式的HI-Transformer模型对长文档进行建模。

Model

整体架构如图所示：

首先经过sentence Transformer来学习每个句子的语义表示；然后结合句子的位置信息，经过Document Transformer，得到对整个文档建模的句子语义信息和Document context-aware的句子表示；然后经过sentence Transformer来增强全局上下文句子建模，得到Global contenxt-aware sentence embedding；最后经过池化（pooling）得到document embedding。

Experiments

Datasets

three benchmark document modeling datasets：

The first one is Amazon Electronics (He and McAuley, 2016)(denoted as Amazon), which is for product review rating prediction.

The second one is IMDB (Diao et al., 2014), a widely used dataset for movie re-view rating prediction.

The third one is the MIND dataset (Wu et al., 2020c), which is a large-scale dataset for news intelligence.

此外还研究了文本长度对模型性能和计算成本的影响,对比Transformer和Hi-Transformer

实验证明HI-Transformer效果更好，对长序列的性能更好。

本文链接：https://blog.csdn.net/elf1110/article/details/123881145

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

《计算机网络基础》教案_计算机网络教案-程序员宅基地

文章浏览阅读2.7k次。_计算机网络教案

智能工业-案例展示-程序员宅基地

文章浏览阅读166次。统一货物管理、货物进程监控、进出库预测等，实现仓库信息化、可视化，可预测。

Linux服务器安装VSCode_vscode linux 下载-程序员宅基地

文章浏览阅读1.1k次。bind-addr: x.x.x.x:380 --修改这里，主机ip+port。password: xxxx --修改这里。_vscode linux 下载

程序员最大的底气来自于自身的技术，不想被淘汰就一起来进阶 Android吧！_程序员技术是底气-程序员宅基地

文章浏览阅读310次。文章中只是单纯的分析个人对 Android 工程师成长的看法和认知。1、背景 - 迷茫工作 2-3 年之后，你会发现自己会迷茫，这种状态就是好像现在的工作我好像都会做了，好像没有意思了。这种迷茫源自你对现有的阶段的认识不够全面，我自认为我也在这个一阶段，很多时候觉得 Android 就那么回事。总是会有觉得 Android 穷途末路的意思。如果你真的对这个行业没有了兴致了的话，那确实不是我这么一段话能够改变你的想法的。但是我个人相信一句话：如果你能当前的行业做的不错，那么你去到其他的行业也.._程序员技术是底气

C++11 数据结构0 什么是 “数据结构“？数据，数据对象，数据元素，数据项概念。算法的基本概念和算法的度量，大O表示法，空间换时间的代码-程序员宅基地

文章浏览阅读349次。/有一个数组，统计这个数组中的数组都是由1-999 组成的，统计这个数组中那个数字出现的最多，并打印出现的次数。树的知识点是以学好前面的知识为基础的，因此要先学好前面的线性表相关的。tea[0],tea[1],arr[2],这些都是。性质相同的 "数据元素" 的集合。之间关系的，注意这门课研究的位置和方向。4.一般线性表的链式存储 --循环链表。数据元素中的每一项。2.一般线性表的链式存储 --单链表。3.一般线性表的链式存储 --双链表。特定问题的求解步骤的描述。那么具体要学些啥呢？

初学者如何阅读源码？_初学者直接看底层源码-程序员宅基地

文章浏览阅读224次。原文：How to read code – a primer原文作者：technikhil我喜欢编程，它也是我的工作，而且我很高兴能够将大部分的时间都花在开发软件上。像许多程序员一样，我既着迷但又困惑的是，我写的代码到底怎么样，以及如何写得更好。多年来，我已经阅读了许多有关软件开发的文章和书籍。其中不乏有许多墨宝（书上的或者网上的）告诉你如何提高编程，并成为一个像忍者一样的受过专业训练的编程高手！这些建议大多有一些共性，其中之一就是阅读源码。然而相比于其它建议，阅读源码通常也就是简单的一句话来概括._初学者直接看底层源码

随便推点

Java基于springboot+vue的医护人员排班系统_互联网医疗智能系统排班模块运用java-程序员宅基地

文章浏览阅读628次。随着信息技术在管理上越来越深入而广泛的应用，管理信息系统的实施在技术上已逐步成熟。本文介绍了医护人员排班系统的开发全过程。通过分析医护人员排班系统管理的不足，创建了一个计算机管理医护人员排班系统的方案。文章介绍了医护人员排班系统的系统分析部分，包括可行性分析等，系统设计部分主要介绍了系统功能设计和数据库设计。本医护人员排班系统管理员，医护。管理员功能有个人中心，医院信息管理，医护信息管理，医护类型管理，排班信息管理，排班类型管理，科室信息管理，投诉信息管理。因而具有一定的实用性。_互联网医疗智能系统排班模块运用java

【Flink】Discard registration from TaskExecutor SplitFetcher received unexpected exception_splitfetcher thread 0 received unexpected exceptio-程序员宅基地

文章浏览阅读2.6k次。FLink消费kafka 一个新的 group.id ，消费一个老 topic ，服务启动的时候，遇到了这个问题。最后发现使用这个才可以启动 ‘scan.startup.mode’ = ‘group-offsets’，无语了。worker 应该先停止了后面才报错这个的。_splitfetcher thread 0 received unexpected exception while polling the record