技术标签: 自然语言处理
论文链接:https://aclanthology.org/2021.acl-short.107.pdf
Hi-Transformer: Hierarchical Interactive Transformer for Efficient and Effective Long Document Modeling
因为输入文本长度的复杂性,Transformer难以处理长文档。
为此,提出一种分层交互式的HI-Transformer模型对长文档进行建模。
整体架构如图所示:
首先经过sentence Transformer来学习每个句子的语义表示;然后结合句子的位置信息,经过Document Transformer,得到对整个文档建模的句子语义信息和Document context-aware的句子表示;然后经过sentence Transformer来增强全局上下文句子建模,得到Global contenxt-aware sentence embedding;最后经过池化(pooling)得到document embedding。
three benchmark document modeling datasets:
The first one is Amazon Electronics (He and McAuley, 2016)(denoted as Amazon), which is for product review rating prediction.
The second one is IMDB (Diao et al., 2014), a widely used dataset for movie re-view rating prediction.
The third one is the MIND dataset (Wu et al., 2020c), which is a large-scale dataset for news intelligence.
此外还研究了文本长度对模型性能和计算成本的影响,对比Transformer和Hi-Transformer
实验证明HI-Transformer效果更好,对长序列的性能更好。
文章浏览阅读2.7k次。_计算机网络教案
文章浏览阅读166次。统一货物管理、货物进程监控、进出库预测等,实现仓库信息化、可视化,可预测。
文章浏览阅读1.1k次。bind-addr: x.x.x.x:380 --修改这里,主机ip+port。password: xxxx --修改这里。_vscode linux 下载
文章浏览阅读310次。文章中只是单纯的分析个人对 Android 工程师成长的看法和认知。1、背景 - 迷茫工作 2-3 年之后,你会发现自己会迷茫,这种状态就是好像现在的工作我好像都会做了,好像没有意思了。这种迷茫源自你对现有的阶段的认识不够全面,我自认为我也在这个一阶段,很多时候觉得 Android 就那么回事。总是会有觉得 Android 穷途末路的意思。如果你真的对这个行业没有了兴致了的话,那确实不是我这么一段话能够改变你的想法的。但是我个人相信一句话:如果你能当前的行业做的不错,那么你去到其他的行业也.._程序员技术是底气
文章浏览阅读349次。/有一个数组,统计这个数组中的数组都是由1-999 组成的,统计这个数组中那个 数字出现的最多,并打印出现的次数。树的知识点是以学好前面的知识为基础的,因此要先学好前面的线性表 相关的。tea[0],tea[1],arr[2],这些都是。性质相同的 "数据元素" 的集合。之间关系的,注意这门课研究的位置和方向。4.一般线性表的链式存储 --循环链表。数据元素中的每一项。2.一般线性表的链式存储 --单链表。3.一般线性表的链式存储 --双链表。特定问题的求解步骤的描述。那么具体要学些啥呢?
文章浏览阅读224次。原文:How to read code – a primer原文作者:technikhil我喜欢编程,它也是我的工作,而且我很高兴能够将大部分的时间都花在开发软件上。像许多程序员一样,我既着迷但又困惑的是,我写的代码到底怎么样,以及如何写得更好。多年来,我已经阅读了许多有关软件开发的文章和书籍。其中不乏有许多墨宝(书上的或者网上的)告诉你如何提高编程,并成为一个像忍者一样的受过专业训练的编程高手!这些建议大多有一些共性,其中之一就是阅读源码。然而相比于其它建议,阅读源码通常也就是简单的一句话来概括._初学者直接看底层源码
文章浏览阅读628次。随着信息技术在管理上越来越深入而广泛的应用,管理信息系统的实施在技术上已逐步成熟。本文介绍了医护人员排班系统的开发全过程。通过分析医护人员排班系统管理的不足,创建了一个计算机管理医护人员排班系统的方案。文章介绍了医护人员排班系统的系统分析部分,包括可行性分析等,系统设计部分主要介绍了系统功能设计和数据库设计。本医护人员排班系统管理员,医护。管理员功能有个人中心,医院信息管理,医护信息管理,医护类型管理,排班信息管理,排班类型管理,科室信息管理,投诉信息管理。因而具有一定的实用性。_互联网医疗智能系统排班模块运用java
文章浏览阅读2.6k次。FLink消费kafka 一个新的 group.id ,消费一个老 topic ,服务启动的时候,遇到了这个问题。最后发现 使用这个才可以启动 ‘scan.startup.mode’ = ‘group-offsets’,无语了。worker 应该先停止了 后面才报错这个的。_splitfetcher thread 0 received unexpected exception while polling the record
文章浏览阅读4.2k次,点赞11次,收藏19次。Linux桌面图标切换目录_ubuntu如何进入usr目录
文章浏览阅读579次。css实现居中对齐的方式_cssdiv居中对齐
文章浏览阅读444次。大家好,欢迎收看 Conflux Chain Webinar。在上周的视频中,我们为大家介绍了由对网络的带宽要求、全节点同步、效率目标(>2万笔交易每秒)这三者组成的带宽不可能三角。这三..._tv-62ccw
文章浏览阅读1.8k次。1 致谢感谢菜鸟教程的指导,原文链接如下:https://www.runoob.com/python/att-string-format.html2 前言今天在学习Python中的函数式编程~在学习map()函数时,廖老师给出了这样一个作业:把用户输入的不规范的英文名字,变为首字母大写,其他小写的规范名字。输入:['adam', 'LISA', 'barT'],输出:['..._如果姓名的首字母是小写字母,请将其转化为大写字母,并输出这个名字