基于图神经网络的中文长文本自动摘要系统研究与实现_图神经网络文本摘要_Alwaysyoung00的博客-程序员宅基地

技术标签: 自然语言处理  神经网络  

基于图神经网络的中文长文本自动摘要系统研究与实现(学习中)

参考:基于图神经网络的中文医疗摘要生成

自然语言处理系列之文本自动摘要技术(七)基于神经网络的抽取式文档摘要方法

文本摘要自动生成综述

文本摘要简述

百度AI新闻摘要接口

自动文本摘要有:
extractive(抽取式的)、abstractive(生成式的)
前者是比较主流、容易的方法
1.抽取式
即从文档中抽取已有的句子形成摘要,语句压缩、组合优化。
2.生成式
生成新的句子,难度更大。

抽取式文档摘要method:

基于单一因素:

  1. 只考虑句子位置
  2. Lead Baseline:抽取一篇文档中前面几句话
  3. Coverage Baseline:轮流从不同文档中第一、第二、…,句话形成摘要。

基于启发式规则:

  1. 基于经验性公式综合考虑少数几个因素
    例如:centroid-based method (考虑了句子包含词语权重、句子位置、句子与首句相似度)

基于神经网络:

  1. 可利用神经网络模型学习词语、句子的向量表示(抽象特征)

  2. 然后利用这些特征进行排序(多文档摘要)

还有很多方法,主要学习神经网络方法。

神经网络的方法来做抽取式文档摘要

利用神经网络学习到的特征进行排序

神经网络的方法来做抽取式文档摘要,所有用分类方法和回归的方法都可以替换成神经网络。这里介绍北大和微软韦福如博士合作的一个工作,《Ranking with Recursive Neural Networks and Its Application to Multi-Document Summarization》(使用递归神经网络及其应用程序对多文档摘要进行排序),用神经网络学习句子的向量表示,把句子的向量表示这种抽样特征和传统的特征,放在一起对句子做重要性预测,得到句子重要性分数,基于这个分数去做摘要句子的选择。

基于编码器-解码器框架进行单文档摘要

另外一篇工作是2017《Neural Extractive Summarization with Side Information》,它是用神经网络做抽取式文档摘要,也就是利用神经网络来抽取句子。这篇论文提出的方法是利用编码器-解码器框架进行单文档摘要。其中编码器是对原文编码得到一个语义表示,过程是先用CNN(卷积神经网络)对句子进行编码,然后在对句子序列用RNN(循环神经网络)进行编码,相当于对整个文档进行编码。得到文档后进行解码,解码并不是解出一个词,而是要解码出一个语义序列,语义序列的长度跟文档中句子的个数是一样的。在语义序列中句子如果是0就不应该在文档摘要中,如果是1就应该在文档摘要中。当得到语义序列的时候,就可以把序列中所有为1的句子提取出来放入到摘要中就可以了。虽然这个工作是利用编码器和解码器的框架,其实它输出的是对句子选择的结果

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/Alwaysyoung00/article/details/112280871

智能推荐

git push -u origin master提交时报错Branch ‘master‘ set up to track remote branch ‘master‘ from ‘origin‘.-程序员宅基地

一、当我向GitHub远程仓库中推送本地仓库的项目进行到最后一步命令时,报了如下的错误:Branch 'master' set up to track remote branch 'master' from 'origin'.解决方法:1、添加到本地仓库git add .2、添加提交描述git commit -m ‘提交’3、提交前先从远程仓库主分支中拉取请求gitpull origin master4、把本地仓库代码提交git push -u origin master二、如何

ascii码和unicode_ú的asc-程序员宅基地

ASCII码表Unicode(UTF-8, UTF-16)我们知道计算机其实挺笨的,它只认识0101这样的字符串,当然了我们看这样的01串时肯定会比较头晕的,所以很多时候为了描述简单都用十进制,十六进制,八进制表示.实际上都是等价的,没啥太多不一样.其他啥文字图片之类的其他东东计算机不认识.那为了在计算机上表示这些信息就必须转换成一些数字.你肯定不能想怎么转换就怎么转,必须得有定些规则.于是..._ú的asc

树莓派-解决apt-get upgrade速度慢的方法[更换阿里云源]-程序员宅基地

执行 apt-get upgrade 遇到速度慢的原因: 使用国外软件源解决方法也很简单,将源换为国内环境即可,我选择阿里云步骤1.备份为 sources.listsudo cp /etc/apt/sources.list /etc/apt/sources.list.bak2.编辑sources.list 文件sudo vim /etc/apt/sources.list3.使用#注释原来的内容,并...

UML实践----用例图、类图、对象图、顺序图、协作图、状态图、活动图、组件图、配置图...-程序员宅基地

2019独角兽企业重金招聘Python工程师标准>>> ..._用例 对象 活动 协作 状态 构建 配置 类 顺序

git提交大于100MB无法推送解决-程序员宅基地

git filter-branch --tree-filter 'rm -f 【大文件路径】/*.jar' --tag-name-filter cat -- --allgit push origin --tags --forcegit push origin --all --force

Android Service学习心得总结-程序员宅基地

学习了郭大神关于Service的讲解,顿时醍醐灌顶,豁然开朗,对Service有了更深层的理解,趁热打铁把所学的知识记录下来,也算是一种复习加深记忆的好办法。开发环境:Android Studio 2.3.3一、Service的基础知识Service是Android四大组件之一,主要用于在后台处理一些比较费时间的任务,也可用于前台处理,比如天气的显示在StatusBar中。Service特点:主要

随便推点

PyQt5高级界面控件之QScrollBar(十)_pyqt5 qscrollbar-程序员宅基地

QScrollBar前言可以看到,前面介绍的几个窗口控件的共同点是新建一些窗口来装载更多的控件,而QScrollBar提供了另一种思路:这个控件提供水平的或垂直的滚动条,这样可以扩大当前窗口的有效装载面积,从而装载更多的控件QScrollBar类中常用的信号信号含义valueChanged当滑动条的值改变发射此信号sliderMoved当用户拖动滑块时发射此信号实例:QScrollBar的使用import sysfrom PyQt5.QtWidgets imp_pyqt5 qscrollbar

python 实现IP开放端口探测与是否部署WEB服务探测_怎么判断某个ip是否存在web界面-程序员宅基地

由于工作中需要对多个IP段进行统计,并判断是否部署WEB服务,所以有了写这个脚本的想法。在中间测试脚本的时候,遇到了个坑,我在自己的电脑上运行脚本的时候,没有任何问题。但是当我放到我的服务器上去运行的时候,python在请求了几个站点之后就开始报错了。ConnectionResetError: [Errno 104] Connection reset by peer经过度娘,谷歌的一阵搜索,..._怎么判断某个ip是否存在web界面

【vue回顾系列】14-Router的基本使用_logware的router_庞囧的博客-程序员宅基地

文章目录前言在router/index.js中配置路由别名嵌套路由命名视图路由重定向路由meta动态路由匹配在模板router-link自带属性修改触发事件修改默认标签类型添加触发样式router-view自带属性加样式页面跳转方法通过标签跳转--声明式导航通过方法跳转--编程式导航this.$router.push()this.$router.replace()this.$router.back()this.$router.forword()this.$router.go()前言由于篇幅限制,就先不讲_logware的router

opencv 截屏录屏_opencv处理屏幕控件截图的代码示例-程序员宅基地

opencv截屏参考这篇文章:https://blog.csdn.net/qq_18984151/article/details/79231953opencv录屏:#include <iostream> #include<opencv2/opencv.hpp>#include <windows.h>using namespace cv;usi..._opencv处理屏幕控件截图的代码示例

docker镜像仓库配置_docker 增加镜像仓库-程序员宅基地

1、修改配置文件 vi /etc/docker/daemon.json 添加内容: { "registry-mirrors": ["https://registry.docker-cn.com"] }2.创建并修改完daemon.json文件后,需要让这个文件生效 修改完成后reload配置文件 sudo syst..._docker 增加镜像仓库