序列标注NER、POS、Chunking、SRL-程序员宅基地
技术标签： POS 自然语言处理 NER Chunking SRL
序列标注概念
序列标注（Sequence Tagging）是NLP中最基础的任务，应用十分广泛。
如以下内容：
分词
命名实体识别（Named Entity Recognition，NER）
词性标注（Part-of-Speech Tagging，POS tagging）
组块分析（Chunking）
N词汇顺序标注（N-gram）
关键词抽取
语义角色标注（Semantic Role Labeling，SRL）
槽位抽取（Slot Filling）
…
NER
NER主要识别文本中具有特定意义的实体，主要包括人名、地名、机构名、专有名词等。通常为待处理文本中三大类（实体类、时间类和数字类）、七小类（人名、机构名、地名、时间、日期、货币和百分比）命名实体。
通常包括两部分：
- 实体边界识别。
- 确定实体类别（人名、地名、机构名或其他）。
NER标签类型
进行命名实体识别时，通常需要对每个字进行标注，中文为单个字，英文为单词，空格分割。标注的标签类型如下表所示：
| 类型 | 说明 |
|---|---|
| B | Begin，代表实体片段的开始 |
| I | Internediate，代表实体片段的中间 |
| M | Middle，代表实体片段的中间 |
| E | End，代表实体片段的结束 |
| S | Single，代表实体片段为单个字 |
| O | Other，代表字符不为任何实体 |
NER序列标注的三种方法
实体识别三种常见的序列标注方法如下：
- BIO：标识实体的开始，中间部分和非实体部分。
B-begin，I-inside，O-outside
B-X：代表实体X的开头
I-X：代表实体X的中间或结尾
O：代表不属于任何类型的
我 O
是 O
张 B-PER
某 I-PER
三 I-PER
， O
我 O
在 O
天 B-ORG
安 I-ORG
门 I-ORG
。 O
- BMES：增加S单个实体情况的标注。
B-begin，M-middle，E-end，S-single
B表示一个词的词首位值。
M表示一个词的中间位置。
E表示一个词的末尾位置。
S表示一个单独的字词。
我 S
是 S
北 B
京 M
人 E
- BIOSE：增加E实体的结束标识。
B-begin，I-inside，O-outside，E-end，S-single
B表示开始
I表示内部
O表示非实体
E表示实体尾部
S表示改词本身就是一个实体
POS
POS主要用于标记出待处理文本中每个词的词性。
POS标签类型
主要标注的标签类型如下表所示：
| 类型 | 说明 | 包含词性 |
|---|---|---|
| N | 名词 | NN, NNP, NNPS, FW |
| V | 动词 | VB, VBD, VBG, VBN, VBP, VBZ |
| ADJ | 形容词 | JJ, JJR, JJS |
| ADV | 副词 | RB, RBR, RBS |
POS详解标注
| 类型 | 说明 |
|---|---|
| CC | Coordinating conjunction 连词 |
| CN | Cardinal Number 基数 |
| DT | Determiner 限定词（the、some） |
| EX | existential 存在句（there） |
| FW | 外来词 |
| IN | Preposision or subordinating conjunction 介词或从属连词 |
| JJ | Adjective 形容词或序数词 |
| JJR | Adjective, comparative 形容词比较级 |
| JJS | Adjective, superlative 形容词最高级 |
| LS | List item marker 列表标示 |
| MD | Modal 情态助动词 |
| NN | Noun, singular or mass 常用名词 单数形式 |
| NNS | Noun, plural 常用名词 复数形式 |
| NNP | Proper noun, singular 专有名词，单数形式 |
| NNPS | Proper noun, plural 专有名词，复数形式 |
| PDT | Predeterminer 前位限定词 |
| POS | Possessive ending 所有格结束词 |
| PRP | Personal pronoun 人称代词 |
| PRP$ | Possessive pronoun 所有格代名词 |
| RB | Adverb 副词 |
| RBR | Adverb, comparative 副词比较级 |
| RBS | Adverb, superlative 副词最高级 |
| RP | Particle 小品词 |
| SYM | Symbol 符号 |
| TO | to 作为介词或不定式格式 |
| UH | Interjection 感叹词 |
| VB | Verb, base form 动词基本形式 |
| VBD | Verb, past tense 动词过去式 |
| VBG | Verb, gerund or present participle 动名词和现在分词（ing） |
| VBN | Verb, past participle 过去分词 |
| VBP | Verb, non-3rd person singular present 动词非第三人称单数 |
| VBZ | Verb, 3rd person singular present 动词第三人称单数 |
| WDT | Wh-determiner 限定词（如关系限定词：whose,which.疑问限定词：what,which,whose） |
| WP | Wh-pronoun 代词（who whose which） |
| WP$ | Possessive wh-pronoun 所有格代词 |
| WRB | Wh-adverb 疑问代词（how where when） |
Chunking
组块分析是从非结构化文本中提取短语的过程。相对于POS-Tagging来说，POS-Tagging返回了解析树的最底层，就是一个个单词。但是有时候你需要的是几个单词构成的名词短语，而非个个单词，在这种情况下，您可以使用chunker获取需要的信息，而不是浪费时间为句子生成完整的解析树。举个例子(中文)：与其要单个字，不如要一个词，例如，将“南非”之类的短语作为一个单独的词，而不是分别拆成“南”和“非”去理解。
组块分析是可以接着词性标注工作继续完成，它使用词性标注作为输入，并提供分析好的组块做为输出。与词性标注的标签类似，它也有一组标准的组块标签，如名词短语（np）、动词短语（vp）等，当你想从诸如位置，人名等文本中提取信息时，分块是非常重要的。在NLP中，称为命名实体识别，举个例子“李雷的杯子”是分块分出的一个短语，而抽取“李雷”这个人名，就是命名体识别。所以，组块分析也是命名体识别的基础。
Chunking标签类型
NP（名词短语）：NP是NLP组块分析中最为复杂的一种结构。名词短语是指中心词为名词所构成的短语，其语法功能相当于名词性成分，一般可以在句子中充当主语、宾语、定语等。从语法的角度来讲，该结构具有两种含义，一种是值按句法成分构成的短语；另一种是指知识库中的实体和属性，这种组块称为baseNP。
VP（动词短语）：是以动词为中心，与其修饰、限定或并列成分共同构成的一种语义组块，除中心动词表达的行为之外，其修饰和限定成分更明确和具体化动作的语义。
QP（数词短语）：由数量词构成的短语结构。
DP（限定词短语）：一般用于修饰NP或限定QP，可以作为复合NP子结构。
ADJP（形容词短语）：其所修饰的名词中心语总是要先投射成一个NP。
DNP：由多种类型的短语加上（DEG的）构成。它们总是出现在NP的上下文中。（DEG的）出表示它前面的短语为NP的修饰语之外，没有其他作用。DNP常被看作一种复合的NP结构。
ADVP（副词短语）：常用作动词的修饰语。
PP（介词短语）
LCP：处所词为中心语的短语
SRL
语义角色标注是一种浅层语义分析技术，以句子为单位，分析句子的谓词-论元结构，不对句子所包含的语义信息进行深入分析。具体来说，语义角色标注的任务就是以句子的谓词为中心，研究句子中各成分与谓词之间的关系，并且用语义角色来描述他们之间的关系。
例：奥巴马昨晚在白宫发表了演说。
谓词 “发表”
施事 “奥巴马”
受事 “演说”
时间 “昨晚”
地点 “在白宫”
SRL标签类型
智能推荐
C#连接OPC C#上位机链接PLC程序源码 1.该程序是通讯方式是CSharp通过OPC方式连接PLC_c#opc通信-程序员宅基地
文章浏览阅读565次。本文主要介绍如何使用C#通过OPC方式连接PLC，并提供了相应的程序和学习资料，以便读者学习和使用。OPC服务器是一种软件，可以将PLC的数据转换为标准的OPC格式，允许其他软件通过标准接口读取或控制PLC的数据。此外，本文还提供了一些学习资料，包括OPC和PLC的基础知识，C#编程语言的教程和实例代码。这些资料可以帮助读者更好地理解和应用本文介绍的程序。1.该程序是通讯方式是CSharp通过OPC方式连接PLC，用这种方式连PLC不用考虑什么种类PLC，只要OPC服务器里有的PLC都可以连。_c#opc通信
Hyper-V内的虚拟机复制粘贴_win10 hyper-v ubuntu18.04 文件拷贝-程序员宅基地
文章浏览阅读1.6w次，点赞3次，收藏10次。实践环境物理机：Windows10教育版，操作系统版本 17763.914虚拟机：Ubuntu18.04.3桌面版在Hyper-V中的刚安装好Ubuntu虚拟机之后，会发现鼠标滑动很不顺畅，也不能向虚拟机中拖拽文件或者复制内容。在VMware中，可以通过安装VMware tools来使物理机和虚拟机之间达到更好的交互。在Hyper-V中，也有这样的工具。这款工具可以完成更好的鼠标交互，我的..._win10 hyper-v ubuntu18.04 文件拷贝
java静态变量初始化多线程，持续更新中_类初始化一个静态属性 为线程池-程序员宅基地
文章浏览阅读156次。前言互联网时代，瞬息万变。一个小小的走错，就有可能落后于别人。我们没办法去预测任何行业、任何职业未来十年会怎么样，因为未来谁都不能确定。只能说只要有互联网存在，程序员依然是个高薪热门行业。只要跟随着时代的脚步，学习新的知识。程序员是不可能会消失的，或者说不可能会没钱赚的。我们经常可以听到很多人说，程序员是一个吃青春饭的行当。因为大多数人认为这是一个需要高强度脑力劳动的工种，而30岁、40岁，甚至50岁的程序员身体机能逐渐弱化，家庭琐事缠身，已经不能再进行这样高强度的工作了。那么，这样的说法是对的么？_类初始化一个静态属性 为线程池
idea 配置maven，其实不用单独下载Maven的。以及设置新项目配置，省略每次创建新项目都要配置一次Maven_安装idea后是不是不需要安装maven了?-程序员宅基地
文章浏览阅读1w次，点赞13次，收藏43次。说来也是惭愧，一直以来，在装环境的时候都会从官网下载Maven。然后再在idea里配置Maven。以为从官网下载的Maven是必须的步骤，直到今天才得知，idea有捆绑的 Maven 我们只需要搞一个配置文件就行了无需再官网下载Maven包以后再在新电脑装环境的时候，只需要下载idea ，网上找一个Maven的配置文件 放到 默认的 包下面就可以了！也省得每次创建项目都要重新配一次Maven了。如果不想每次新建项目都要重新配置Maven，一种方法就是使用默认的配置，另一种方法就是配置 .._安装idea后是不是不需要安装maven了?
奶爸奶妈必看给宝宝摄影大全-程序员宅基地
文章浏览阅读45次。家是我们一生中最重要的地方,小时候,我们在这里哭、在这里笑、在这里学习走路,在这里有我们最真实的时光,用相机把它记下吧。 很多家庭在拍摄孩子时有一个看法,认为儿童摄影团购必须是在风景秀丽的户外,即便是室内那也是像大酒店一样...
构建Docker镜像指南，含实战案例_rocker/r-base镜像-程序员宅基地
文章浏览阅读429次。Dockerfile介绍Dockerfile是构建镜像的指令文件，由一组指令组成，文件中每条指令对应linux中一条命令，在执行构建Docker镜像时，将读取Dockerfile中的指令，根据指令来操作生成指定Docker镜像。Dockerfile结构：主要由基础镜像信息、维护者信息、镜像操作指令、容器启动时执行指令。每行支持一条指令，每条指令可以携带多个参数。注释可以使用#开头。指令说明FROM 镜像 ： 指定新的镜像所基于的镜像MAINTAINER 名字 ： 说明新镜像的维护（制作）人，留下_rocker/r-base镜像
随便推点
毕设基于微信小程序的小区管理系统的设计ssm毕业设计_ssm基于微信小程序的公寓生活管理系统-程序员宅基地
文章浏览阅读223次。该系统将提供便捷的信息发布、物业报修、社区互动等功能，为小区居民提供更加便利、高效的服务。引言： 随着城市化进程的加速，小区管理成为一个日益重要的任务。因此，设计一个基于微信小程序的小区管理系统成为了一项具有挑战性和重要性的毕设课题。本文将介绍该小区管理系统的设计思路和功能，以期为小区提供更便捷、高效的管理手段。四、总结与展望： 通过本次毕设项目，我们实现了一个基于微信小程序的小区管理系统，为小区居民提供了更加便捷、高效的服务。通过该系统的设计与实现，能够提高小区管理水平，提供更好的居住环境和服务。_ssm基于微信小程序的公寓生活管理系统
如何正确的使用Ubuntu以及安装常用的渗透工具集.-程序员宅基地
文章浏览阅读635次。文章来源i春秋入坑Ubuntu半年多了记得一开始学的时候基本一星期重装三四次=-= 尴尬了 觉得自己差不多可以的时候 就吧Windows10干掉了 c盘装Ubuntu 专心学习. 这里主要来说一下使用Ubuntu的正确姿势Ubuntu（友帮拓、优般图、乌班图）是一个以桌面应用为主的开源GNU/Linux操作系统，Ubuntu 是基于DebianGNU/Linux，支..._ubuntu安装攻击工具包
JNI参数传递引用_jni引用byte[]-程序员宅基地
文章浏览阅读335次。需求：C++中将BYTE型数组传递给Java中，考虑到内存释放问题，未采用通过返回值进行数据传递。public class demoClass{public native boolean getData(byte[] tempData);}JNIEXPORT jboolean JNICALL Java_com_core_getData(JNIEnv *env, jobject thisObj, jbyteArray tempData){ //resultsize为s..._jni引用byte[]
三维重建工具——pclpy教程之点云分割_pclpy.pcl.pointcloud.pointxyzi转为numpy-程序员宅基地
文章浏览阅读2.1k次，点赞5次，收藏30次。本教程代码开源：GitHub 欢迎star文章目录一、平面模型分割1. 代码2. 说明3. 运行二、圆柱模型分割1. 代码2. 说明3. 运行三、欧几里得聚类提取1. 代码2. 说明3. 运行四、区域生长分割1. 代码2. 说明3. 运行五、基于最小切割的分割1. 代码2. 说明3. 运行六、使用 ProgressiveMorphologicalFilter 分割地面1. 代码2. 说明3. 运行一、平面模型分割在本教程中，我们将学习如何对一组点进行简单的平面分割，即找到支持平面模型的点云中的所有._pclpy.pcl.pointcloud.pointxyzi转为numpy
以NFS启动方式构建arm-linux仿真运行环境-程序员宅基地
文章浏览阅读141次。一 其实在 skyeye 上移植 arm-linux 并非难事,网上也有不少资料, 只是大都遗漏细节, 以致细微之处卡壳，所以本文力求详实清析, 希望能对大家有点用处。本文旨在将 arm-linux 在 skyeye 上搭建起来，并在 arm-linux 上能成功 mount NFS 为目标, 最终我们能在 arm-linux 里运行我们自己的应用程序. 二 安装 Sky..._nfs启动 arm
攻防世界 Pwn 进阶 第二页_pwn snprintf-程序员宅基地
文章浏览阅读598次，点赞2次，收藏5次。00为了形成一个体系，想将前面学过的一些东西都拉来放在一起总结总结，方便学习，方便记忆。攻防世界 Pwn 新手攻防世界 Pwn 进阶 第一页01 4-ReeHY-main-100超详细的wp1超详细的wp203 format2栈迁移的两种作用之一：栈溢出太小，进行栈迁移从而能够写入更多shellcode，进行更多操作。栈迁移一篇搞定有个陌生的函数。C 库函数 void *memcpy(void *str1, const void *str2, size_t n) 从存储区 str2 _pwn snprintf