R语言︱词典型情感分析文本操作技巧汇总（打标签、词典与数据匹配等）_倾城琉璃的博客-程序员秘密

技术标签： R语言情感分析  数据  r语言  情感  

 R语言︱词典型情感分析文本操作技巧汇总（打标签、词典与数据匹配等）

笔者寄语：情感分析中对文本处理的数据的小技巧要求比较高，笔者在学习时候会为一些小技巧感到头疼不已。

主要包括以下内容：

1、批量读取txt字符文件（导入、文本内容逐行读取、加入文档名字）、

2、文本清洗（一级清洗，去标点；二级清洗去内容；三级清洗，去停用词）

3、词典之间匹配（有主键join、词库匹配%in%）

4、分词之后档案id+label的加入

5、情感打分（关联情感词join、情感分数aggerate、情感偏向）

————————————————————————————————————————————


1、批量读取txt字符文件


难题：一个文件夹有许多txt文件，如何导入，并且读出来，还要加上文档名字？


1.1 如何导入？

如何用函数批量导入文本，并且能够留在R的环境之中?循环用read.table，怎么解决每个文本文件命名问题？

list函数能够有效的读入，并且存放非结构化数据。

[plain]  view plain   copy
  print ? 在CODE上查看代码片 派生到我的代码片
  1. reviewpath <- "F:/R语言/train2"  
  2. completepath <- list.files(reviewpath, pattern = "*.txt$", full.names = TRUE)  
代码解读：reviewpath为文件夹的目录名字，completepath为读取文件夹中所有的文件，生成字符串（character）格式。

详细的文本文件读取方法，可见博客。


1.2 如何读取单文本内容？

前面文档导入，相当于是给每个文档定了位，现在需要读入单个文档内的文本信息。

文本文档读取的时候会出现很多问题，比如分隔符、制表符等，而出现乱码，需要逐行读取。

[plain]  view plain   copy
  print ? 在CODE上查看代码片 派生到我的代码片
  1. ######批量读入文本  
  2. read.txt <- function(x) {  
  3.   des <- readLines(x)                   #每行读取  
  4.   return(paste(des, collapse = ""))     #没有return则返回最后一个函数对象  
  5. }  
  6. review <- lapply(completepath, read.txt)  
  7. #如果程序警告，这里可能是部分文件最后一行没有换行导致，不用担心。  
代码解读：read.txt是一个简单的逐行读取的函数，readLines函数，是将一段文字分成以下的形式，需要粘贴起来；

[plain]  view plain   copy
  print ? 在CODE上查看代码片 派生到我的代码片
  1. [1] ""                                                                                                                                                              
  2. [2] "刚买的这款电脑，在自提点打开的，就发现键盘已经坏了，有个按键都快掉了，自提点不管，让去联系退换货部门，退换货部门说键盘坏了不管退换，让去惠普自己更换新键盘。"  
  3. [3] ""                                                                                                                                                              
  4. [4] "在京东刚买的东西出现问题就要四处跑去修理，他们把责任推的一干二净，现在除非你出具惠普的质检报告，他们才给受理。"                                                
  5. [5] ""      

return(paste)函数将每一行粘贴在一起，最后返回完整的文本内容；

lapply表示逐文本读取。


1.3 加入文档名字


读取了每个文档到list之中，怎么跟每个文档名字匹配在一起？

[plain]  view plain   copy
  print ? 在CODE上查看代码片 派生到我的代码片
  1. docname <- list.files(reviewpath, pattern = "*.txt$")  
  2. reviewdf <- as.data.frame(cbind(docname, unlist(review)),   
  3.                           stringsAsFactors = F)   
  4. colnames(reviewdf) <- c("id", "msg")   #列名  

代码解读：list.files中，full.names=F代表返回文档名字（默认），full.names=T则定位文档；

利用as.data.frame成为一个数据框，并且不变成因子型，stringsAsFactors是因为文档名字列，很容易变成字符因子型，需要关闭这功能；

colnames修改列名，还有names也可以达到同样的效果。


图 1

————————————————————————————————————————————


2、文本清洗工作

文本挖掘中，对文本的清洗工作尤为重要，会出现比如：英文逗号、波浪线、英文单引号、英文双引号、分隔符等


2.1 一级清洗——去标点


如图1,所示的msg，对其进行一些标点清洗，比如双引号，波浪号等。

[plain]  view plain   copy
  print ? 在CODE上查看代码片 派生到我的代码片
  1. reviewdf$msg <- gsub(pattern = " ", replacement ="", reviewdf$msg)  #gsub是字符替换函数，去空格  
  2. reviewdf$msg <- gsub("\t", "", reviewdf$msg) #有时需要使用\\\t    
  3. reviewdf$msg <- gsub(",", "，", reviewdf$msg)#文中有英文逗号会报错，所以用大写的“，”  
  4. reviewdf$msg <- gsub("~|'", "", reviewdf$msg)#替换了波浪号（~）和英文单引号（'），它们之间用“|”符号隔开，表示或的关系  
  5. reviewdf$msg <- gsub("\\\"", "", reviewdf$msg)#替换所有的英文双引号（"），因为双引号在R中有特殊含义，所以要使用三个斜杠（\\\）转义  
代码解读：英文单引号（'）、英文双引号（"）、波浪号（~），都会引起读取时发生警告，带来csv文件或txt文件读取不完整的后果。还有一些字符型会出现乱码的标点等，详见博客：R语言︱文本（字符串）处理与正则表达式


2.2 二级清洗——去内容


如图1 ,msg，对文档进行二级清洗，比如清楚全英文字符、清除数字等。

[plain]  view plain   copy
  print ? 在CODE上查看代码片 派生到我的代码片
  1. sentence <- as.vector(test$msg) #文本内容转化为向量sentence  
  2.   
  3. sentence <- gsub("[[:digit:]]*", "", sentence) #清除数字[a-zA-Z]  
  4. sentence <- gsub("[a-zA-Z]", "", sentence)   #清除英文字符  
  5. sentence <- gsub("\\.", "", sentence)      #清除全英文的dot符号  
  6. sentence <- sentence[!is.na(sentence)]   #清除对应sentence里面的空值（文本内容），要先执行文本名  
  7. sentence <- sentence[!nchar(sentence) < 2] #`nchar`函数对字符计数，英文叹号为R语言里的“非”函数  
代码解读：在进行二级清洗的过程中，需要先转化为向量形式，as.vector；

字符数过小的文本也需要清洗，nchar就是字符计数函数。

2.3 三级清理——停用词清理（哎呦，哎，啊...）


去除原理就是导入停用词列表，是一列chr[1:n]的格式；

先与情感词典匹配，在停用词库去掉情感词典中的单词，以免删除了很多情感词，构造新的停用词；

再与源序列匹配，在原序列中去掉停用词。


第一种方法：

[plain]  view plain   copy
  print ? 在CODE上查看代码片 派生到我的代码片
  1. stopword <- read.csv("F:/R语言/R语言与文本挖掘/情感分析/数据/dict/stopword.csv", header = T, sep = ",", stringsAsFactors = F)  
  2. stopword <- stopword[!stopword$term %in% posneg$term,]#函数`%in%`在posneg$term中查找stopword的元素，如果查到了就返回真值，没查到就返回假  
  3. #结果是一个和stopword等长的波尔值向量，“非”函数将布尔值反向  
  4. testterm <- testterm[!testterm$term %in% stopword,]#去除停用词  

代码解读:

管道函数A %in% B，代表在A中搜索B，存在则生成（TRUE,FALSE,TRUE）布尔向量,其中TURE代表A/B共有的。形成一个与原序列的等长的波尔值向量，“非”函数将布尔值反向就可以去除停用词。

stopword[!stopword$term %in% posneg$term,]，去掉stopword中与posneg共有的词；

testterm[!testterm$term %in% stopword$term,]，去掉testtrerm（原序列）与stopword共有的词。


第二种方法：

[plain]  view plain   copy
  print ? 在CODE上查看代码片 派生到我的代码片
  1. stopword <- read.csv("F:/R语言/R语言与文本挖掘/情感分析/数据/dict/stopword.csv", header = T, sep = ",", stringsAsFactors = F)  
  2. stopword <- setdiff(stopword$term,posneg$term)  
  3. testterm<- setdiff(testterm$term,stopword)  
setdiff（x,y），代表在x中去掉xy共有的元素。

setdiff与%in%都是集合运算符号，可见其他的一些符号：R语言︱集合运算



————————————————————————————————————————————

3、文档之间匹配

3.1 有主键的情况
如图1 中的id，就是一个主键，建立主键之间的关联可以用plyr中的Join函数，`join`默认设置下执行左连接。

[plain]  view plain   copy
  print ? 在CODE上查看代码片 派生到我的代码片
  1. #plyr包里的`join`函数会根据名称相同的列进行匹配关联，`join`默认设置下执行左连接  
  2. reviewdf <- join(表1,表2)  
  3. reviewdf <- 表1[!is.na(表1$label),]  #非NA值的行赋值  
代码解读：表1为图1中的数据表，表2是id+label；

join之后，在表1中加入匹配到的表2的label；

并且通过[!x,]去掉了，没有label的文本。
其他关于主键合并的方法有，dplyr包等，可见博客：R语言数据集合并、数据增减


3.2 词库之间相互匹配
1、集合运算（%in%/setdiff()）——做去除数据

在2.3的三级停用词清理的过程中，就会用到这个。两个词库，但是没有主键，两个词库都有共有的一些词语，那么怎么建立两个词库的连接呢？

管道函数%in%，可以很好的解决。A%in%B，代表在A中搜索B，存在B则生成（TRUE,FALSE,TRUE）布尔向量,其中TURE代表A/B共有的。

向量长度依存于A，会生成一个与A相同长度的布尔向量，通过A[布尔向量,]就可以直接使用。

回忆一下，缺失值查找函数，A[na.is(x)],也是生成布尔向量。

详细见2.3的停用词删除的用法。


2、left_join——词库匹配打标签


以上%in%较为适合做去除数据来做，因为可以生成布尔向量，作为过渡。但是如何连接词库，并且匹配过去标签呢。

现在有两个数据：

[plain]  view plain   copy
  print ? 在CODE上查看代码片 派生到我的代码片
  1. > head(temp)  
  2.         term           df  
  3. 1     阿波罗 0.0000573263  
  4. 2 阿尔卑斯山 0.0000573263  
  5. 3     阿富汗 0.0001719789  
  6. 4       阿哥 0.0001146526  
  7. 5     阿根廷 0.0000573263  
  8. 6     阿拉伯 0.0001146526  
  9. > head(traintfidf[,1:3])  
  10.          id label       term  
  11. 1  4995.txt     1     阿波罗  
  12. 2 16443.txt     1 阿尔卑斯山  
  13. 3 12897.txt     1     阿富汗  
  14. 4  7001.txt     1     阿富汗  
  15. 5  9427.txt     1     阿富汗  
  16. 6 12368.txt     1       阿哥  
通过left_join之后，就可以根据每个词语匹配DF值，并且在源数据重复的情况下，还是能够顺利匹配上。

用在监督式算法情感分析之中，可见R语言︱监督算法式的情感分析笔记。

[plain]  view plain   copy
  print ? 在CODE上查看代码片 派生到我的代码片
  1. > head(traintfidf[,1:5])  
  2.          id label       term tf           df  
  3. 1  4995.txt     1     阿波罗  1 0.0000573263  
  4. 2 16443.txt     1 阿尔卑斯山  1 0.0000573263  
  5. 3 12897.txt     1     阿富汗  2 0.0001719789  
  6. 4  7001.txt     1     阿富汗  1 0.0001719789  
  7. 5  9427.txt     1     阿富汗  1 0.0001719789  
  8. 6 12368.txt     1       阿哥  1 0.0001146526  


————————————————————————————————————————————

4、分词之后文档如何整理？——构造一个单词一个文档名一个label

分词之后，一个文档可能就有很多单词，应该每个单词都单独列出来，并且一个单词一个文档名一个label。


图 2

[plain]  view plain   copy
  print ? 在CODE上查看代码片 派生到我的代码片
  1. system.time(x <- segmentCN(strwords = sentence))   
  2. #每次可能耗费时间较长的过程，都要使用少量数据预估一下时间，这是一个优秀的习惯  
  3. temp <- lapply(x, length) #每一个元素的长度,即文本分出多少个词  
  4. temp <- unlist(temp)  #lapply返回的是一个list，所以3行unlist  
  5. id <- rep(test[, "id"], temp) #将每一个对应的id复制相应的次数，就可以和词汇对应了  
  6. label <- rep(test[, "label"], temp)#id对应的情感倾向标签复制相同的次数  
  7. term <- unlist(x) #6行将list解散为向量  
  8. testterm <- as.data.frame(cbind(id, term, label), stringsAsFactors = F)  
  9. #将一一对应的三个向量按列捆绑为数据框，分词整理就基本结束了  

代码解读：segmentCN是分词函数；lapply求得每个文本单词个数；

unlist，可以让单词变成向量化,单词操作的时候都需要这步骤，比如前面对单词进行清洗，需要展平数据；

rep，重复id以及label，按照单词个数，rep(c("id","su"),c(2,1))，执行之后为“id”“id”“su”。


————————————————————————————————————————————

5、情感打分

5.1 关联情感词


现在有了图2的数据以及情感词典数据图3，以term为主键，进行join合并。情感词典中没有的词，则删除。



图 3

[plain]  view plain   copy
  print ? 在CODE上查看代码片 派生到我的代码片
  1. library(plyr)  
  2. testterm <- join(testterm, posneg)  
  3. testterm <- testterm[!is.na(testterm$weight), ]  
  4. head(testterm)  
代码解读：join，以term进行左关联合并，在A表中，会多出来weigh的一列，但是会出现（1,NA,2，3，NA），一些没有匹配到的NA，

用[is.na(testterm$weight),]来进行删除。


5.2 情感分数

有了图2的id+weight列，就可以直接分组汇总，比如aggregate，其他汇总函数可见比博客：R语言数据集合并、数据增减

[plain]  view plain   copy
  print ? 在CODE上查看代码片 派生到我的代码片
  1. dictresult <- aggregate(weight ~ id, data = testterm, sum)  
对weight列以文本id分组求和，即为情感打分。

5.3 情感偏向


有了情感分数，我想单单知道这些ID正负，就像图2中的label。

可以利用布尔向量建立连接。

[plain]  view plain   copy
  print ? 在CODE上查看代码片 派生到我的代码片
  1. dictlabel <- rep(-1, length(dictresult[, 1]))  
  2. dictlabel[dictresult$weight > 0] <- 1  
  3. dictresult <- as.data.frame(cbind(dictresult, dictlabel), stringsAsFactors = F)  
先生成一个原数列长度的-1数列；

在原数列$weight>0会生成一个布尔向量，然后进行赋值，就可以构造label了。


——代码很多来自《数据挖掘之道》的情感分析章节。
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36449202/article/details/52862946

智能推荐

开机自动启动脚本并全屏打开指定网站_bat脚本启动全屏浏览器_一路从容的博客-程序员秘密

适用环境windows10chrome 谷歌浏览器建立bat脚本文件1.::开始执行指令@echo off //打开cmd 进入到 D:\test 文件夹下(注意文件名为英文) &amp;&amp;执行指令 node app.js1.加入启动项在运行中执行shell:startup 将脚本文件丢入到该目录下::开始执行指令@echo off::打开cmd 进入到 D:\test 文件夹下(注意文件名为英文) &amp;&amp;执行指令 node app.jsstart

调参经验: 关于deep learning（rnn、cnn）_机器学习与AI生成创作的博客-程序员秘密

点击上方“机器学习与生成对抗网络”，关注星标获取有趣、好玩的前沿干货！https://www.zhihu.com/question/330766768编辑：机器学习算法与知识图谱声明：仅做...

MyBatis源码解析(二) 解析器模块_mybatis evalstring_Let_me_tell_you的博客-程序员秘密

mybatis源码解析系列源码基于 3.5.2-SNAPSHOT 版本，截至笔者开始写第一篇源码解析时这是官方的最新master分支。写文章的过程中参考了很多大佬的文章和思路，以及一些为了解释清楚所必须的图。如有侵权，请联系删除。参考内容：芋道源码博客 《MyBatis技术内幕》以及其他很多文章及书籍，以及开源项目，不一一列举。引言：在之前的项目结构概览里提到了初始化项目的时候解析 my...

深入浅出OOP（四）: 多态和继承(抽象类)_non-abstract class 'testhubbusinessobjectreceiver'_葡萄城技术团队的博客-程序员秘密

在本文中，我们讨论OOP中的热点之一：抽象类。抽象类在各个编程语言中概念是一致的，但是C#稍微有些不一样。本文中我们会通过代码来实现抽象类，并一一进行解析。

【学习笔记】炼数成金 Dataguru python2.x 2012_炼数成金python_或许对了的博客-程序员秘密

此教程 06Python正则表达式、08爬虫 部分讲解不错，值得回顾学习01.解释型脚本语言初探 解释性脚本语言最重要的特性：动态类型Python结构化编程，函数式编程，面向对象编程关系数据库的 3范式NF 笛卡尔操作join 很多对象与类如果既不是包含也不是继承关系，统称叫做关联关系。面向对象的包含关系主要由两种表现方式：组合、聚合，这两种方式的区别就是构成子对象的生命周期...

[Database] MongoDB (2) 高级查询条件操作符_weixin_34405332的博客-程序员秘密

MongoDB 支持多种复杂的查询方式，能实现大多数 T-SQL 功能，远不是 Key-Value 之类的 NoSQL DB 所能比拟的。Conditional Operators : $slice //切片Conditional Operators : $lt &amp;lt;, $lte &amp;lt;=, $gt &amp;gt;, $gte &amp;gt;=Conditional Operator : $ne //不...

随便推点

Apache Flink1.13.x HA集群部署_flink1.13集群搭建_freesharer的博客-程序员秘密

关于 Hadoop 集群和 ZooKeeper 集群的搭建可以参考：Hadoop 集群环境搭建Zookeeper 单机环境和集群环境搭建

Oracle 关联多张表报错ORA-03113: 通信通道的文件结尾_运行plsql时遇到03113_枫叶花海的博客-程序员秘密

当前SQL引用多个left join，在11.2.0.1.0版本，外关联存在BUG；禁用 _optimizer_join_elimination_enabled参数问题解决；系统管理员登录oracle，执行alter system set "_optimizer_join_elimination_enabled"=false scope=both;有可能更改之后登录plsql会出现ORA-01033:ORACLE initialization or shutdown in progress.

博客园markdown编辑器代码折叠_dongfuai0192的博客-程序员秘密

博客园设置里申请js权限。作用到侧边栏就可以，其他地方也行。只适配的markdown编辑器，与其他界面美化代码一起使用可能会出现bug。&lt;script type="text/javascript"&gt; $(document).ready(function () { var pres = $("pre"); for...

SSH登陆失败可能原因，备忘_ssh登录失败的原因_烈火蜓蜻的博客-程序员秘密

情况一命令如下：[email protected]:~# ssh -i ~/.ssh/id_rsa [email protected]@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ WARNING: UNPROTECTED PRIVATE KEY FILE! @@@@@@@@@@@@@@@@@@@@@@@

windows7 64位 + qt5.8(msvc) + vs2015安装配置（包含windbg安装）_qt5.8.0+vs2015安装教程及配置___计算机小白__的博客-程序员秘密

前些日子，在做离散数学的大作业的时候本来想用QT配置Opencv来用的，用QT打开图片再用来给Opencv处理。一开始是想直接用QT里面配置Opencv库，但是一直不成功，一直是自己的一块心病啊。暑假再装一次，其实当时自己的想法也不大对，试想如果要外接其他的第三方库时，那不是就更麻烦了，一切以QT为中心处理代码的地方感觉这种做法比较不好，当然了，QT是跨平台的，如此一考虑倒是在QT上配写代码可移植...

Swagger使用指南_positive-energy的博客-程序员秘密

1：认识SwaggerSwagger 是一个规范和完整的框架，用于生成、描述、调用和可视化 RESTful 风格的 Web 服务。总体目标是使客户端和文件系统作为服务器以同样的速度来更新。文件的方法，参数和模型紧密集成到服务器端的代码，允许API来始终保持同步。作用：1.接口的文档在线自动生成。2.功能测试。Swagger是一组开源项目，其中主要要项目如...

推荐文章

热门文章

相关标签