使用清华thulac中文分词分析工具_thulac词性标注_徐孟奇的博客-程序员宅基地

清华中文分词工具thulac使用记录

1 安装
2 使用
3 thulac使用方式

1 安装

由于用到了分词，需要给已经处理成每行内容只含汉字的txt文本进行分词，所以想到用thulac试一下。环境是anaconda+pycharm+python 3.6.
使用pip安装：

pip install thulac

在这里插入图片描述

2 使用

pycharm中新建python文件，导入thulac包，然后输入命令：

import thulac

thu1 = thulac.thulac(seg_only=True)  #只进行分词，不进行词性标注
thu1.cut_f("input.txt", "output.txt")   #对input.txt文件内容进行分词，输出到output.txt

2.1 遇到的问题解决

执行上面命令时提示编码问题：
在这里插入图片描述
在查看文本文档确实都是UTF-8编码格式后，点击thulac包下的那个__init__文件，在提示的189行上面，188,187行看到文件读写没有指定编码格式，所以添加指定格式如下：

然后就能成功运行了。

2.2 使用分词和词性标注

在同目录下生成output.txt文件，分词成功；
在这里插入图片描述
使用默认模式，词性标注加分词，再看下结果：

import thulac
thu1 = thulac.thulac()  #默认模式，进行词性标注
thu1.cut_f("input.txt", "output2.txt")   #对input.txt文件内容进行分词，输出到output.txt

这个会使用时间长，结果对比如下：
在这里插入图片描述

2.3 清除文本中的空行


"""
读取存在空行的文件，删除其中的空行，并将其保存到新的文件中
"""

with open('input.txt','r',encoding = 'utf-8') as fr,open('new.txt','w',encoding = 'utf-8') as fd:
        for text in fr.readlines():
                if text.split():#split()默认使用空格进行分割，中间无论多少空格都切掉。
                        fd.write(text)
        print('输出成功....')

这样文本中所有的空行清除了。

3 thulac使用方式

3.1 使用示例

python版

代码示例1
import thulac

thu1 = thulac.thulac() #默认模式
text = thu1.cut(“我爱北京天安门”, text=True) #进行一句话分词
print(text)
代码示例2
thu1 = thulac.thulac(seg_only=True) #只进行分词，不进行词性标注
thu1.cut_f(“input.txt”, “output.txt”) #对input.txt文件内容进行分词，输出到output.txt

3.2 接口参数

thulac(user_dict=None, model_path=None, T2S=False, seg_only=False, filt=False, deli=’_’) 初始化程序，进行自定义设置

  user_dict	      	设置用户词典，用户词典中的词会被打上uw标签。词典中每一个词一行，UTF8编码
  T2S					默认False, 是否将句子从繁体转化为简体
  seg_only	   		默认False, 时候只进行分词，不进行词性标注
  filt		   		默认False, 是否使用过滤器去除一些没有意义的词语，例如“可以”。
  model_path	 	    设置模型文件所在文件夹，默认为models/
  deli	 	      	默认为‘_’, 设置词与词性之间的分隔符

rm_space 默认为False, 是否去掉原文本中的空格后再进行分词

cut(文本, text=False) 对一句话进行分词

 text   默认为False, 是否返回文本，不返回文本则返回一个二维数组([[word, tag]..]),seg_only模式下tag为空字符。

cut_f(输入文件, 输出文件) 对文件进行分词
run() 命令行交互式分词(屏幕输入、屏幕输出)

3.3 guihub 地址

https://github.com/thunlp/THULAC-Python

本文链接：https://blog.csdn.net/u013222658/article/details/106004593

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

mPaas上线应用检测_mpaas接口测试地址_阿里开发者的博客-程序员宅基地

简介：mPaas上线应用检测1. 背景随着越来越多的金融行业基于mPaas[1]搭建并上线新的App，App的上线质量也成为各个客户关注的重点。上线前检测哪些项目，如何检测，检测数据指标包括哪些成为我们思考的主要方向。借着上次去XX农信客户去做线上功能检测，加上之前多个mPaas历史项目踩过的坑，将App上线前mPaas相关检测内容整理沉淀如下。2. 检测方向2.1 安全性2.1.1 RPC是否开启国密加密对应金融性质的App来说，数据通信安全至关重要，mPaas已经支持 ECC、RSA 和国密（SM2）三_mpaas接口测试地址

操作系统——存储管理-段式存储组织——2020.11.25_段式存储管理读写操作合法怎么判断是否正确_Blockchain_KT的博客-程序员宅基地

存储管理-段式存储组织一丶段式存储——嗟险阻，叹飘零。关山万里作雄行——一丶段式存储按用户作业中的自然段来划分逻辑空间，然后调入内存，段的长度可以不一样我们在进行页式存储时，由于页内地址都是一样的，所以我们只需要去需要页号和页帧号就行了但是我们段氏存储时，由于分段的大小不一，所以我们必须了解段的起始位置，和整个段的长度，并且标注好段号这样才能找到相应的内存地址由于段的大小不一致，所以会存在一些碎片段地址：（段号，不能超过段长）-> 合法地址和不合法地址的考察优点：多道程序共_段式存储管理读写操作合法怎么判断是否正确

CSU Problem 1777 大还是小？——湖南省第十一届大学生计算机程序设计竞赛_湖南省第十一届大学生程序设计大赛题解_queuelovestack的博客-程序员宅基地

CSU Problem 1777 大还是小？——湖南省第十一届大学生计算机程序设计竞赛_湖南省第十一届大学生程序设计大赛题解

数据结构和算法的关系和区别_Autopilot office的博客-程序员宅基地

由于大量数据结构教程中都将数据结构的知识和算法掺杂起来讲，使很多初学者认为数据结构就是在讲算法，这样理解是不准确的。数据结构和算法之间完全是两个相互独立的学科，如果非说它们有关系，那也只是互利共赢、“1+1>2”的关系。最明显的例子，如果你认为数据结构是在讲算法，那么大学我们还学《算法导论》，后者几乎囊括了前者使用的全部算法，有什么必要同时开设这两门课程呢？我们还可以从分析问题的角度去..._数据结构和算法的关系和区别

db 分贝增益什么意思多少倍_音频3db和6db增益_生活就是那么无聊的博客-程序员宅基地

http://blog.csdn.net/zmq5411/article/details/6215951dB(Decibel，分贝) 是一个纯计数单位，本意是表示两个量的比值大小，没有单位。在工程应用中经常看到貌似不同的定义方式（仅仅是看上去不同）。对于功率，dB = 10*lg(A/B)。对于电压或电流，dB = 20*lg(A/B)。此处A，B代表参与比较的功率值或者电流、电压值。..._音频3db和6db增益

3. 无重复字符的最长子串（python3）_使用python3写代码无重复字符的最长子串_keep moving 123的博客-程序员宅基地

题目：https://leetcode-cn.com/problems/longest-substring-without-repeating-characters给定一个字符串，请你找出其中不含有重复字符的最长子串的长度。示例1:输入: "abcabcbb"输出: 3解释: 因为无重复字符的最长子串是 "abc"，所以其长度为 3。示例 2:输入: "bbbbb"..._使用python3写代码无重复字符的最长子串