中文分词
一、分词算法二、分词的难点三、常见分词工具四、结巴分词模式五、修改词典六、去除停用词七、词性标注一、分词算法
分词算法主要有基于字符串的匹配和基于统计和机器学习的分词
1.基于字符串的匹配:以现有的词典为基础进行,扫描字符串,若发现字符串的子串和词相同,即为匹配,通常加入一些启发式规则:正向/反向最大匹配、长词优先等。
{ ① 最 大 匹 配 法 : 以 设 定 的 最 大 词 长 度 为 框 架 , 取 出 其 中 最 长 的 匹 配 词 。 如 : “ 中 国 共 产 党 ” 会 被 完 整 取 出 , 而 不 会 被 进 一 步 分 词 ② 最 大 概 率 法 : 对 句 子 整 体 进 行 分 词 , 找 到 最 佳 的 词 汇 排 列 组 合 规 律 。 如 : “ 中 午 好 “ 会 被 分 词 为 “ 中 午 ” / “ 好 ” ③ 最 短 路 径 分 词 法 : 寻 找 单 词 数 最 少 的 分 词 方 法 \left\{ \begin{aligned}& ①最大匹配法:以设定的最大词长度为框架,取出其中最长的匹配词。 如:“中国共产党”会被完整取出,而不会被进一步分词\\ \\&②最大概率法:对句子整体进行分词,找到最佳的词汇排列组合规律。如:“中午好“会被分词为“中午”/“好” \\ \\&③最短路径分词法:寻找单词数最少的分词方法 \end{aligned} \right. ⎩⎪⎪⎪⎪⎪⎪⎨⎪⎪⎪⎪⎪⎪⎧①最大匹配法:以设定的最大词长度为框架,取出其中最长的匹配词。如:“中国共产党”会被完整取出,而不会被进一步分词②最大概率法:对句子整体进行分词,找到最佳的词汇排列组合规律。如:“中午好“会被分词为“中午”/“好”③最短路径分词法:寻找单词数最少的分词方法
优点:速度快
缺点:无法很好处理歧义和未登录词。如:我个人认为这个方案很好;两个人认为这个方案很好。
2.基于统计和机器学习的分词方式:基于人工标注的词性和统计特征进行建模,通过模型计算分词概率,如:隐马尔科夫模型、条件随机场等。
优点:对歧义和未登录词处理效果更好
缺点:很显然,它需要大量人工标注。且其分词速度也较慢。
二、分词的难点
①分词歧义
如:我个人认为这个方案很好;一个人认为这个方案很好
②未登录词
包括:数字、实体名称、专业术语、成语、虚词、语气词
三、常见分词工具
中科院计算机所的NLPIRansj分词器哈工大的LTP清华大学的THULAC斯坦福分词器结巴分词(最常用)四、结巴分词模式
结巴分词三种模式:精确模式、全模式、搜索引擎模式
Jieba库的安装毫无压力,简单粗暴:在Anaconda prompt直接pip install jieba即可
① 精确模式:默认模式;将句子最精确地分开,适用于文本分析
import jiebat="我是小菜鸟,我也太难了吧"res=jieba.cut(t,cut_all=False, HMM=False)#精确模式print(res)#是一个可迭代的generator,可以用for循环来遍历结果,本质上类似listprint('/ '.join(res))#输出用/分隔的分词结果>> 我/ 是/ 小/ 菜鸟/ ,/ 我/ 也/ 太/ 难/ 了/ 吧
可以看到cut分词后返回的是一个可迭代的generator,可以使用 for 循环来获得分词后得到的每一个词语,即:
res=jieba.cut(t,cut_all=False, HMM=False)list(word for word in res)>>['我', '是', '小', '菜鸟', ',', '我', '也', '太', '难', '了', '吧']
也可以利用lcut直接输出为list:
print(jieba.lcut(t,cut_all=False, HMM=False))#直接输出为list>>['我', '是', '小', '菜鸟', ',', '我', '也', '太', '难', '了', '吧']
在精确模式中可以选择是否使用HMM: HMM=False时,按Unigram语法模型找出联合概率最大的分词组合,实现函数为__cut_DAG;HMM=True时,在联合概率最大的分词组合的基础上,HMM识别未登录词,实现函数为__cut_DAG_NO_HMM。
② 全模式:把所有可以组成词的词语都划分出来。速度很快,但存在歧义问题,会产生噪声
res=jieba.cut(t,cut_all=True, HMM=_)#全模式print('/'.join(res))>>我/是/小菜/菜鸟/,/我/也/太/难/了/吧
发现结果中有一个“小菜”但这并不是我们想要的,因此产生了噪声。
③ 搜索引擎模式:在精确模式的基础上,对长词再次切分,提高召回率,会产生噪声。适用于搜索引擎分词
res=jieba.cut_for_search(t)#搜索引擎模式print('/'.join(res))>>我/是/小/菜鸟/,/我/也/太难/了/吧
五、修改词典
在有些情况下,按照默认设定可能会出现一些划分错误,如:“太难了”在原文中想表示一个长词,但在默认设定下它被划分为“太”、“难"、”了“三部分。因此我们需要对默认词典中添加该词,使其分词正确。
1.动态增删新词
根据分词结果对内存中的词库进行更新:利用add_word(word,freq,tag)进行增加新词,利用del_word(word)删除指定词。其中word代表要添加/删除的词,freq表示词频(可省略),tag为词性(可省略)。
#修改词典jieba.add_word("太难了")'/'.join(jieba.cut(t))>>'我/是/小/菜鸟/,/我/也/太难了/吧'jieba.del_word("太难了")'/'.join(jieba.cut(t))>>'我/是/小/菜鸟/,/我/也/太难/了/吧'
2.使用自定义词典
当要添加的词很多时,我们总不能一个一个挨着加吧!因此我们通常会事先准备一个词典,将所有想要添加的词放进去。词典是一个txt格式的文件,格式如下:每行放一个词:包括:词、词频(可省略)、词性(可省略)。
利用jieba.load_userdict(“filename”)导入词典,其中filename为词典所在路径及其名称。
tyc=pd.read_csv('D:/zwz/停用词.txt',names=['w'],sep="aaa",encoding='utf-8')res=[w for w in jieba.cut(chapter.txt[1]) if w not in list(tyc.w)]res=[w for w in jieba.cut(t) if w not in [',']]print(res)>>['我', '是', '小', '菜鸟', '我', '也', '太难了', '吧']
3.使用搜狗细胞词库
那么问题来了,词典我们需要自己一行一行敲吗?哦~好累,还好有现成的,搜狗细胞词库为我们提供了很多词典,可从其中进行下载使用。导入词典后,词典一直有效,直到关闭了python或者reload。
六、去除停用词
在分词后得到的词表是不能直接使用的,因为可以发现做词频统计时,频率最高的是一些对我们分析文本没有什么用处的词,如:的、得、地等。因此需要先去除这些无关的停用词。
常见的停用词:
超高频常用词:基本不携带有效价值或歧义太多的无分析价值的词虚词:介词、连词:和、与、只专业领域的高频词:基本不携带有效信息。如:在领导人发言稿中的“同志们”视情况而定的词:在分析一些客户评价时,我们可能需要注重那些表情符号,这时要将其保留,而在一些其他方面,其会掩盖其他重要信息
1.分词后去除停用词
其思想为:先进行分词,然后利用停用词表对分词结果进行去除停用词
#去除停用词import pandas as pd tyc=pd.read_csv('D:/zwz/停用词.txt',names=['w'],sep="aaa",encoding='utf-8')tyc.head()res=[w for w in jieba.cut(t) if w not in list(tyc.w)]print(res)>>['菜鸟', '太难了']
2.extract_tags函数去除停用词
利用TF-IDF算法(暂时还不会这个算法,待学习ing)将特征词提取出来,在提取之前去除停用词
import jieba.analyse as anaana.set_stop_words('D:/zwz/停用词.txt')#导入我们事先准备的停用词表ana.extract_tags(t,topK=20)#topK=20表示取前多少个词>>['菜鸟', '太难了']
该方法使用时有一个问题即:停用词要在分词中正确分出,才能被剔除
七、词性标注
为了后续的一些选词处理,现需要对每个词进行词性标注,可利用jieba的posseg进行。
import jieba.posseg as psgpsg.lcut(t)#注意这里要用posseg 下的cut和lcut>>[pair('我', 'r'),pair('是', 'v'),pair('小', 'a'),pair('菜鸟', 'n'),pair(',', 'x'),pair('我', 'r'),pair('也', 'd'),pair('太难了', 'x'),pair('吧', 'y')]