1500字范文,内容丰富有趣,写作好帮手!
1500字范文 > 搜索引擎学习(四)中文分词器

搜索引擎学习(四)中文分词器

时间:2023-02-03 10:11:05

相关推荐

搜索引擎学习(四)中文分词器

一、简介

分词原理

Reader读取数据流数据经过第一个分词器将大写转换小写数据经过第二个分词器根据空格分割成一个一个的单词数据经过第三个分词器把标点符号,介词等剔除经过三次过滤,生成若干语汇单元

常见的分词器(中文分词场景不推荐用)

StandardAnalyzer(官方推荐的分词器):英文分词效果比较好,无法对中文进行正确分词。(单字分词,对中文分词会一个字一个字的分)

CJKAnalyzer(中日韩联合分词器):二分法分词,按两个字进行切分

smartChineseAnalyzer:对中文支持较好,但扩展性差,扩展词库,禁用词库和同义词库等不好处理

第三方中文分词器(中文支持效果比较好,中文分词场景推荐使用)

IK Analyzer:目前较为推荐的中文分词器

二、IK Analyzer分词器

使用方式

PS:搜索时使用的分词器要与索引时使用的分词器一致!

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。