搜集了一些资料,与同学一起进行了简单的測试,总结例如以下。
分词工 具 特点
|
支持语言 |
原理 |
词典及扩展性 |
StandardAnalyzer |
中文、英文(unicode) |
中文:单字符切分 英文:依据空格切分 |
|
ChineseAnalyzer |
中文,不支持中文和英文及数字混合的文本分词 |
按字分词,与StandardAnalyzer对中文的分词没有大的差别 |
|
CJKAnalyzer |
中文,英文,不支持中文和英文及数字混合的文本分词 |
採用的双字切分,也就是对一段文字按每两个字来进行切分 |
|
IKAnalyzer |
英文字母、数字、中文词汇等分词处理,兼容韩文、日文字符 |
正向迭代最细粒度切分算法(词典+文法分析) |
收录27万中文词汇, 支持用户词典扩展定义、支持自己定义停止词 |
paoding |
中文 |
支持不限制个数的用户自己定义词库 |
|
MMAnalyzer |
支持英文、数字、中文(简体)混合分词 |
正向最大匹配算法 |
支持动态扩展 |
MMSeg4j |
中文,包含一些字符的处理 英文、俄文、希腊、数字(包含①㈠⒈)的分出一连串的。眼下版本号没有处理小数字问题 |
用 Chih-Hao Tsai 的 MMSeg 算法。MMSeg 算法有两种分词方法:Simple和Complex,都是基于正向最大匹配。在complex基础上实现了最多分词(max-word) |
强制使用 UTF-8) 使用sougou词库,也可自己定义覆盖 |
imdict |
中文、英文、数字 |
隐马尔科夫模型 |
仅coredict核心字典、bigramdict词典,不含人名、地名词典。不支持自己定义词典 |
分词工具
特点 |
速度 |
文档完整性 |
大小 |
Lucene版本号 |
备注 |
StandardAnalyzer |
|||||
ChineseAnalyzer |
Lucene contrib中附带的分析器 |
||||
CJKAnalyzer |
Lucene contrib中附带的二元分词 |
||||
IKAnalyzer 3.2.8 |
83 万字/秒(1600KB/S) |
具体 |
2.62MB |
Lucene2.9、 Lucene3.0 |
支持细粒度和最大词长两种切分模式 |
paoding |
100万字/秒 |
差点儿无 |
1.3MB |
Lucene3.0 |
|
MMAnalyzer |
第一次分词须要1-2秒(读取词典),之后速度基本与Lucene自带分词持平 |
原始站点已经找不到下载,不提供维护和支持 |
内存消耗30M+ |
lucene 1.9到2.4之间 |
|
MMSeg4j |
complex 1200kb/s左右, simple 1900kb/s左右 |
MMSeg 算法是英文的,但原理比較简单。实现也比較清晰。 |
内存开销了50M左右 |
mmseg4j 1.8.3 仅仅支持 lucene 2.9/3.0 接口 。mmseg4j 1.8.5 支持 lucene 3.1。 |
|
imdict |
259517字/秒 |
较全 |
词典大小7.26MB |
Lucene2.9直接收录 |
分词效果演示:
消歧义效果:
分词工具 效果 |
张三买了张三角桌 |
南京市长江大桥 |
||
StandardAnalyzer |
张|三|买|了|张|三|角|桌 |
南|京|市|长|江|大|桥 |
||
ChineseAnalyzer |
张|三|买|了|张|三|角|桌 |
南|京|市|长|江|大|桥 |
||
CJKAnalyzer |
张三|三买|买了|了张|张三|三角|角桌 |
南京|京市|市长|长江|江大|大桥 |
||
IK Analyzer |
最大词长 |
张三|买了|张三|三角|桌 |
南京市|市长|长江大桥 |
|
最细粒度 |
张三|三|买了|张三|三角|三|角|桌 |
南京市|南京|市长|长江大桥|长江|大桥 |
||
paoding |
张三|买了|张三|三角| 桌 |
南|南京|南京市|长|市长|长江|大 |大桥 |
||
MMAnalyzer |
张三|买了|张三角|桌 |
南京市|长江大桥 |
||
MMSeg4j |
SimpleSeg |
张三|买了|张三|角|桌 |
南京市|长江大桥 |
|
ComplexSeg |
张三|买了|张三|角|桌 |
南京市|长江大桥 |
||
imdict |
张|三|买|了|张|三|三角|桌 |
南京市|长江|大桥 |
数字、英文混合分词效果:
分词工具 效果 |
我的QQ号是****** |
||
StandardAnalyzer |
我|的|qq|号|是|****** |
||
ChineseAnalyzer |
我|的|qq|号|是 |
||
CJKAnalyzer |
我的|qq|号|是|****** |
||
IKAnalyzer |
IK |
我|的|qq|号|是|****** |
|
MIK |
我|的|qq|号|是|****** |
||
MMAnalyzer |
我的|qq|号|是|****** |
||
MMSeg4j |
SimpleSeg |
我的|qq|号|是|****** |
|
ComplexSeg |
我的|qq|号|是|****** |
||
paoding |
我的|qq|号|****** |
||
Imdict |
我|的|qq|号|****** |
发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/119089.html原文链接:https://javaforall.cn
【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛
【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...