paoding分词TokenStream的使用

paoding分词TokenStream的使用[code="java"]importjava.io.IOException;importjava.io.StringReader;importnet.paoding.analysis.analyzer.PaodingAnalyzer;importorg.apache.lucene.analysis.Analyzer;importorg.apache.lu…

大家好,又见面了,我是你们的朋友全栈君。



import java.io.IOException;
import java.io.StringReader;

import net.paoding.analysis.analyzer.PaodingAnalyzer;

import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.Token;
import org.apache.lucene.analysis.TokenStream;

public class PaodingTokenTest
{
public static void main(String[] args)
{

String content = "中华人民共和国";
Analyzer analyzer = new PaodingAnalyzer();

TokenStream tokenStream2 = analyzer.tokenStream("", new StringReader(
content));
Token t;
try {
while ((t = tokenStream2.next()) != null) {
System.out.println(t.termText());
}
} catch (IOException e) {
e.printStackTrace();
}
}
}

result:中华 华人 人民 共和 共和国

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/163128.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • unit 5 Communicating with other users

    unit 5 Communicating with other users
    unit5Communicatingwithotherusers
     
    在命令下还有一些关于通讯的命令。有些还允许实时的通信,提供功能性的chat,当其他人允许你给他发送邮件。

    Real-TimeCommunica

  • IIc通信协议(一)[通俗易懂]

    IIc通信协议(一)[通俗易懂]–>物理结构:–>通信原理:通过对SCL和SDA线高低电平时序的控制,来产生I2C总线协议所需要的信号进行数据的传递。在总线空闲状态时,这两根线一般被上面所接的上拉电阻拉高,保持着高电平。–>iic总线协议:1】起始和结束信号总是由主设备产生。起始信号:SCL高电平空闲,SDA由高变低;(SDA拉低后SCL再拉低)结束信号:SCL高电平空闲…

  • 真正解决问题:maven eclipse tomcat java.lang.ClassNotFoundException: org.springframework.web.context.Cont…

    真正解决问题:maven eclipse tomcat java.lang.ClassNotFoundException: org.springframework.web.context.Cont…

  • SPSS实战:单因素方差分析(ANOVA)

    SPSS实战:单因素方差分析(ANOVA)SPSS:单因素方差分析方差分析单因素方差分析单因素方差分析的原理单因素方差分析的SPSS操作方差分析方差分析是一种假设检验,它把观测总变异的平方和与自由度分解为对应不同变异来源的平方和与自由度,将某种控制性因素所导致的系统性误差和其他随机性误差进行对比,从而推断各组样本之间是否存在显著性差异,以分析该因素是否对总体存在显著性影响。方差分析法采用离差平方和对变差进行度量,从总离差平方和分解出可追溯到指定来源的部分离差平方和。方差分析要求样本满足以下条件:可比性:资料中各组均数本身必须具有可比性,这是

  • css中100vh 加减运算[通俗易懂]

    css中100vh 加减运算[通俗易懂]vh/vwvh:相对于视窗的高度,视窗被均分为100单位的vh;vw:相对于视窗的宽度,视窗被均分为100单位的vw;vmax:相对于视窗的宽度或高度中较大的那个。其中最大的那个被均分为100单位的vmax;vmin:相对于视窗的宽度或高度中较小的那个。其中最小的那个被均分为100单位的vmin;视区所指为浏览器内部的可视区域大小,即window.innerWidth/window.innerHeight大小,不包含任务栏标题栏以及底部工具栏的浏览器区域大小。calcca…

  • WIN10环境JAVA的JDK环境变量设置教程

    WIN10环境JAVA的JDK环境变量设置教程大一时装JDK时对着网上的摆弄了好久,然后自己出了个图文教程在同学间流传甚广,最近同学帮大一的问我怎么装,此处将当时的教程完整的复制过来。希望能解决你们的问题。应用JAVA程序之前必须设置系统变量,就像每个生物都得有适合自己生存的环境一样,只有设置成功了才能成功运行JAV软件建议按照系统默认路径安装到C盘,如果你是高手就算了。系统变量设置步骤:(以下图片教…

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号