Lucene.net(4.8.0) 学习问题记录二: 分词器Analyzer中的TokenStream和AttributeSource[通俗易懂]

Lucene.net(4.8.0) 学习问题记录二: 分词器Analyzer中的TokenStream和AttributeSource[通俗易懂]前言:目前自己在做使用Lucene.net和PanGu分词实现全文检索的工作,不过自己是把别人做好的项目进行迁移。因为项目整体要迁移到ASP.NETCore2.0版本,而Lucene使用的版本是3.6.0,PanGu分词也是对应Lucene3.6.0版本的。不过好在Lucene.net已经有了Core2.0版本,4.8.0bate版,而PanGu分词,目前有人正在做,貌似已经做完,只是…

大家好,又见面了,我是你们的朋友全栈君。

前言:目前自己在做使用Lucene.net和PanGu分词实现全文检索的工作,不过自己是把别人做好的项目进行迁移。因为项目整体要迁移到ASP.NET Core 2.0版本,而Lucene使用的版本是3.6.0 ,PanGu分词也是对应Lucene3.6.0版本的。不过好在Lucene.net 已经有了Core 2.0版本,4.8.0 bate版,而PanGu分词,目前有人正在做,貌似已经做完,只是还没有测试~,Lucene升级的改变我都会加粗表示。

Lucene.net 4.8.0   

https://github.com/apache/lucenenet

PanGu分词(可以直接使用的)

https://github.com/SilentCC/Lucene.Net.Analysis.PanGu

 JIEba分词(可以直接使用的)

https://github.com/SilentCC/JIEba-netcore2.0

 

 

Lucene.net 4.8.0 和之前的Lucene.net 3.6.0 改动还是相当多的,这里对自己开发过程遇到的问题,做一个记录吧,希望可以帮到和我一样需要升级Lucene.net的人。我也是第一次接触Lucene ,也希望可以帮助初学Lucene的同学。

 

一,Analyzer 中的TokenStream 

1.TokenSteam的产生

在这篇博文中,其实已经介绍了TokenStream 是怎么产生的:

 http://www.cnblogs.com/dacc123/p/8035438.html

在Analyzer 中,同一个线程上的所有Analyzer实例都是共用一个TokenStream,而实现如此都是因为Analyzer类中 storedValue 是全局共用的,获取TokenStream的方法是由reuseStrategy 类提供的,TokenStream 继承自AttributeSource

那么TokenStream的作用什么呢?

2.TokenSteam的使用

TokenStream 实际上是由一系列Token(分词)组合起来的序列,这里仅仅介绍如何通过TokenStream获得分词的信息。TokenStream的工作流程:

    1. 创建TokenStream

    2.TokenStream.Reset()

    3.TokenStream.IncrementToken()

    4.TokenStream.End();

    5.TokenStream.Dispose() //Lucene 4.8.0中已经取消了Close(),只有Dispose()

在执行:

_indexWriter.AddDocument(doc)

之后,IndexWriter则会调用初始化时创建的Analyzer,也即IndewWriterConfig()中的Analyzer参数。这里以PanGu分词为例子。

调用分词器,首先会执行CreateComponents()函数,创建一个TokenStreamComponents,这也是为什么所有自定义,或者外部的分词器如果继承Analyzer,必须要覆写CreateComponents()函数:

  protected override TokenStreamComponents CreateComponents(string fieldName, TextReader reader)
        {
            var result = new PanGuTokenizer(reader, _originalResult, _options, _parameters);
            var finalStream = (TokenStream)new LowerCaseFilter(LVERSION.LUCENE_48, result);

          
            finalStream.AddAttribute<ICharTermAttribute>();
            finalStream.AddAttribute<IOffsetAttribute>();

            return new TokenStreamComponents(result, finalStream);
        }

可以看到在这个CreateComponents函数中,我们可以初始化创建自己想要的Tokenizer和TokenStream。TokenStreamComponents是Lucene4.0中才有的,一个TokenStreamComponents是由Tokenizer和TokenStream组成。

在初始化完TokenStream 之后我们可以添加属性Attribute 到TokenStream中:

finalStream.AddAttribute<ICharTermAttribute>();
finalStream.AddAttribute<IOffsetAttribute>();

  2.1 AttributeSource的介绍

  上面说到TokenStream 继承自AttributeSource , finalStream.AddAttribute<ICharTermAttribute> 真是调用了父类AttributeSource的方法AddAttribute<T>() ,所以AttributeSoucre是用来给TokenStream添加一系列属性的,这是Lucene4.8.0中AttributeSource中AddAttribute的源码:

  

  public T AddAttribute<T>()
            where T : IAttribute
        {
            var attClass = typeof(T);
            if (!attributes.ContainsKey(attClass))
            {
                if (!(attClass.GetTypeInfo().IsInterface && typeof(IAttribute).IsAssignableFrom(attClass)))
                {
                    throw new ArgumentException("AddAttribute() only accepts an interface that extends IAttribute, but " + attClass.FullName + " does not fulfil this contract.");
                }
          //正真添加Attribute的函数,而创造Attribute实例则是通过AttributeSource中的 
          //private readonly AttributeFactory factory; AddAttributeImpl(
this.factory.CreateAttributeInstance<T>()); } T returnAttr; try { returnAttr = (T)(IAttribute)attributes[attClass].Value; } #pragma warning disable 168 catch (KeyNotFoundException knf) #pragma warning restore 168 { return default(T); } return returnAttr; }

 2.2 Attribute介绍

    上面介绍了AttributeSource 给TokenStream添加属性Attribute ,其实Attribute就是你需要获得的分词的属性。

    比如:上面写到的 ICharTermAttribute 继承自CharTermAttribute 表示的是分词内容;

       IOffsetAttribute 继承自 OffsetAttribute 表示的是分词起始位置和结束位置;

    类似的还有 IFlasAttribute , IKeywordAttribute,IPayloadAttribute,IPositionIncrementAttribute,IPositionLengthAttribute,ITermToBytesRefAttribute,ITypeAttribute

    我们再看Token(分词)类的源码:

    

  public class Token : CharTermAttribute, ITypeAttribute, IPositionIncrementAttribute, IFlagsAttribute, IOffsetAttribute, IPayloadAttribute, IPositionLengthAttribute

   

    其实Token(分词),是继承这些Attribute,也就是说分词是由这些属性组成的,所以就可以理解为什么在TokenStream中添加Attributes。

    

再回到之前,再初始化TokenStream 和添加完属性之后,必须执行TokenStream的Reset(),才可继续执行TokenStream.IncrementToken().

Reset()函数实际上在TokenStream创建和使用之后进行重置,因为我们之前说过,在Analyzer中所有实例是共用一个TokenStream的所以在TokenStream被使用过一次后,需要Reset() 以清除上次使用的信息,重新给下一个需要分词的text使用。

而IncrementToken实际的作用则是在遍历TokenStream 中的Token,类似于一个迭代器。

  public sealed override bool IncrementToken()
        {
            ClearAttributes();
            Token word = Next();
            if (word != null)
            {
                var buffer = word.ToString();
                termAtt.SetEmpty().Append(buffer);
                offsetAtt.SetOffset(word.StartOffset, word.EndOffset);
                typeAtt.Type = word.Type;
                return true;
            }
            End();
            this.Dispose();
            return false;
        }

直到返回的false ,表示分词已经遍历完了,这个时候调用End() 和Dispose() 来注销这个TokenStream。在这个过程中,TokenStream是可以被使用多次的,比如我写入索引的时候,加入两个Field : 

new Field("title","xxxx")
new Field("content","xxxxx")

对这个两个域进行分词,TokenStream创建之后,会先对title进行分词,遍历。然后执行Reset(),再对content进行分词,遍历。直到所有要分词的域都遍历过了。才会执行End()和Dispose()函数进行销毁。

 

二,问题:搜索不到内容

  在迁移的过程中,突然出现了搜索不到内容的bug,经过调试,发现写索引的时候,对文本的分词都是正确。这里要提一点,分词(Token) 和 Term的区别 ,term是最小的搜索的单位,就是每个词语,比如“我是搞IT的”,那么,经过分词 “我”,“是”,“搞”,“IT” 这些都是term,而这些分词的具体信息,比如起始位置信息,都包含在Token当中,在Lucene2.9中之后,已经不推荐用Token(分词),而直接用Attribute表示这些term的属性 

      后来发现写索引的时候正常,但是在搜索的时候,获取搜索关键词是,利用自己写的TokenStream获取分词信息出了错。

  

    tokenStream.Reset();
            //ItermAttribute在Lucene4.8.0中已经替换为CharTermAttribute
            while (tokenStream.IncrementToken())
            {
                
                var termAttr = tokenStream.GetAttribute<ICharTermAttribute>();
                var str = new string(termAttr.Buffer, 0, termAttr.Buffer.Length);
                var positionAttr = tokenStream.GetAttribute<IOffsetAttribute>();
                var start = positionAttr.StartOffset;
                var end = positionAttr.EndOffset;
                yield return new Token() { EndPosition = end, StartPosition = start, Term = str };
            }
           

termAttr.Buffer  是字节数组,而termAttr.Buffer.Length 是字节数组的长度,是固定。而termAttr.Length 是字节数组中实际元素的长度,是不一样的。我那样写会导致得到term字节信息是 [69,5b,23,/0,/0,/0,/0,/0,/0,/0] 因为长度填错了,所以后面自动填充/0,这样自然搜索不到,改成termAttr.Length就可以了。

这里在提一下在Lcuene.net 4.0中新增了BytesRef 类,表示term的字节信息,以后会介绍道

 

转载于:https://www.cnblogs.com/dacc123/p/8118526.html

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/163114.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • 图片变透明之opacity属性

    图片变透明之opacity属性CSS3图像透明度开发工具与关键技术:DW-opacity属性作者:徐晶旗撰写时间:2019年1月18日利用opacity属性来改变图片的透明度,opacity属性能够设置的值从0.0到1.0。值越小,图片越透明。下面这几张图片是执行代码得出的效果,第一张图片没有给它设置opacity值,所以它呈现的是原图,没有透明的效果,后面几张图设置的opacity值越来越小,可…

  • 差分进化算法之Matlab实现「建议收藏」

    差分进化算法之Matlab实现「建议收藏」一、介绍差分进化算法是模拟自然界生物种群以“优胜劣汰,适者生存”为原则的进化发展规律而形成的一种随机启发式搜索算法。其保留了基于种群的全局搜索策略,采用实数编码,基于差分的简单变异操作和一对一的竞争生存策略,比遗传算法更简单。同时,差分进化算法独特的记忆能力使其可以动态的跟踪当前的搜索情况,及时调整搜索测量,因此具有较强的全局收敛能力。目前为止,差分进化算法已经成为一种求解非线性,不可微,多极…

    2022年10月24日
  • 【速查表】PHPStorm快捷键「建议收藏」

    【速查表】PHPStorm快捷键「建议收藏」【速查表】PHPStorm快捷键

  • python读写、创建文件、文件夹等等

    python读写、创建文件、文件夹等等python中对文件、文件夹(文件操作函数)的操作需要涉及到os模块和shutil模块。得到当前工作目录,即当前Python脚本工作的目录路径:os.getcwd()返回指定目录下的所有文件和目录名:os.listdir()函数用来删除一个文件:os.remove()删除多个目录:os.removedirs(r“c:\python”)检验给出的路径是否是一个文件:os.path…

  • windows10如何关闭默认共享(关闭windows默认共享)

    方法一 首先,我们右键桌面上的计算机图标,点击管理选项,如图所示。   接着,在系统工具里的共享文件选项,在右边会列出共享的内容,选择你要停止的共享,右键,选择停止即可,如图所示。   方法二   依旧是打开计算机右键,打开管理选项,然后再左侧的树状列表里找到服务选项,双击打开,如图所示。   然后,在右侧的服务列表里,找到se…

  • centos7系列关闭防火墙但是端口依然无法访问

    centos7系列关闭防火墙但是端口依然无法访问centos7.3系统,已经关闭firewalld,但是除了22端口,其余端口无法被外界访问,本地访问正常,解决步骤:1、先开启firewalld:systemctl start firewalld2、放通端口:firewall-cmd –zone=public –add-port=8080/tcp –permanent3、重新加载配置文件:firewall-cmd –reload此时测试,端口已经能够访问了,如果不需要firewall,可以再关闭,已放通端口不受影响(为什么一开始我不放

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号