jieba库详解「建议收藏」

jieba库详解「建议收藏」jieba是优秀的中文分词第三方库中文文本需要通过分词获得单个的词语jieba是优秀的中文分词第三方库,需要额外安装jieba库提供三种分词模式,最简单只需安装一个函数。jieba库是通过中文词库的方式来识别分词的。安装命令如下:点击windows+r,进入命令提示符输入cmd,进入界面后,输入pipinstalljieba。即可安装,示例如下:安装界面如下:jieba库分词依靠中文词库利用一个中文词库,确定汉字之间的关联概念汉字间概率大的组成词组,形成.

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE使用 1年只要46元 售后保障 童叟无欺

jieba是优秀的中文分词第三方库

中文文本需要通过分词获得单个的词语

jieba是优秀的中文分词第三方库,需要额外安装

jieba库提供三种分词模式,最简单只需安装一个函数。

jieba库是通过中文词库的方式来识别分词的。

安装命令如下:

点击windows+r,进入命令提示符输入cmd,进入界面后,输入pip install jieba。即可安装,示例如下:

jieba库详解「建议收藏」

安装界面如下: 

jieba库详解「建议收藏」

jieba库分词依靠中文词库

利用一个中文词库,确定汉字之间的关联概念

汉字间概率大的组成词组,形成分词结果

除了分词,用户还可以添加自定义的词组。

jieba分词的三种模式:

精确模式、全模式、搜索引擎模式

精确模式:把文本精确的切分开,不存在冗余单词

全模式:把文本中所有可能的词语都扫描出来,有冗余。

搜索引擎模式:在精确模式基础上,对长词进行切分。

jieba库的主要方法如下:

1.jieba.lcut(s) 精确模式,返回一个列表类型的分词结果

代码示例如下:

import jieba
a=jieba.lcut("约翰沃尔是NBA超级巨星")
print(a)

运行界面如下:

jieba库详解「建议收藏」

2.jieba.lcut(s,cut_all=True)全模式,返回一个列表类型的分词结果,存在冗余。

代码示例如下:

import jieba
a=jieba.lcut("约翰沃尔是NBA超级巨星",cut_all=True)
print(a)

运行界面如下:

jieba库详解「建议收藏」

 3.jieba.lcut_for_search(s)搜索引擎模式。

代码示例如下:

import jieba
a=jieba.lcut_for_search("中华人民共和国是伟大的")
print(a)

运行界面如下:4. 

jieba库详解「建议收藏」

4.jieba.add_word(w),向分词词典增加新词w。

代码示例如下:

import jieba
a=jieba.add_word("奇才队控球后卫约翰沃尔是NBA超级巨星")
b=jieba.lcut("奇才队控球后卫约翰沃尔是NBA超级巨星")
print(b)

运行界面如下:

jieba库详解「建议收藏」

jieba.lcuts(s),能够将字符串s进行精确的分词处理,并且返回一个列表类型。 

 

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/191073.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • fastjson object转jsonobject_jsonobject取值

    fastjson object转jsonobject_jsonobject取值众所周知,kafka中存储的数据是经过BASE64加密后的jsonObject,因此从kafka中读取的数据经过base64解码,得到的是json串,利用JSONObect的方法可以对json串进行解析,拿到对应的数据。那么要如何将scala对象或者java对象转换为JsonObject对象或JSONObject对象呢?(注意:JsonObject对象和JSONObject对象不同,调用的API也…

  • TCP、UDP绑定同一端口通信的解释

    TCP、UDP绑定同一端口通信的解释昨日突然讨论起TCP与UDP是否可以在同一端口进行绑定,通信。在印象当中我记得是可以的,今日google了相关资料,确定以及肯定的:TCP、UDP可以绑定同一端口来进行通信:       网络中可以被命名和寻址的通信端口,是操作系统可分配的一种资源。       按照OSI七层协议的描述,传输层与网络层在功能上的最大区别是传输层提供进程通信能力。从这个意义上讲,网络通信的最…

  • java中的jQuery与Ajax的应用,菜鸟教程

    一、简介   1. Ajax,并不是指一种单一的技术,而是有机的利用了一系列交互式网页应用相关的技术所形成的结合体。Ajax揭开了无刷新更新页面的新时代,并有代替系统的Web方式和通过隐藏的框架来进行异步提交的趋势,是Web开发应用的一个里程碑。Ajax全称(AsynchronousJavaScriptandXML),即异步JavaScript和XML。实现客户端异步请求操作,不刷新整个…

  • jsp用户信息管理系统

    jsp用户信息管理系统实现功能1.用户信息注册2.用户信息新增3.用户信息列表4.用户信息删除5.用户信息修改6.用户登录项目包结构:sqlsever数据库结构USE[MyDB]GO/******Object:Table[dbo].[users]ScriptDate:2020/11/119:26:07******/SETANSI_NULLSONGOSETQUOTED_IDENTIFIERONGOSETANSI_PADDINGONGOCREATETABL

    2022年10月17日
  • laravel 开启定时任务需要操作

    laravel 开启定时任务需要操作

  • 机器学习之K均值聚类

    K均值聚类思想  聚类的核心概念是相似度或距离,有很多相似度或距离的方法,比如欧式距离、马氏距离、相关系数、余弦定理、层次聚类和K均值聚类等  K均值聚类的

    2021年12月30日

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号