基于机器学习的文本分类算法的研究[通俗易懂]

基于机器学习的文本分类算法的研究[通俗易懂]1.简述文本分类的方法属于有监督的学习方法,分类过程包括文本预处理、特征抽取、降维、分类和模型评价。本文首先研究了文本分类的背景,中文分词算法。然后是对各种各样的特征抽取进行研究,包括词项频率-逆文档频率和word2vec,降维方法有主成分分析法和潜在索引分析,最后是对分类算法进行研究,包括朴素贝叶斯的多变量贝努利模型和多项式模型,支持向量机和深度学习方法。深度学习方法包括多层感知机,卷积神…

大家好,又见面了,我是你们的朋友全栈君。

1. 简述

文本分类的方法属于有监督的学习方法,分类过程包括文本预处理、特征抽取、降维、分类和模型评价。本文首先研究了文本分类的背景,中文分词算法。然后是对各种各样的特征抽取进行研究,包括词项频率-逆文档频率和word2vec,降维方法有主成分分析法和潜在索引分析,最后是对分类算法进行研究,包括朴素贝叶斯的多变量贝努利模型和多项式模型,支持向量机和深度学习方法。深度学习方法包括多层感知机,卷积神经网络和循环神经网络。

2. 背景

目前,人工智能发展迅猛,在多个领域取得了巨大的成就,比如自然语言处理,图像处理,数据挖掘等。文本挖掘是其中的一个研究方向。根据维基百科的定义,文本挖掘也叫文本数据挖掘,或是文本分析,是从文本中获取高质量信息的过程,典型的任务有文本分类、自动问答、情感分析、机器翻译等。文本分类是将数据分成预先定义好的类别,一般流程为:1. 预处理,比如分词,去掉停用词;2. 文本表示及特征选择;3. 分类器构造;4. 分类器根据文本的特征进行分类;5. 分类结果的评价。

由于近年来人工智能的快速发展,文本分类技术已经可以很好的确定一个未知文档的类别,而且准确度也很好。借助文本分类,可以方便进行海量信息处理,节约大量的信息处理费用。广泛应用于过滤信息,组织与管理信息,数字图书馆、垃圾邮件过滤等社会生活的各个领域。

3. 文本分类的过程

文本分类(Text Classification)利用有监督或是无监督的机器学习方法对语料进行训练,获得一个分类模型,这个模型可以对未知类别的文档进行分类,得到预先定义好的一个或多个类别标签,这个标签就是这个文档的类别。

基于机器学习的文本分类算法的研究[通俗易懂]

基于机器学习的文本分类算法的研究[通俗易懂]

4. 预处理

本文处理的数据是文本,预处理是对文本数据进行处理,大都是非结构化的文本信息。预处理就是去除没用的信息,同时把有用文本信息用数字表示,这样才可以为计算机处理。文本预处理主要包括分词、去除停用词和特殊符号。英文的基本单位是单词,可以根据空格和标点符号进行分词,然后再提取词根和词干。中文的基本单位是字,需要一些算法来进行分词。现在主要的中文分词方法有:

(1)基于字符串匹配的分词方法[2]

该方法是将待分词的字符串从头或尾开始切分出子串,再与存有几乎所有中文词语的词典匹配,若匹配成功,则子串是一个词语。根据匹配位置的起点不同,分为正向最大匹配算法(Forward Maximum Matching method,FMM)、逆向最大匹配算法(Reverse Maximum Matching method,RMM)和双向匹配算法(Bi-direction Matching method,BM)。双向匹配算法利用了前两者的优势,有更好的效果。

(2)基于统计及机器学习的分词方法[3]

主要有隐马尔可夫模型(Hidden Markov Model,HMM)和条件随机场(Conditional Random Field,CRF)。HMM假设任一时刻的状态只依赖前一时刻的状态和任意时刻的观测值只与该时刻的状态值有关。它是关于时序的概率图模型,由一个不可观测的状态随机序列,经过状态转移概率和发射概率生成观测值的过程。如图2.2所示,在分词中,每个字(观测值)都对应一个状态,状态集用B(词开始)、E(词的结束)、M(词的中间)和S(单字成词)表示,转移矩阵(BEMS*BEMS)是状态集里的元素到其他元素的概率值大小,发射矩阵是从状态到观测的概率大小。最后用Viterbi算法获得一句话的最大概率的状态,再根据状态进行分词。

基于机器学习的文本分类算法的研究[通俗易懂]

和隐马尔科夫模型一样,条件随机场也是基于学习字的状态来进行状态分析,最后根据状态分词,但条件随机场还利用了上下文的信息,所以准确率高于隐马尔可夫模型。

5. 特征抽取和选择

文档经过分词和去除停用词后,词就表示文本的特征项,所以训练集中的全部特征项构成的向量空间的维度相当高,能够达到几万甚至几十万维,需要选择和抽取重要的特征。

文本经过预处理后,会得到一个一个的词语,而中文的词语的多种多样的,造成维度很高的特征向量,而且每个文档的维度不一定一致,给后面的分类产生影响。所以需要进行特征选择。

目前的特征选择算法有好多,列举以下几种:

(1)词项频率-逆文档频率(Term Frequency-Inverse Document Frequency,TF-IDF)

每个属于文档d基于机器学习的文本分类算法的研究[通俗易懂] 的词项t基于机器学习的文本分类算法的研究[通俗易懂] 的权重用公式2.2计算:

基于机器学习的文本分类算法的研究[通俗易懂]

|D| 是文档集D 的文档个数,分母加1防止除数为零。在TF-IDF中词项频率(TF)用逆文档频率(IDF)归一化,这种归一化降低了文档集里词项出现频率大的权重,保证能够区分文档的词项有更大的权重,而这些词项一般有比较低的频率。

(2)互信息(Mutual Information,MI)

互信息测量的是两个变量之间的相关程度,在文本分类中,计算的是特征项t基于机器学习的文本分类算法的研究[通俗易懂] 和类别li基于机器学习的文本分类算法的研究[通俗易懂] 的相关程度,如公式2.3所示:

基于机器学习的文本分类算法的研究[通俗易懂]

MI的值越大,相关度越高。在进行特征选择时,选择高于某个阈值的k个特征项作为表示这个文档的向量。

(3)CHI统计(CHI-square statistic)

CHI统计计算的是特征项t基于机器学习的文本分类算法的研究[通俗易懂] 和类别基于机器学习的文本分类算法的研究[通俗易懂] 的相关程度,如公式2.4所示:

基于机器学习的文本分类算法的研究[通俗易懂]

特征选择与MI一样,他与MI的目的一样,都是计算特征项和类别的相关程度,只是计算公式不一样。

常见的特征提取方法有主成分分析,潜在语义索引,word2vec等。

(1)主成分分析(Principal Component Analysis ,PCA)

主成分分析通过线性变换,通常乘以空间中的一个基,将原始数据变换为一组各维度线性无关的矩阵,用于提取数据的主要特征分量,常用于高维数据的降维。如公式2.5所示:

基于机器学习的文本分类算法的研究[通俗易懂]

基于机器学习的文本分类算法的研究[通俗易懂]

(2)潜在语义分析(Latent Semantic Analysis,LSA)[5]

又称潜在语义索引(Latent Semantic Indexing,LSI),本质上是把高维的词频矩阵进行降维,降维方法是用奇异值分解(Singular Value Decomposition, SVD),假设词-文档矩阵如2.7所示:

基于机器学习的文本分类算法的研究[通俗易懂]

(3)word2vec

word2vec的作用是将由one-hot编码获得的高维向量转换为低维的连续值向量,也就是稠密向量,又称分布式表示,可以很好的度量词与词之间的相似性,是一个浅层的神经网络,用的是CBoW模型和skip-gram模型。而奠定word2vec基础的是用神经网络建立统计语言模型的神经网络语言模型[10](Neural Network Language Model, NNLM),整个模型如下图2.3:

基于机器学习的文本分类算法的研究[通俗易懂]

首先是一个线性的嵌入式层,将输入的one-hot词向量通过 D×V 的矩阵 C 映射为 N-1 个词向量, V 是词典的大小, D 是词向量的维度,而 C 矩阵就存储了要学习的词向量。

接下来是一个前向反馈神经网络,由tanh隐藏层和softmax输出层组成,将嵌入层输出的 N-1 个词向量映射为长度为V 的概率分布向量,从而对词典中输入的词Wt 在context下进行预测,公式如下:

 

基于机器学习的文本分类算法的研究[通俗易懂]

由于NNLM只能处理定长序列,而且训练速度太慢,所以需要改进,移除tanh层,忽略上下文的序列信息,得到的模型称为CBoW[11](Continuous Bag-of-Words Model),作用是将词袋模型的向量乘以嵌入式矩阵,得到连续的嵌入向量,它是在上下文学习以得到词向量的表达。而Skip-gram模型则是对上下文里的词进行采样[11],即从词的上下文获得词向量,如图2.4所示。

基于机器学习的文本分类算法的研究[通俗易懂]

改进后的神经网络仅三层,其中隐藏层的权重即是要训练的词向量。

6. 对语料进行分类后,要对分类结果进行评价

(1)准确率(precision)和召回率(recall)

准确率,是分类结果中的某类别判断正确的文档中有多少是真正的正样本的比例,是针对预测结果而言的,衡量的是分类系统的查准率。计算公式如下:

基于机器学习的文本分类算法的研究[通俗易懂]

召回率,是原来某个类别的文本的分类结果中有多少被预测为正确的比例,是针对原来样本而言的,衡量的是分类系统的查全率。计算公式如下:

基于机器学习的文本分类算法的研究[通俗易懂]

但是,准确率和召回率不总是正相关,有时是负相关,需要F测度来平衡。

(2)F测度(F-measure)

是正确率和召回率的的加权调和平均,公式如下:

基于机器学习的文本分类算法的研究[通俗易懂]

基于机器学习的文本分类算法的研究[通俗易懂] 时,就是F1,即

基于机器学习的文本分类算法的研究[通俗易懂]

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/133564.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)
blank

相关推荐

  • Unity零基础到入门 ☀️| 一起走进游戏引擎界大佬——Unity 的陈情往事,Unity故事背景介绍

    Unity零基础到入门 ☀️| 一起走进游戏引擎界大佬——Unity 的陈情往事,Unity故事背景介绍Unity背景故事。本篇博客来介绍一下游戏界的大佬——Unity!让你对Unity有更多的了解。

  • foreach跳出本次/当前循环与终止循环方法_js 跳出for循环

    foreach跳出本次/当前循环与终止循环方法_js 跳出for循环1、forEach跳出本次循环可使用return语句跳出本次循环,执行下一次循环vararr=[1,2,3,4,5,6]arr.forEach((item)=>{ if(item===3){ return }console.log(item)})将输出12456,3不会输出2、forEach终止循环forEach无法通过正常流程(如break)终止循环,但可通过抛出异常的方式实现终止循环vararr=[1,2,3,4,5,6]tr

    2022年10月21日
  • kraken注释物种,eggnog注释基因一条龙服务

    kraken注释物种,eggnog注释基因一条龙服务cd/mnt/10t/database/kraken2-build–download-librarybacteria–dbkrakenbac–use-ftpkraken2-build–download-libraryarchaea–dbkrakenarch–use-ftpmkdir/mnt/10t/mzy/24samples/taxcd/mnt/10t/mzy/24samples/taxforiin123126134131125140132

    2022年10月30日
  • vdbench的使用教程——裸盘测试和文件系统测试

    一、vdbench简介  vdbench是一个I/O工作负载生成器,用于验证数据完整性和度量直接附加和网络连接的存储的性能。它是一个免费的工具,容易使用,而且常常用于测试和基准测试。可以使用vdbench测试磁盘和文件系统的读写性能。vdbench中常用的一些名词解释:HD  主机定义 SD  存储定义  WD 工作负载定义 RD  运行定义 FSD…

  • 把字符串转换成float类型_c++如何将string类型转换成int类型

    把字符串转换成float类型_c++如何将string类型转换成int类型在学习数据结构经常碰到各种数据间转换的例程,就想c的库里面有没有现有的函数,用的时候直接调用就好,一查果然有:整型转字符串itoa();字符串转整型atoi();用的时候需要添加头文件#include<stdlib.h>。itoa();功能:将整形(int)转换为字符串(char),十进制转任意进制,以字符形式输出(转换后的结果以字符形式输出)使用方式:首先要申明头文件stdlib.hchar*_itoa(intvalue,char*string,intradix).

  • @Param注解的使用和解析「建议收藏」

    @Param注解的使用和解析「建议收藏」作用:用注解来简化xml配置的时候(比如Mybatis的Mapper.xml中的sql参数引入),@Param注解的作用是给参数命名,参数命名后就能根据名字得到参数值,正确的将参数传入sql语句中(一般通过#{}的方式,${}会有sql注入的问题)。实例说明:1,使用@Param注解  Mapper接口方法:publicintgetUsersDetail(@Param("u…

    2022年10月26日

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号