文本挖掘的介绍

大家好，又见面了，我是你们的朋友全栈君。

1、文本挖掘的定义

文本挖掘是指从大量文本的集合C中发现隐含的模式p。如果将C看作输入,将p看作输出,那么文本挖掘的过程就是从输入到输出的一个映射ξ:C→ p。

2、文本挖掘过程包含的技术

文本特征的提取、信息检索、自然语言处理、文本挖掘、文本分类、文本聚类、关联分析等等

3、文本挖掘的一般过程

3.1　数据预处理技术

预处理技术主要包括Stemming(英文)/分词(中文)、特征表示和特征提取

3. 1. 1　分词技术

目前主要有基于词库的分词算法和无词典的分词技术两种。

（1）基于词库的分词算法包括正向最大匹配、正向最小匹配、逆向匹配及逐词遍历匹配法等。这类算法的特点是易于实现,设计简单;但分词的正确性很大程度上取决于所建的词库

（2）基于无词典的分词技术的基本思想是:基于词频的统计,将原文中任意前后紧邻的两个字作为一个词进行出现频率的统计,出现的次数越高,成为一个词的可能性也就越大,在频率超过某个预先设定的阈值时,就将其作为一个词进行索引。这种方法能够有效地提取出未登录词。

3. 1. 2　特征表示

1、文本特征指的是关于文本的元数据,分为描述性特征(如文本的名称、日期、大小、类型等)和语义性特征(如文本的作者、机构、标题、内容等)。

2、特征表示是指以一定特征项(如词条或描述)来代表文档,在文本挖掘时只需对这些特征项进行处理,从而实现对非结构化的文本处理。

3、特征表示的构造过程就是挖掘模型的构造过程。特征表示模型有多种,常用的有布尔逻辑型、向量空间模型(Vector SpaceModel,VSM)、概率型以及混合型等

3. 1. 3　特征提取

1、用向量空间模型得到的特征向量的维数往往会达到数十万维,如此高维的特征对即将进行的分类学习未必全是重要、有益的。因此需要选择一些价值高的特征。

2、特征提取算法一般是构造一个评价函数,对每个特征进行评估,然后把特征按分值高低排队,预定数目分数最高的特征被选取。在文本处理中,常用的评估函数有信息增益(Informa-tionGain)、期望交叉熵(Expected Cross Entropy)、互信息(Mu-
tual Information)、文本证据权(TheWeightofEvidence forText)和词频。

4、挖掘分析技术

文本结构分析、文本摘要、文本分类、文本聚类、文本关联分析、分布分析和趋势预测等

4.1文本摘要

任何一篇文章总有一些主题句,大部分位于整篇文章的开头或末尾部分,而且往往是在段首或段尾,因此文本摘要自动生成算法主要考察文本的开头、末尾,而且在构造句子的权值函数时,相应的给标题、子标题、段首和段尾的句子较大的权值,按权值大小选择句子组成相应的摘要。

4.2文本分类

文本分类的目的是让机器学会一个分类函数或分类模型,该模型能把文本映射到己存在的多个类别中的某一类,使检索或查询的速度更快,准确率更高。训练方法和分类算法是分类系统的核心部分。用于文本分类的分类方法较多,主要有朴素贝叶斯分类(Native Bayes)、向量空间模型、决策树、支持向量机、后向传播分类、遗传算法、基于案例的推理、K -最临近、基于中心点的分类方法、粗糙集、模糊集以及线性最小二乘(LinearLeastSquare Fit,LLSF)。

4.3文本聚类

文本分类是将文档归入到己经存在的类中,文本聚类的目标和文本分类是一样的,只是实现的方法不同。文本聚类是无教师的机器学习,聚类没有预先定义好的主题类别,它的目标是将文档集合分成若干个簇,要求同一簇内文档内容的相似度尽可能大,而不同簇间的相似度尽可能小。

层次凝聚法和以K-means等算法为代表的平面划分法。

4.4关联分析

关联分析是指从文档集合中找出不同词语之间的关系。

4.5分布分析与趋势预测

分布分析与趋势预测是指通过对文档的分析,得到特定数据在某个历史时刻的情况或将来的取值趋势。

4.6可视化技术

数据可视化(DataVisualization)技术指的是运用计算机图形学和图像处理技术,将数据转换为图形或图像在屏幕上显示出来,并进行交互处理的理论、方法和技术。