大家好,又见面了,我是你们的朋友全栈君。
如何评估词向量?
目前词向量的评估一般分为两大类:extrinsic 和 intrinsic evaluation
即内部评估和外部评估。
内部评估
内部评估直接衡量单词之间的句法和语义关系。这些任务通常涉及一组预先选择的查询术语和语义相关的目标词汇,我们将其称为query inventory
。
similarity 相关性度量
当前绝大部分工作(比如以各种方式改进word embedding)都是依赖wordsim353等词汇相似性数据集进行相关性度量,并以之作为评价word embedding质量的标准。然而,这种基于similarity的评价方式对训练数据大小、领域、来源以及词表的选择非常敏感。而且数据集太小,往往并不能充分说明问题。
评价数据集往往是成对的单词,两个单词的embedding余弦相似度计算出来应该具有较高的相关性(Spearman或Pearson)和人的主观评价分数。
word analogy 类比推理
假设给了一对单词 (a , b) 和一个单独的单词c,task会找到一个单词d,使得c与d之间的关系相似于a与b之间的关系,举个简单的例子:(中国,北京)和 日本,应该找到的单词应该是东京,因为北京是中国的首都,而东京也是日本的首都。 在给定word embedding的前提下,task一般是通过在词向量空间寻找离(b-a+c)最近的词向量来找到d。
此方法来源于Mikolov et al. (2013a),并流行开来。
外部评估
应用到下游任务
比如词性标注、命名实体识别、句法分析、句子分类等,将词向量作为输入,衡量下游任务指标性能的变化。
但这种评估只能方法只是提供了一种证明embedding优点的方法,而不清楚它是如何与其他衡量指标联系其他的。也就是说,基于具体应用的评价是一种间接方式,中间还隔了一层。
虽说如此,根据论文Evaluation methods for unsupervised word embeddings,还是这种方法最好,并且此论文提出了新的评估方法。
可视化
也可以做可视化来展示,使用t-sne等
发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/139736.html原文链接:https://javaforall.cn
【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛
【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...