如何评估词向量?「建议收藏」

如何评估词向量?「建议收藏」如何评估词向量?目前词向量的评估一般分为两大类:extrinsic和intrinsicevaluation即内部评估和外部评估。内部评估内部评估直接衡量单词之间的句法和语义关系。这些任务通常涉及一组预先选择的查询术语和语义相关的目标词汇,我们将其称为queryinventory。similarity相关性度量当前绝大部分工作(比如以各种方式改进wordembedding)都…

大家好,又见面了,我是你们的朋友全栈君。

如何评估词向量?

目前词向量的评估一般分为两大类:extrinsic 和 intrinsic evaluation

即内部评估和外部评估。

内部评估

内部评估直接衡量单词之间的句法和语义关系。这些任务通常涉及一组预先选择的查询术语和语义相关的目标词汇,我们将其称为query inventory

similarity 相关性度量

当前绝大部分工作(比如以各种方式改进word embedding)都是依赖wordsim353等词汇相似性数据集进行相关性度量,并以之作为评价word embedding质量的标准。然而,这种基于similarity的评价方式对训练数据大小、领域、来源以及词表的选择非常敏感。而且数据集太小,往往并不能充分说明问题。

评价数据集往往是成对的单词,两个单词的embedding余弦相似度计算出来应该具有较高的相关性(Spearman或Pearson)和人的主观评价分数。

word analogy 类比推理

假设给了一对单词 (a , b) 和一个单独的单词c,task会找到一个单词d,使得c与d之间的关系相似于a与b之间的关系,举个简单的例子:(中国,北京)和 日本,应该找到的单词应该是东京,因为北京是中国的首都,而东京也是日本的首都。 在给定word embedding的前提下,task一般是通过在词向量空间寻找离(b-a+c)最近的词向量来找到d。

此方法来源于Mikolov et al. (2013a),并流行开来。

外部评估

应用到下游任务

比如词性标注、命名实体识别、句法分析、句子分类等,将词向量作为输入,衡量下游任务指标性能的变化。

但这种评估只能方法只是提供了一种证明embedding优点的方法,而不清楚它是如何与其他衡量指标联系其他的。也就是说,基于具体应用的评价是一种间接方式,中间还隔了一层。

虽说如此,根据论文Evaluation methods for unsupervised word embeddings,还是这种方法最好,并且此论文提出了新的评估方法。

可视化

也可以做可视化来展示,使用t-sne等

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/139736.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • vscode python flake8 报错怎么办

    vscode python flake8 报错怎么办vscodepythonflake8报错怎么办

  • C++11智能指针

    为了解决C++内存泄漏的问题,C++11引入了智能指针(SmartPointer)。智能指针的原理是,接受一个申请好的内存地址,构造一个保存在栈上的智能指针对象,C++中有一个重要原则,在函数结束

    2021年12月28日
  • 解决Discuz安装时报错“该函数需要 php.ini 中 allow_url_fopen 选项开启…”

    解决Discuz安装时报错“该函数需要 php.ini 中 allow_url_fopen 选项开启…”开启php的fsockopen函数——解决DZ论坛安装问题“该函数需要php.ini中allow_url_fopen选项开启。请联系空间商,确定开启了此项功能在安装dz论坛时遇到因为fsockopen()函数问题无法进入下一步,安装错误显示“该函数需要php.ini中allow_url_fopen选项开启。请联系空间商,确定开启了此项功能”,经过分析,总结了3个解决这个…

  • oracle数据库菜鸟入门

    oracle数据库菜鸟入门所有应用软件之中,数据库可能是最复杂的。MySQL的手册有3000多页,PostgreSQL的手册有2000多页,Oracle的手册更是比它们相加还要厚。但是,自己写一个最简单的数据库,做起来并不难。Reddit上面有一个帖子,只用了几百个字,就把原理讲清楚了。下面是我根据这个帖子整理的内容。一、数据以文本形式保存第一步,就是将所要保存的数据,写入文本文件。这个文本文件就是你的数据库。为了方便读取,数据必须分成记录,每一条记录的长度规定为等长。比如,假定每条记录的长度是800字节,那

  • 关于局域网和广域网的叙述中正确的是_城域网是介于广域网和局域网

    关于局域网和广域网的叙述中正确的是_城域网是介于广域网和局域网关于局域网和广域网

    2022年10月18日
  • Linux重启网卡的方法「建议收藏」

    Linux重启网卡的方法「建议收藏」重启网卡的几种方法:一、network利用root帐户#servicenetworkrestart二、ifdown/ifup#ifdowneth0#ifupeth0三、ifconfig#ifconfigeth0down#ifconfigeth0up

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号