word2vec原理概述

word2vec原理概述最近阅读了Mikolov两篇关于word2vec的论文,结合Goldberg对这两篇论文的解读,作如下概述。概述在较早的论文“EfficientEstimationofWordRepresentationsinVectorSpace”中,Mikolov讨论了FeedforwardNeuralNetLanguageModel(NNLM)、RecurrentNeural

大家好,又见面了,我是你们的朋友全栈君。

  • 最近阅读了Mikolov两篇关于word2vec的论文,结合Goldberg对这两篇论文的解读,作如下概述。
  • 概述

在较早的论文“Efficient Estimation of Word Representations in Vector Space”中,Mikolov讨论了Feedforward Neural Net Language Model (NNLM)、Recurrent Neural Net Language Model (RNNLM)以及论文中描述的两个新模型Continuous Bag-of-Words Model (CBOW)和Continuous Skip-gram Model (Skip-gram). 

 
NNLM是最早提出的前馈神经网络模型,模型由输入层(input)、映射层(projection)、隐藏层(hidden)和输出层(output)构成,其中主要的计算瓶颈是映射曾到隐藏层的转换;RNNLM克服了NNLM的部分局限性,比如无需指定语境的长度。RNN没有映射层,只有输入、隐藏、输出三层。至此,神经网络语言模型的性能瓶颈集中在了非线性的隐藏层中。
 
 为了提升计算效率,作者提出了CBOW和Skip-gram。其中CBWM去除了隐藏层,并让输入层的所有单词共享映射层。从图一左可以看到,CBOW使用围绕目标单词的其他单词(语境)作为输入,在映射层做加权处理后输出目标单词。
word2vec原理概述
区别于CBOW根据语境预测目标单词,Skip-gram根据当前单词预测语境,如图一右所示。在“

Distributed Representations of Words and Phrases and their Compositionality
”中,作者对Skip-gram做了进一步的论述和扩展。本文详细描述Skip-gram的原理及扩展。

  • 定义及符号

 
  
  
  
文本集合(Text):
T

单词(word):
w,使用长度为d的列向量表示
语境(context):以单词
w
为中心,向前k个单词,向后k个单词所形成的短语中包含的单词
模型参数:
θ
条件概率p(
c
|
w
):当
w
出现时,某一语境
c
出现的概率
C(
w
):在文本集合
T
中,单词
w
出现过的语境包含的单词的集合
语境中的单词
c,使用长度为d的列向量表示 
c

C(
w
)
c
w
均表示单词,但作者认为,即使对于同一个单词,比如apple,它作为普通单词和作为语境中的单词是的向量表示是不同的,因此使用不同的符号来表示语境中的单词和普通单词。
V:文本集合对应的词汇表
D:所有单词
w
和它的语境
C(
w
)
构成的组合的集合
  • Skip-gram

Skip-gram的目标是寻找参数集合
θ来最大化如下条件概率的乘积:

word2vec原理概述
等同于下式:
word2vec原理概述
作者使用了逻辑回归的扩展Softmax [4] 对
θ
进行形式化处理,使得条件概率转化为下式:
word2vec原理概述
其中vc和vw分别是
c

w
的列向量,维度为d
C
是所有语境中的单词构成的集合,等同于词汇表V。参数
θ
就是vc和vw中每一维度的具体取值,参数的总数为|C|
×|V|×
d
。将式3代入式2,并于等式两边取对数可得:
word2vec原理概述
作者认为,通过训练得到的单词的向量表示vw能够使得条件概率p(c|w)最大化,则vw是w的好的表示。这里潜在的基本假设是:相似的单词拥有相似的语境。换言之,特定的语境只有确定的语义才能够与之匹配。通过最大化条件概率,使得单词和语境之间的对应关系最大化,进而满足了基本假设:相似的单词拥有相似的语境。而满足条件概率最大化的单词矢量,也就成为了单词语义的合理表示。
从式3可以发现,由于条件概率
p(
c
|
w
)的分母计算需要很大代价,作者使用hierarchical softmax来近似softmax,并用霍夫曼树来构建hierachical softmax.
  • Negative Sampling

另一种降低计算代价的方法是改变目标函数。对于一个单词、语境组合(
w,
c
),使用p(D=1|
w,
c
)来表示这个组合存在于
T
中的概率,对应的
p(D=0|
w,
c
) = 1-
p(D=1|
w,
c
)
,表示

w,
c
)不在
T
中的概率。与前文类似,假设集合
θ是控制
p(D=1|
w,
c
)分布的参数,那么此时的目标是寻找参数集合θ来最大化

w,
c
)存在于
T
中的概率:

word2vec原理概述
同样,使用softmax来量化p(D=1|
w,
c;
θ
):
word2vec原理概述
因此,最终的目标函数为:
word2vec原理概述
为了使目标函数最大化,有一个很简单的方法,即使得vc=vw,且vc·vw=K。当K足够大时,可以得到
p(D=1|
w,
c
)=1,从而达到目标函数最大化。因此,为了所有的矢量有相同的值,作者生成了一个数据集D’,D’中的所有单词、语境组合都不存在于
T
中,这些样例被称之为反例(negative examples),而获得反例的采样方法被称之为反例采集(negative-sampling)。引进了反例之后的目标函数演变为:
word2vec原理概述
假设σ(x)=1/(1+e-x),则:
word2vec原理概述
和式4进行比较,可以明显的看到累加嵌套的消除。两者最大的区别是式4根据条件概率
p(
c
|
w
)进行建模而此处根据联合概率
p(D=1|
w,
c
)进行建模


  • 参考文献
  1. Efficient Estimation of Word Representations in Vector Space
  2. Distributed Representations of Words and Phrases and their Compositionality
  3. word2Vec Explained: Deriving Mikolov et al.’s Negative-Sampling Word-Embedding Method
  4. Softmax Regression, www.cnblogs.com/tornadomeet/archive/2013/03/22/2975978.html

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/145479.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)
blank

相关推荐

  • Hmily(1)

    Hmily(1)1. Hmily是个高性能异步分布式事务TCC框架,具体包含SpringAOP,Disruptor,Dubbo等框架,当然还有其他的RPC框架。源码在https://github.com/yu199195/hmily,本文以duubo调用,mysql存储事务日志,kryo序列化为主,主要以下单支付减库存减余额为例,注解为Hmily,确认方法,取消方法和本次的tyr操作方法参数应该保持一致。前两个…

  • 基于阿里云Aliddns动态域名解析的客户端PHP实现与服务器端(包含C与PHP)实现

    基于阿里云Aliddns动态域名解析的客户端PHP实现与服务器端(包含C与PHP)实现很多朋友的公司或家里有一台上网的机器,这些上网的机器有些能够获得公网IP,但是这些IP通常不固定。大家都想充分利用这些上网设备的网络能力来搭建服务器环境,但由于IP地址老是变化,因此,即使是给这些机器分配了域名,也时常无法访问。于是,很多人想到了动态域名解析,即域名不变,IP地址变化,域名解析记录能够跟随IP地址变化,目前市场上有几种商业的解析方案实现,例如花生壳,更多的就不举例了,避免给他们做免费广告。这些都要收费,而且可能要通过CNAME(将您的域名解析成别人的域名)方式…

  • pygame安装(2020版超详细)[通俗易懂]

    pygame安装(2020版超详细)[通俗易懂]在网上找了很多安装教程但是没有成功,最后结合很多教程的步骤终于安装成功啦下面分享一下步骤:1.查看安装版本输入d:(因为我的python是安装在d盘的)输入python会出现安装的版本

  • Jenkins(8)构建触发器之定时构建和轮询 SCM「建议收藏」

    Jenkins(8)构建触发器之定时构建和轮询 SCM「建议收藏」前言跑自动化用例每次用手工点击jenkins出发自动化用例太麻烦了,我们希望能每天固定时间跑,这样就不用管了,坐等收测试报告结果就行。jenkins的定时任务是用的crontab语法定时构建语法

  • 01_Hadoop环境搭建

    01_Hadoop环境搭建

  • 【ArcGIS】基础教程:全域莫兰指数与局域莫兰指数的计算

    【ArcGIS】基础教程:全域莫兰指数与局域莫兰指数的计算莫兰指数(Moran’sI)是研究变量在同一个分布区内的观测数据之间潜在的相互依赖性的一个重要研究指标,在本文中,我们将探讨局域(AnselinLocalMoranI)与全域两种莫兰指数(MoranI)计算在Arcgis中的实现。作者才疏学浅,如有任何错误欢迎指正。全域莫兰指数首先请注意,在Arcgis中计算莫兰指数时只能使用矢量数据进行计算。所以如果需要计算一个栅格数据的莫兰指数的话,建议先转换成矢量数据再进行计算。计算全域莫兰指数的工具为【工具箱——SpatialStatistic

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号