word2vec原理概述

word2vec原理概述最近阅读了Mikolov两篇关于word2vec的论文,结合Goldberg对这两篇论文的解读,作如下概述。概述在较早的论文“EfficientEstimationofWordRepresentationsinVectorSpace”中,Mikolov讨论了FeedforwardNeuralNetLanguageModel(NNLM)、RecurrentNeural

大家好,又见面了,我是你们的朋友全栈君。

  • 最近阅读了Mikolov两篇关于word2vec的论文,结合Goldberg对这两篇论文的解读,作如下概述。
  • 概述

在较早的论文“Efficient Estimation of Word Representations in Vector Space”中,Mikolov讨论了Feedforward Neural Net Language Model (NNLM)、Recurrent Neural Net Language Model (RNNLM)以及论文中描述的两个新模型Continuous Bag-of-Words Model (CBOW)和Continuous Skip-gram Model (Skip-gram). 

 
NNLM是最早提出的前馈神经网络模型,模型由输入层(input)、映射层(projection)、隐藏层(hidden)和输出层(output)构成,其中主要的计算瓶颈是映射曾到隐藏层的转换;RNNLM克服了NNLM的部分局限性,比如无需指定语境的长度。RNN没有映射层,只有输入、隐藏、输出三层。至此,神经网络语言模型的性能瓶颈集中在了非线性的隐藏层中。
 
 为了提升计算效率,作者提出了CBOW和Skip-gram。其中CBWM去除了隐藏层,并让输入层的所有单词共享映射层。从图一左可以看到,CBOW使用围绕目标单词的其他单词(语境)作为输入,在映射层做加权处理后输出目标单词。
word2vec原理概述
区别于CBOW根据语境预测目标单词,Skip-gram根据当前单词预测语境,如图一右所示。在“

Distributed Representations of Words and Phrases and their Compositionality
”中,作者对Skip-gram做了进一步的论述和扩展。本文详细描述Skip-gram的原理及扩展。

  • 定义及符号

 
  
  
  
文本集合(Text):
T

单词(word):
w,使用长度为d的列向量表示
语境(context):以单词
w
为中心,向前k个单词,向后k个单词所形成的短语中包含的单词
模型参数:
θ
条件概率p(
c
|
w
):当
w
出现时,某一语境
c
出现的概率
C(
w
):在文本集合
T
中,单词
w
出现过的语境包含的单词的集合
语境中的单词
c,使用长度为d的列向量表示 
c

C(
w
)
c
w
均表示单词,但作者认为,即使对于同一个单词,比如apple,它作为普通单词和作为语境中的单词是的向量表示是不同的,因此使用不同的符号来表示语境中的单词和普通单词。
V:文本集合对应的词汇表
D:所有单词
w
和它的语境
C(
w
)
构成的组合的集合
  • Skip-gram

Skip-gram的目标是寻找参数集合
θ来最大化如下条件概率的乘积:

word2vec原理概述
等同于下式:
word2vec原理概述
作者使用了逻辑回归的扩展Softmax [4] 对
θ
进行形式化处理,使得条件概率转化为下式:
word2vec原理概述
其中vc和vw分别是
c

w
的列向量,维度为d
C
是所有语境中的单词构成的集合,等同于词汇表V。参数
θ
就是vc和vw中每一维度的具体取值,参数的总数为|C|
×|V|×
d
。将式3代入式2,并于等式两边取对数可得:
word2vec原理概述
作者认为,通过训练得到的单词的向量表示vw能够使得条件概率p(c|w)最大化,则vw是w的好的表示。这里潜在的基本假设是:相似的单词拥有相似的语境。换言之,特定的语境只有确定的语义才能够与之匹配。通过最大化条件概率,使得单词和语境之间的对应关系最大化,进而满足了基本假设:相似的单词拥有相似的语境。而满足条件概率最大化的单词矢量,也就成为了单词语义的合理表示。
从式3可以发现,由于条件概率
p(
c
|
w
)的分母计算需要很大代价,作者使用hierarchical softmax来近似softmax,并用霍夫曼树来构建hierachical softmax.
  • Negative Sampling

另一种降低计算代价的方法是改变目标函数。对于一个单词、语境组合(
w,
c
),使用p(D=1|
w,
c
)来表示这个组合存在于
T
中的概率,对应的
p(D=0|
w,
c
) = 1-
p(D=1|
w,
c
)
,表示

w,
c
)不在
T
中的概率。与前文类似,假设集合
θ是控制
p(D=1|
w,
c
)分布的参数,那么此时的目标是寻找参数集合θ来最大化

w,
c
)存在于
T
中的概率:

word2vec原理概述
同样,使用softmax来量化p(D=1|
w,
c;
θ
):
word2vec原理概述
因此,最终的目标函数为:
word2vec原理概述
为了使目标函数最大化,有一个很简单的方法,即使得vc=vw,且vc·vw=K。当K足够大时,可以得到
p(D=1|
w,
c
)=1,从而达到目标函数最大化。因此,为了所有的矢量有相同的值,作者生成了一个数据集D’,D’中的所有单词、语境组合都不存在于
T
中,这些样例被称之为反例(negative examples),而获得反例的采样方法被称之为反例采集(negative-sampling)。引进了反例之后的目标函数演变为:
word2vec原理概述
假设σ(x)=1/(1+e-x),则:
word2vec原理概述
和式4进行比较,可以明显的看到累加嵌套的消除。两者最大的区别是式4根据条件概率
p(
c
|
w
)进行建模而此处根据联合概率
p(D=1|
w,
c
)进行建模


  • 参考文献
  1. Efficient Estimation of Word Representations in Vector Space
  2. Distributed Representations of Words and Phrases and their Compositionality
  3. word2Vec Explained: Deriving Mikolov et al.’s Negative-Sampling Word-Embedding Method
  4. Softmax Regression, www.cnblogs.com/tornadomeet/archive/2013/03/22/2975978.html

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/145479.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • 一阶惯性环节pid参数整定_一阶惯性环节转折频率

    一阶惯性环节pid参数整定_一阶惯性环节转折频率//—————————————————————————#ifndefUnit1H#defineUnit1H//—————————————————————————#include#in

  • 用python字符画生日快乐_如何用特殊符号组成“生日快乐”?

    用python字符画生日快乐_如何用特殊符号组成“生日快乐”?♥¸¸.•*¨*•♫♪祝你生日2113快乐哟♥¸¸.•*¨*•♫♪║╚╦5261═╦4102═╦═╦╦╗║╚╦╦═╣╚╣╚╦╝╠═╦╦╗║║║╬║1653╬║╬║║║║╬║║╔╣╔╣║║╬║╬║║║╚╩╩╩╣╔╣╔╩╗║╚═╩╩╝╚═╩╩╩═╩╩╩╗║ƸӜƷ●•٠·˙❦ஐ❦G☺dBl姧U❦ஐ❦˙·٠•ƸӜƷ♪♫•*¨*•.¸¸HAPPYBIRTHDAY♪♫•*¨*•.¸¸生日快乐~…

  • 软磁盘阵列「建议收藏」

    软磁盘阵列「建议收藏」磁盘阵列是指通过软件或者硬件的技术来将多个磁盘整合成为一个大的磁盘设备,来实现存储和保护数据的功能。硬件实现的成为硬磁盘阵列,软件实现称为软磁盘阵列,硬件通过磁盘阵列卡上的芯片专门处理raid任务,性能最佳。但由于成本太高大多使用软磁盘阵列,就是mdadm软件,以分区或者磁盘为单位来进行设计。Raid-0(等量模式):将文件内容等量分配到各个磁盘中,大大增强读写速度,但只要硬盘有损坏,将会直接…

  • 阿里云wordpress配置免费ssl证书

    阿里云wordpress配置免费ssl证书本文最后更新于352天前,其中的信息可能已经有所发展或是发生改变。1、登录阿里云,选择产品中的ssl证书如果域名是阿里的他会自动创建dns解析,如果是其他厂商需要按照图片配置,等待几分钟进行验证点击审核,等待签发签发后根据需求下载所需证书我的wordpress是直接买的阿里轻量应用服务器,打开轻量应用服务器的控制台配置域名选择刚申请好的ssl证书在wordpre…

  • linux修改密码报错_linux修改其他用户密码

    linux修改密码报错_linux修改其他用户密码第一种:/usr/bin/passwd的权限中没有添加s即SUID特殊权限即:-rwxr-xr-x.1rootroot270008月222010/usr/bin/passwd解决方案:chmodu+s/usr/bin/passwdSUID的功能简单的说就是让组用户或其他用户在执行该文件是拥有文件所有者(own)权限,这里就是需要获取w(写)权限,这样才能将新密码写到/etc…

  • 支付宝授权登录淘宝_vue的登录实现

    支付宝授权登录淘宝_vue的登录实现api接口文档:https://docs.open.alipay.com/289/105656后台管理系统原本是用账号密码登录的,不过需求要改成支付宝授权,前端仅仅需要改登录页,以及添加一个授权返

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号