GloVe模型_nerlove模型

GloVe模型_nerlove模型系列目录(系列更新中)第二讲cs224n系列之word2vec&词向量word2vec进阶之skim-gram和CBOW模型(HierarchicalSoftmax、NegativeSampling)第三讲cs224n系列之skip-pram优化&GlobalVectorbyManning&

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE使用 1年只要46元 售后保障 童叟无欺

系列目录(系列更新中)

GloVe模型_nerlove模型

1.概述

  • 模型目标:进行词的向量化表示,使得向量之间尽可能多地蕴含语义和语法的信息。
  • 输入:语料库
  • 输出:词向量
  • 方法概述:首先基于语料库构建词的共现矩阵,然后基于共现矩阵和GloVe模型学习词向量。
    开始 -> 统计共现矩阵 -> 训练词向量 -> 结束

2.统计共现矩阵

设共现矩阵为X,其元素为 X i , j X_{i,j} Xi,j
X i , j X_{i,j} Xi,j的意义为:在整个语料库中,单词i和单词j共同出现在一个窗口中的次数。
举个栗子:
设有语料库:

i love you but you love him i am sad

这个小小的语料库只有1个句子,涉及到7个单词:i、love、you、but、him、am、sad。
如果我们采用一个窗口宽度为5(左右长度都为2)的统计窗口,那么就有以下窗口内容:

窗口标号 中心词 窗口内容
0 i i love you
1 love i love you but
2 you i love you but you
3 but love you but you love
4 you you but you love him
5 love but you love him i
6 him you love him i am
7 i love him i am sad
8 am him i am sad
9 sad i am sad

窗口0、1长度小于5是因为中心词左侧内容少于2个,同理窗口8、9长度也小于5。
以窗口5为例说明如何构造共现矩阵:
中心词为love,语境词为but、you、him、i;则执行:

X l o v e , b u t + = 1 X_{love,but}+=1 Xlove,but+=1
X l o v e , y o u + = 1 X_{love,you}+=1 Xlove,you+=1
X l o v e , h i m + = 1 X_{love,him}+=1 Xlove,him+=1
X l o v e , i + = 1 X_{love,i}+=1 Xlove,i+=1

使用窗口将整个语料库遍历一遍,即可得到共现矩阵X。

3.使用GloVe模型训练词向量

3.1.模型公式

先看模型,代价函数长这个样子:

J = ∑ i , j N f ( X i , j ) ( v i T v j + b i + b j − l o g ( X i , j ) ) 2 J=\sum_{i,j}^Nf(X_{i,j})(v_{i}^Tv_{j}+b_{i}+b_{j}-log(X_{i,j}))^2 J=i,jNf(Xi,j)(viTvj+bi+bjlog(Xi,j))2

v i v_{i} vi v j v_{j} vj是单词i和单词j的词向量, b i b_{i} bi b j b_{j} bj是两个标量(作者定义的偏差项),f是权重函数(具体函数公式及功能下一节介绍),N是词汇表的大小(共现矩阵维度为N*N)。
可以看到,GloVe模型没有使用神经网络的方法。

3.2.模型怎么来的

那么作者为什么这么构造模型呢?首先定义几个符号:

X i = ∑ j = 1 N X i , j X_{i}=\sum_{j=1}^NX_{i,j} Xi=j=1NXi,j

其实就是矩阵单词i那一行的和;
P i , k = X i , k X i P_{i,k}=\dfrac{X_{i,k}}{X_{i}} Pi,k=XiXi,k

条件概率,表示单词k出现在单词i语境中的概率;
r a t i o i , j , k = P i , k P j , k ratio_{i,j,k}=\dfrac{P_{i,k}}{P_{j,k}} ratioi,j,k=Pj,kPi,k

两个条件概率的比率。
作者的灵感是这样的:
作者发现, r a t i o i , j , k ratio_{i,j,k} ratioi,j,k这个指标是有规律的,规律统计在下表:

r a t i o i , j , k ratio_{i,j,k} ratioi,j,k的值 单词j,k相关 单词j,k不相关
单词i,k相关 趋近1 很大
单词i,k不相关 很小 趋近1

很简单的规律,但是有用。
思想:假设我们已经得到了词向量,如果我们用词向量 v i v_{i} vi v j v_{j} vj v k v_{k} vk通过某种函数计算 r a t i o i , j , k ratio_{i,j,k} ratioi,j,k,能够同样得到这样的规律的话,就意味着我们词向量与共现矩阵具有很好的一致性,也就说明我们的词向量中蕴含了共现矩阵中所蕴含的信息。
设用词向量 v i v_{i} vi v j v_{j} vj v k v_{k} vk计算 r a t i o i , j , k ratio_{i,j,k} ratioi,j,k的函数为 g ( v i , v j , v k ) g(v_{i},v_{j},v_{k}) g(vi,vj,vk)(我们先不去管具体的函数形式),那么应该有:

P i , k P j , k = r a t i o i , j , k = g ( v i , v j , v k ) \dfrac{P_{i,k}}{P_{j,k}}=ratio_{i,j,k}=g(v_{i},v_{j},v_{k}) Pj,kPi,k=ratioi,j,k=g(vi,vj,vk)

即:
P i , k P j , k = g ( v i , v j , v k ) \dfrac{P_{i,k}}{P_{j,k}}=g(v_{i},v_{j},v_{k}) Pj,kPi,k=g(vi,vj,vk)

即二者应该尽可能地接近;
很容易想到用二者的差方来作为代价函数:
J = ∑ i , j , k N ( P i , k P j , k − g ( v i , v j , v k ) ) 2 J=\sum_{i,j,k}^N(\dfrac{P_{i,k}}{P_{j,k}}-g(v_{i},v_{j},v_{k}))^2 J=i,j,kN(Pj,kPi,kg(vi,vj,vk))2

但是仔细一看,模型中包含3个单词,这就意味着要在NNN的复杂度上进行计算,太复杂了,最好能再简单点。
现在我们来仔细思考 g ( v i , v j , v k ) g(v_{i},v_{j},v_{k}) g(vi,vj,vk),或许它能帮上忙;
作者的脑洞是这样的:

  1. 要考虑单词i和单词j之间的关系,那 g ( v i , v j , v k ) g(v_{i},v_{j},v_{k}) g(vi,vj,vk)中大概要有这么一项吧: v i − v j v_{i}-v_{j} vivj;嗯,合理,在线性空间中考察两个向量的相似性,不失线性地考察,那么 v i − v j v_{i}-v_{j} vivj大概是个合理的选择;
  2. r a t i o i , j , k ratio_{i,j,k} ratioi,j,k是个标量,那么 g ( v i , v j , v k ) g(v_{i},v_{j},v_{k}) g(vi,vj,vk)最后应该是个标量啊,虽然其输入都是向量,那內积应该是合理的选择,于是应该有这么一项吧: ( v i − v j ) T v k (v_{i}-v_{j})^Tv_{k} (vivj)Tvk
  3. 然后作者又往 ( v i − v j ) T v k (v_{i}-v_{j})^Tv_{k} (vivj)Tvk的外面套了一层指数运算exp(),得到最终的 g ( v i , v j , v k ) = e x p ( ( v i − v j ) T v k ) g(v_{i},v_{j},v_{k})=exp((v_{i}-v_{j})^Tv_{k}) g(vi,vj,vk)=exp((vivj)Tvk)
    最关键的第3步,为什么套了一层exp()?
    套上之后,我们的目标是让以下公式尽可能地成立:
    P i , k P j , k = g ( v i , v j , v k ) \dfrac{P_{i,k}}{P_{j,k}}=g(v_{i},v_{j},v_{k}) Pj,kPi,k=g(vi,vj,vk)

即:
P i , k P j , k = e x p ( ( v i − v j ) T v k ) \dfrac{P_{i,k}}{P_{j,k}}=exp((v_{i}-v_{j})^Tv_{k}) Pj,kPi,k=exp((vivj)Tvk)

即:
P i , k P j , k = e x p ( v i T v k − v j T v k ) \dfrac{P_{i,k}}{P_{j,k}}=exp(v_{i}^Tv_{k}-v_{j}^Tv_{k}) Pj,kPi,k=exp(viTvkvjTvk)

即:
P i , k P j , k = e x p ( v i T v k ) e x p ( v j T v k ) \dfrac{P_{i,k}}{P_{j,k}}=\dfrac{exp(v_{i}^Tv_{k})}{exp(v_{j}^Tv_{k})} Pj,kPi,k=exp(vjTvk)exp(viTvk)

然后就发现找到简化方法了:只需要让上式分子对应相等,分母对应相等,即:
P i , k = e x p ( v i T v k ) {P_{i,k}}={exp(v_{i}^Tv_{k})} Pi,k=exp(viTvk)并且 P j , k = e x p ( v j T v k ) {P_{j,k}}={exp(v_{j}^Tv_{k})} Pj,k=exp(vjTvk)

然而分子分母形式相同,就可以把两者统一考虑了,即:
P i , j = e x p ( v i T v j ) {P_{i,j}}={exp(v_{i}^Tv_{j})} Pi,j=exp(viTvj)

本来我们追求:
P i , k P j , k = g ( v i , v j , v k ) \dfrac{P_{i,k}}{P_{j,k}}=g(v_{i},v_{j},v_{k}) Pj,kPi,k=g(vi,vj,vk)

现在只需要追求:
P i , j = e x p ( v i T v j ) {P_{i,j}}={exp(v_{i}^Tv_{j})} Pi,j=exp(viTvj)

两边取个对数:
l o g ( P i , j ) = v i T v j log(P_{i,j})=v_{i}^Tv_{j} log(Pi,j)=viTvj

那么代价函数就可以简化为:
J = ∑ i , j N ( l o g ( P i , j ) − v i T v j ) 2 J=\sum_{i,j}^N(log(P_{i,j})-v_{i}^Tv_{j})^2 J=i,jN(log(Pi,j)viTvj)2

现在只需要在NN的复杂度上进行计算,而不是NN*N,现在关于为什么第3步中,外面套一层exp()就清楚了,正是因为套了一层exp(),才使得差形式变成商形式,进而等式两边分子分母对应相等,进而简化模型。
然而,出了点问题。
仔细看这两个式子:
l o g ( P i , j ) = v i T v j 和 l o g ( P j , i ) = v j T v i log(P_{i,j})=v_{i}^Tv_{j}和log(P_{j,i})=v_{j}^Tv_{i} log(Pi,j)=viTvjlog(Pj,i)=vjTvi

l o g ( P i , j ) log(P_{i,j}) log(Pi,j)不等于 l o g ( P j , i ) log(P_{j,i}) log(Pj,i)但是 v i T v j v_{i}^Tv_{j} viTvj等于 v j T v i v_{j}^Tv_{i} vjTvi;即等式左侧不具有对称性,但是右侧具有对称性。
数学上出了问题。
补救一下好了。
现将代价函数中的条件概率展开:
l o g ( P i , j ) = v i T v j log(P_{i,j})=v_{i}^Tv_{j} log(Pi,j)=viTvj

即为:
l o g ( X i , j ) − l o g ( X i ) = v i T v j log(X_{i,j})-log(X_{i})=v_{i}^Tv_{j} log(Xi,j)log(Xi)=viTvj

将其变为:
l o g ( X i , j ) = v i T v j + b i + b j log(X_{i,j})=v_{i}^Tv_{j}+b_{i}+b_{j} log(Xi,j)=viTvj+bi+bj

即添了一个偏差项 b j b_{j} bj,并将 l o g ( X i ) log(X_{i}) log(Xi)吸收到偏差项 b i b_{i} bi中。
于是代价函数就变成了:
J = ∑ i , j N ( v i T v j + b i + b j − l o g ( X i , j ) ) 2 J=\sum_{i,j}^N(v_{i}^Tv_{j}+b_{i}+b_{j}-log(X_{i,j}))^2 J=i,jN(viTvj+bi+bjlog(Xi,j))2

然后基于出现频率越高的词对儿权重应该越大的原则,在代价函数中添加权重项,于是代价函数进一步完善:
J = ∑ i , j N f ( X i , j ) ( v i T v j + b i + b j − l o g ( X i , j ) ) 2 J=\sum_{i,j}^Nf(X_{i,j})(v_{i}^Tv_{j}+b_{i}+b_{j}-log(X_{i,j}))^2 J=i,jNf(Xi,j)(viTvj+bi+bjlog(Xi,j))2

具体权重函数应该是怎么样的呢?
首先应该是非减的,其次当词频过高时,权重不应过分增大,作者通过实验确定权重函数为:
f ( x ) = { ( x / x m a x ) 0.75 , if  x < x m a x 1 , if  x > = x m a x f(x) = \begin{cases} (x/xmax)^{0.75}, & \text{if $x < xmax$} \\ 1, & \text{if $x >= xmax$} \end{cases} f(x)={
(x/xmax)0.75,1,if x<xmaxif x>=xmax

到此,整个模型就介绍完了。

3.3.Glove和skip-gram、CBOW模型对比

Cbow/Skip-Gram 是一个local context window的方法,比如使用NS来训练,缺乏了整体的词和词的关系,负样本采用sample的方式会缺失词的关系信息。
另外,直接训练Skip-Gram类型的算法,很容易使得高曝光词汇得到过多的权重

Global Vector融合了矩阵分解Latent Semantic Analysis (LSA)的全局统计信息和local context window优势。融入全局的先验统计信息,可以加快模型的训练速度,又可以控制词的相对权重。

我的理解是skip-gram、CBOW每次都是用一个窗口中的信息更新出词向量,但是Glove则是用了全局的信息(共线矩阵),也就是多个窗口进行更新

4.实战教程

GloVe 教程之实战入门+python gensim 词向量

参考链接:
理解GloVe模型

GloVe模型_nerlove模型
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/193506.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)
blank

相关推荐

  • matlab求解时滞微分方程「建议收藏」

    matlab求解时滞微分方程「建议收藏」matlab求解时滞微分方程,dde23调用格式:sol=dde23(ddefun,lags,history,tspan);–ddefun函数句柄,求解微分方程y’=f(t,y(t),y(t-τ1),…,y(t-τk))必须写成下面形式:dydt=ddefun(t,y,Z);其中t对应当前时间t,y为列向量,近似于y(…

  • 扩展欧几里得

    扩展欧几里得

  • SQL语句大全大全(经典珍藏版)

    SQL语句大全大全(经典珍藏版)SQL语句大全–语句功能–数据操作SELECT–从数据库表中检索数据行和列INSERT–向数据库表添加新数据行DELETE–从数据库表中删除数据行UPDATE–更新数据库表中的数据-数据定义CREATETABLE–创建一个数据库表DROPTABLE–从数据库中删除表ALTERTABLE–修改数据库表结构CREATEVIEW

  • docker部署redis哨兵集群_redis部署安装

    docker部署redis哨兵集群_redis部署安装Docker安装Docker部署redis在dockerhub上可以看到有redis的官方镜像不去网站,也可以通过如下命令查看有那些镜像可用Dockersearch命令dockersearchredis拉取redis镜像Dockerpull命令这里我们拉取官方的最新版本的镜像:dockerpullredis:latest查看本地镜像Dockerimages命令有redis和hello-world运行容器Dockerrun命令d

    2022年10月18日
  • (翻译)什么是Java的永久代(PermGen)内存泄漏

    (翻译)什么是Java的永久代(PermGen)内存泄漏转自:http://www.codelast.com/本文是我对这篇文章的翻译:WhatisaPermGenleak? 为了便于阅读,我将原文附于此处,翻译穿插在其中。此外,为了防止原链接在未来某一天失效后,文中的图片再也看不到的问题,我将原文中的图片也保存到了本站的服务器上,我不知道原作者是否允许这样做,但我翻译本文仅在于传播知识的目的,在此向原作者表示深深的感谢:感谢你

  • 【IDEA】向IntelliJ IDEA创建的项目导入Jar包的两种方式

    【IDEA】向IntelliJ IDEA创建的项目导入Jar包的两种方式转载请注明出处:http://blog.csdn.net/qq_26525215本文源自【大学之旅_谙忆的博客】今天用IDEA,需要导入一个Jar包,因为以前都是用eclipse的,所以对这个idea还不怎么上手,连打个Jar包都是谷歌了一下。但是发现网上谷歌到的做法一般都是去File–>ProjectStructure中去设置,有没有如同eclipse一样简便的右键添加方法呢。然后自己摸

    2022年10月25日

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号