大家好,又见面了,我是你们的朋友全栈君。
摘要
本文接着知识图谱系列–实体链接技术(1)[1]介绍知识推理方法。知识推理就是通过各种方法获取新的知识或者结论,这些知识和结论满足语义,其具体任务可分为可满足性(satisfiability)、分类(classification)、实例化(materialization)。[2]
paper: Das, R. , Neelakantan, A. , Belanger, D. , & Mccallum, A. . (2016). Chains of reasoning over entities, relations, and text using recurrent neural networks
实际当前介绍比较多的还是王昊奋老师的课程,介绍的OWL等规则及Jena工具。知识推理算法上实现效果尚不佳,这里介绍一篇Das, R. , Neelakantan, A. , Belanger, D. , & Mccallum, A. . (2016)的论文[3]。
本文首先介绍了基本的 Path-RNN 的架构,本文的一切改进都是基于该模型的。Path-RNN 的输入是两个实体之间的路径,输出推理出的二者之间的新关系。通过将关系之间的连接用 RNN 表示来进行推理。路径的表示是在处理完路径中所有的关系之后由 RNN 的最后的隐状态给出的。模型结构示意图如图1-2所示。图1
图2
本文提出的方法对这个模型做出的改进有:之前的方法最大的问题是要为每一个需要预测的 relation-type 单独训练模型。而本文只训练一个 RNN 来预测所有的 relation type,共享了 RNN 参数精度也显著提高了。本文共享了 relation type 的表示以及 RNN 的 composition matrices,这样同样的训练数据变量就大大减少了。训练模型的损失函数用的是negative log-likelihood如下所示:
本文使用了 neural attention 机制对多条路径进行推理。之前的工作只推理了 relation,没有推理组成路径上节点的 entities,本文对关系类型,实体和实体类型进行了联合学习和推理。
分别用 Top-k,average 和 LogSumExp 等多纬度为每一条路径的相似度评分加上权重,这样就考虑了每一条路径包含的信息,而不仅仅是评分最高的那条。
论文结果如图3-4所示:图4
参考文献debuluoyi:知识图谱系列–实体链接技术(1)zhuanlan.zhihu.com王昊奋知识图谱教程www.chinahadoop.cn
[3] Das, R. , Neelakantan, A. , Belanger, D. , & Mccallum, A. . (2016). Chains of reasoning over entities, relations, and text using recurrent neural networks.
源码:https://rajarshd.github.io/ChainsofReasoningrajarshd.github.iogithub.com/debuluoyigithub.com
发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/134342.html原文链接:https://javaforall.cn
【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛
【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...