句法依存树在事关分类的任务及是老大有价之。是否足以设计算法同时实现自由游走模型的推行效率和保留嵌入式表示学习道的准确率。

作者:整理2016-2017年ACL、EMNLP、SIGIR、IJCAI、AAAI等国际名牌会议中实体关系推理与知识图谱补全的相干论文,供自然语言处理研究人员,尤其知识图谱领域的学者参考,如发生不当理解的远在请求指出,不胜感激!(如需转载,请联系自身:jtianwen2014,并注明出处)

作者:整理2016-2017年ACL、EMNLP、SIGIR、IJCAI、AAAI等国际知名会议遭实体关系推理与学识图谱补全的有关论文,供自然语言处理研究人口,尤其知识图谱领域的大方参考,如产生荒唐理解的处请求指出,不胜感激!(如得转载,请联系我:jtianwen2014,并注明出处)

EMNLP 2016

ISGIR 2016

A Position Encoding Convolutional Neural Network Based on Dependency Tree for Relation Classification

  • 作者:Yunlun Yang, Yunhai Tong, Shulei Ma, Zhi-Hong Deng
  • 机构:School of Electronics Engineering and Computer Science,
    Peking University

本文的任务也涉嫌分类,即对于被定句子中的加以实体对拓展关联分类。本文叙述,传统特色选择的法子严重依赖让特征的成色与词语资源,为了达成极致帅数用耗时的人为选择特征子集。基于核函数的章程则不用选择特征,但按要精心设计的核函数并具有比生之乘除出。最近,随着神经网络的起来,深度上所提供的捧到端的不二法门给运用为多经文的自然语言处理问题。RNN和CNN已经给验证对关乎分类具有极大帮助。

而是,一些研究工作表明传统的性状对涉及分类的神经网络方法按有加强作用,可以提供再多之信息。一个简而中的不二法门是将词语级的性状和神经网络获取之特征简单构成(一般是连接起来),组合后底代表输入到分类器。另一样种更加扑朔迷离的法门是依据句子的句法依存树调整神经网络的布局,取得了比好的意义。

本文认为,句法依存树在涉分类的职责上是颇有价之。正文发现实体对中间的并存路径对关联分类更起价,相比于完全句子的现有路径,由于该现有路径的离往往小于句子的共处路径距离,剪枝后底实业间依存路径减少了许多噪声信息。为更好之运用句法依存所提供的言语学文化,本文提出了依据句法依存树和的位置编码卷积神经网络方法PECNN。方法的历程图如下:

 

每个词之意味由于少数局部构成:词向量、该词的依存树位置特征。职务特征的收获重要考虑是用离散的位置映射到实数向量,它跟词向量相似,只不过是以歌词替换为离散的离。本文提出了少于栽方式来定义依存树中的职务特征TPF1、TPF2。TPF1丁去定义为即词到目标实体的最缺乏路径中依存弧的个数,映射方式及PF相同,即不同之偏离随机初始化一个固定维度的通往量,训练之进程中上学。一个歌词到实体的极端缺路径可以划分为有限只子路径:被压低祖先节点分割,TPF2虽说将去用二元组表示,分别表示个别单子路径的长。下图是逐一词语到实体Convulsions的TPF1与TPF2:

 

卓越的CNN的一个卷积窗口每次取当前词之贴近上下文词语作为输入,在本文中以充分利用树结构信息,本文将目前词之父节点和子节点作为作为该临近上下文输入到卷积窗口,相应的正文对卷积核也开了改,动用了少种植卷积核:Kernel-1、Kernel-2,具体定义见论文。其中Kernal-1旨在从依存树中几近层次抽取特征,而Kernel-2专注让挖共享父节点的乐章里的语义信息。个别只核函数的轻重缓急都取3。最后将Kernel-1、Kernel-2分别池化并拼接在联合作为CNN输出。

作者:本文利用卷积神经网络对实体关系展开归类,创新性地用依存树作为输入,将歌词在培养被之职信息嵌入式表示并拼接到词向量中协同学习,同时,本文对CNN面向树结构设计了突出之卷积核。本文提出的方在实业关系分类任务及,相比叫不利用位置信息之CNN和LSTM取得了进一步提高。在尝试中本文也用POS等特色融入PECNN,也落了于好的结果。但文中似乎未深究卷积核设计针对性结果的震慑,面向树结构的卷积核的设计是否是本文独立提出的?读者可参看文中参考文献探寻一下。

Hierarchical Random Walk Inference in Knowledge Graphs

  • 作者:Qiao Liu, Liuyi Jiang, Minghao Han, Yao Liu, Zhiguang Qin
  • 机构:School of Information and Software Engineering, University
    of Electronic Science and Technology of China

——–论文掠影——–

本文面向的天职是依据知识图谱的涉及推理。本文通过对照考察PRA方法与TransE方法在事关推理上之实施职能并分析原因,在PRA基础及提出层次之肆意游走算法HiRi进行实体关系推理。

正文首先叙述了依据知识图谱的涉推理的连锁工作,大体分为三栽办法:首先是统计关系上道(SRL),如马尔科夫逻辑网络、贝叶斯网络,但立刻好像方发需要统筹相应的平整,因此尚未死好之扩展性和泛化性;嵌入式表示的章程,旨在用实体和关系映射为空间中之通往量,通过空中被向量之演算来进展推导(如TransE),该法赢得了于好之准确率,但分布式表示的解释性不强,另外,较麻烦实现并行计算;基于关系路径特征的妄动游走模型,该措施好开展并行计算,具有比较好的实行效率,但准确率与召回率相比嵌入式表示学习的方在劣势。本文的想法是:是否可以计划算法同时落实自由游走模型的履效率及保留嵌入式表示学习方式的准确率?

——–方法介绍——–

正文对TransE方法(嵌入式表示学习的意味)和PRA方法(随机游走模型的象征)进行比,在一对多、一对一、多针对性几近、多对同一当即四好像涉达成进行比分析:

对待发现:在1:M关系上,PRA远不苟TransE;但在M:1涉嫌及,两者非常相近。有其一状况,本文的首先独比方认为好将文化图谱看做无为图,以这个来规避1:M关系上的弱势。

此外,PRA方法在M:M关系达成呢止上了TrasnE方法效果的一半,本文认为当时说明了PRA在多对多关系及抽取的门道特征并无尽地行使基本上对多关系有的簇中的总是信息(文中有举例说明这一点)。相比而言,嵌入式学习之道由于用文化图谱全局信息编码到向量空间里,所以可以充分利用到这种消息。

每当运用基本上对准大多推理关系时,经常会面就此到事关之反向,即从尾实体到头实体的方向,这种推离的法门可利用odd-hop随机游走模型来建模,基于这个本文的第二单比方是:具有拓扑结构的关联显然的簇可能会见包含对推理很有救助的信,那么,基于关系上算法的轻易游活动得加强推理能力。 

正文提出了一样种层次化推理的架构,共分为三独片:全局推理、局部推理、推理结果融合,结构框图如下:

大局推理是采用PRA算法进行推理,以获取三元组成立之概率\(f(h,r_i,t)\);有些推理时当特定关系之子图(簇)上计算一个3超越的票房价值矩阵,以取得有或者该干的老三头组概率\(g(h,r_i,t)\),由于是于一个簇上进行的,这是一个片段的演绎。融合的过程是行使一个线性模型对少数有的的概率融合,以取得最终的几率。

笔者:本文通过分析PRA与TransE的在不同类型涉及达成的距离,提出了零星个假设,并在这个基础及提出层次化的推理方法HiRi,即于全局和有分别开展关联推理,最终融合在一起获得推理结果。本文在次只假设的提出上尚未受有最为多明显的解释,所选的例子和该假设的提出以推动关系及稍稍牵强,笔者未理清思路。另外,3超的原委是否来于“关系-关系倒往-关系”路径,即3超越回到原来干?对于假而同一,将关系作为无向的,会带来什么样不良后果?前人是否发生及时上面的探索?

Jointly Embedding Knowledge Graphs and Logical Rules

  • 作者:Shu Guo, Quan Wang, Lihong Wang§, Bin Wang, Li Guo
  • 机构:Institute of Information Engineering, Chinese Academy of
    Sciences

正文的天职为文化图谱表示学习,本文提出逻辑规则包含丰富的背景音,但总没生好的于知识图谱表示学习的天职上给研究。本文提出KALE的不二法门,将文化图谱和逻辑规则进行联合嵌入表示学习。

前起师同时采用知识表示方法及逻辑规则,但双边是分别建模的,这吗让尚未取得更好的嵌入式表示。Rocktaschel
et al.
(2015)提出共同型将同样级逻辑融入嵌入式表示,但这项工作专注于干分类,对实体对拓展停放表示无非创建一个向量表示,而非是实业拥有各自的意味。

KALE方法可分为三独组成部分:三元组建模、逻辑规则建模,以及共同学习。一个一体化的方框图如下图所示:

 

对此三冠组建模有以简便的翻模型(TransE衍生)完成,具体的自分函数如下:

\[I(e_i, r_k, e_j)=1-\frac {1}{s\sqrt
{d}}||\mathbf{e}_i+\mathbf{r}_k-\mathbf{e}_j||_1\]

对于逻辑规则建模部分,本文使用t-norm模糊逻辑(t-norm fuzzy
logics),正文主要考虑少种植类型的逻辑:第一看似是:\(\forall x,y: (x,r_s,y)\Rightarrow
(x,r_t,y)\),给定\(f\triangleq
(e_m,r_s,e_n)\Rightarrow
(e_m,r_t,e_n)\),置信度的测算如下:

\[I(f)=I(e_m,r_s,e_n)\cdot
I(e_m,r_t,e_n)-I(e_m,r_s,e_n)+1\]

其中,\(I(\cdot ,\cdot
,\cdot)\)是三第一组建模时的采购信度函数。

第二类似是:\(\forall x,y,z:
(x,r_{s1},y)\land (y,r_{s2},z)\Rightarrow
(x,r_t,z)\),给定\(f\triangleq
(e_l,r_{s1},e_m)\land (e_m,r_{s2},e_n)\Rightarrow
(e_l,r_t,e_n)\),置信度的乘除如下:

\[I(f)=I(e_l,r_{s1},e_m)\cdot
I(e_m,r_{s2},e_n)\cdot I(e_l,r_t,e_n)-I(e_l,r_{s1},e_m)\cdot
I(e_m,r_{s2},e_n)+1\]

一道学习的历程一样是隔三差五整治三元组的买信度远超过负例三处女组的购信度。

值得注意的凡,虽然规则只有一定量栽,但为用被实际得找到规则的关系实例,为了解决人工的压力,本文使用了一半活动的措施组织规则关系实例。其道是,先是用TransE学习及实体和干的意味,为可能在就简单独逻辑规则之实业关系计算置信度,然后进行排序,进而选择切合逻辑规则之实业关系实例。局部实例如下:

 

笔者:本文提出以逻辑规则融入文化图谱嵌入式表示学习之办法,并且逻辑规则和三元组的上是合开展的。方法提升的瓶颈似乎在逻辑规则之挑三拣四与实例的组织上,本文使用了如约活动的计构建,虽然就无异有些并非本文重点,但确欠法是够有效可用为大规模知识图谱的重要性,本文对FB15K构建了47独规则实例,但对此大规模知识图谱这些规则还远不够,这种规则之主意在移植性的问题,是否好考虑以随机游走获取此类逻辑规则,类似PRA中采用的法。另外,将干路径融入表示学习之方法与本文的艺术较类似,实质上都是采用关乎路径去演绎关系。

IJCAI 2016

Mining Inference Formulas by Goal-Directed Random Walks

  • 作者:Zhuoyu Wei, Jun Zhao and Kang Liu
  • 作者:University of Chinese Academy of Sciences

本文的天职也面向知识图谱的实业关系推理,即利用知识图谱中已有些涉及推理新的涉事实。推理规则对因知识图谱的干推理有着显著的意图,而人工构造大量之演绎规则是免现实的。目前根据数据令之活动开推理规则的办法中,随机游走的点子吃认为最好适用于文化图谱。然而,以文化图谱中不管目的的无非随机游走挖掘出价的推理规则的效率比较逊色,甚至会见引入误导之演绎规则。尽管一些家提出用启发式规则指导随机游走,但鉴于推理规则的多样性,这种方式以回天乏术取比较好之作用。

本着以上现状,本文提出同样种目标引导的演绎规则挖掘算法:在任意游走的各个一样步用明确的推理目标作为方向。具体地,为了达到目标引导之建制,在各国一样步随机游走的经过遭到,算法根据最终目标动态地量走向各个邻居的秘闻可能性,根据潜在可能性分配游活动及各个邻居的票房价值。比如,当推理“一个人的言语”时,算法更赞成走“国籍”边设休“性别”边。

本文首先想起了主导的用来推理规则挖掘的肆意游走算法,其中也涉及早期基于枚举的(枚举给定满足关系之实体对中的持有路线)根据频率计算置信度的推理规则挖掘算法。随机游走算法随机地(概率都等,和出度有关)选择生一致跳到达的邻居,而休遍历所有邻居。由此可见,这种随意游走的算法是单独用目标的。而且,由于随机性,随机游走无法担保高速低打到对象实体对之路径,甚至引入噪声。为了缓解这等同题材,PRA引入了启发式的平整:对概率矩阵展开改动,是的邻居的精选并无净等,而是因到达目标实体的可能。

为实现目标引导之轻易游走,本文对加目标(\(\rho=R(H,T)\))的场面下,对实体\(i\)到\(j\)的连边g(关系\(r\))被增选的票房价值定义也:

\[ P_{r_{i,j}}= \begin{cases} \frac
{\Phi (r(i,j),\rho)}{\sum_{k\in Adj(i)}\Phi (r(i,j),\rho)},
&\mbox{}j\in Adj(i)\\ 0, &\mbox{}j\notin Adj(i) \end{cases}
\]

其中,\(\Phi(r(i,j),\rho)\)是以加目标\(\rho\)情况下,对实体\(i\)到\(j\)的连边被增选的可能性测量。路径的角度也\(H\),最终使达\(T\),游走的进程被递归定义已走路径的似然为:\(P_{pHt}=P_{pHs}\cdot
P_{r_st}\)。似然函数定义为:

\[\rm{max}
P_{\mathbb{P}}=\prod_{pHt\in
\mathbb{P}}P_{pHt}^{a}(1-P_{pHt})^{b+c}\]

其中\(\mathbb{P}\)是按机游走得的门道集合,\(a,b,c\)分别对应三种状态,a)\(t=T\)且有不利的推理规则;a)\(t\not=T\);c)\(t=T\)且产生噪音推理规则;\(a,b,c\)都是0-1价,且每次发生且只有发生一个也1。将最大化转为最小化\(L_{rw}=-\rm{log}
P_{\mathbb{P}}\),本文中而用欠目标函数划分为有限片段来测算:\(L_{rw}=L_{rw}^t+\lambda
L_{rw}^{inf}\)。对于一个家喻户晓的路\(p\),\(L_{rw}\)可以写吧:

\[L_{rw}(p)=-y\rm{log}
P_{p}-(1-y)\rm{log} (1-P_{p})\]

\(\Phi(r(i,j),\rho)\)的计量需要融入文化图谱全局的音,为了减小计算量,本文引入知识图谱的放置表示来测算\(\Phi\):

\[\Phi(r(i,j),\rho)=\Psi(E_{r(i,j)},E_{R(H,T)})\]

其中,\(\Psi(E_{r(i,j)},E_{R(H,T)})=\sigma(E_{r(i,j)}\cdot
E_{R(H,T)})\),\(E_{r(i,j)}=[E_r,
E_j]\),\(E_{R(H,T)}=[E_R,
E_T]\),\(E_r,E_j,E_R,E_T\)代表涉嫌和实业的嵌入式表示。

训练推理模型的算法如下:

最终的推理是运打分函数,对规定实体对的例外关系进行打分:

\[\mathcal{X}(\rho)=\sum_{f\in
F_{\rho}}\delta(f)\]

其中,\(F_{\rho}\)是随意游走吧关联找到的推理规则集合,\(\delta(f)=w_f\cdot
n_f\)。最后本文应用逻辑斯谛回归来针对实业关系概率进行测算:

\[P(\rho =
y|\mathcal{X})=\mathcal{F}(\mathcal{X})^y(1-\mathcal{F}(\mathcal{X}))^{1-y}\]

\[\mathcal{F}(\mathcal{X})=\frac{1}{1+e^{-x}}\]

作者:对于自由游走的无论对象点从而造成推理规则挖掘效率低并引入噪声的题目,本文在随机游走的各个一样步引入目标的指导,即基于路径对目标实现之可能计算游活动至各个邻居的票房价值,而无是随便挑选。

From One Point to A Manifold: Knowledge Graph Embedding For Precise Link Prediction

  • 作者:Han Xiao, Minlie Huang, Xiaoyan Zhu
  • 机构:Dept. of Computer Science and Technology, Tsinghua
    University

——–论文掠影——–

正文提出:当前曾经部分文化表示学习道无法兑现准链接预测,本文认为产生三三两两独因造成了立即同样景的出现:ill-posed
algebraic problem
adopting an overstrict geometric form

个中,ill-posed algebraic
problem指的是:一个方程组中的方程式个数远超出变量个数。本文为翻译模型呢代表叙述这等同题目。翻译的目的是,对知识库的老三冠组的嵌入式表示满足\(\boldsymbol {\rm
{h_r+r=t_r}}\),如果三处女组的数也\(T\),嵌入式表示的维度为\(d\),那么一共发生\(T*d\)个方程式,而所要上学的变量一共来\((E+R)*d\),其中\(E,R\)表示实体和涉及项目的数目。由于三头条组的数码多好被实体和涉项目的多少,那么这种翻译模型有重的ill-posed
algebraic problem问题。

对于一个ill-posed
algebraic系统,所求得的解经常是无确切且未安静之
,这也正是以往艺术无法开展标准链接预测的缘由之一。为是,本文提出一个基于流形(manifold)的尺度,用\(\mathcal{M}(\boldsymbol {\rm
{h,r,t}})=D_r^2\)用来替\(\boldsymbol {\rm
{h_r+r=t_r}}\),其中\(\mathcal{M}\)是流形函数。

另外,对于TransE的法,对于给定的头实体和关联,应用被\(\boldsymbol {\rm
{h+r=t}}\),所得到的尾实体几乎是一个点,这对多针对性多干而言肯定是免正确的,这是千篇一律种overstrict
geometric
form。前人的一对主意要TransH、TransR将实体和事关映射到片和涉及有关的子空间中来解决这同题材,然而,这种问题在子空间中依旧存在。这种过于严格的花样还是促成引入大量之噪声元素,在链接预测的过程被无法精确预测。

如下图所示,越近圆心组成是三处女组的可能性越来越充分,蓝色为是的答案,红色为噪声,其中TransE的道无法充分好地别,而本文提出的ManifoldE可以老好的区分噪声数据。

——–方法介绍——–

本文提出用\(\mathcal{M}(\boldsymbol {\rm
{h,r,t}})=D_r^2\)用来取代\(\boldsymbol {\rm
{h_r+r=t_r}}\),其中\(\mathcal{M}\)是流形函数。打分函数定义也:

\[f_r(h,t)=||\mathcal{M}(h,r,t)-D_r^2||^2\]

对于\(\mathcal{M}\)的概念,其中同样种为球体啊流形。即对于被定头实体和关系项目,尾实体在向量空间受到遍布在因为\(\boldsymbol {\rm
{h+r}}\)为球心的球面上,此时:

\[\mathcal{M}(h,r,t)=||\boldsymbol {\rm
{h+r-t}}||_2^2\]

此间的向量可以运用Reproducing Kernel Hilbert Space
(RKHS)映射到Hilbert空间,以还便捷地特色流形。

设想到球体不易交,而立说不定引致一些实体的损失,本文叙述可以坐超平面啊流形。即对让定头实体和干项目,尾实体位于为\((\boldsymbol {\rm {h+r_{head}}})^{\rm
{T}}\)为方向、偏移量与\(D_r^2\)相关的超平面上。在半空被,只要简单单法向量不平行,这半只超平面就会见发相交。流形函数定义如下:

\[\mathcal{M}(h,r,t)=(\boldsymbol {\rm
{h+r_{head}}})^{\rm {T}}(\boldsymbol {\rm {t+r_{tail}}})\]

本文叙述为了充实为定头实体和关系推理出准确的尾实体数量,对向量绝对值化:

\[\mathcal{M}(h,r,t)=|\boldsymbol {\rm
{h+r_{head}}}|^{\rm {T}}|\boldsymbol {\rm {t+r_{tail}}}|\]

其中,\(|\boldsymbol {\rm
{w}}|=(|w_1|,|w_2|,|w_3|,…,|w_n|)\)。

于过去艺术有的ill-posed问题,本文的计对那个于好地解决。以球形为例,本文对于每个三元组只针对承诺一个等式:\(\sum_{i=1}^{d}(h_i+r_i-t_i)^2=D_r^2\),所以如果满足\(d\geq \frac {\#Equation}{E+R}=\frac
{T}{E+R}\)。要满足当下等同尺码只是待方便增加向量的维度,从而较好之兑现准预测。

教练之经过是搭正例的分,而减弱多少负例的分数,目标函数如下:

\[\mathcal{L}=\sum_{(h,r,t)\in
\Delta}\sum_{(h’,r’,t’)\in \Delta
‘}[f_r'(h’,t’)-f_r(h,t)+\gamma]_+\]

尝试结果显示该法比较好之兑现了确切链接预测(hit@1):

笔者:本文提出前的意味学习无法比较好的贯彻准链接预测,并提出造成拖欠问题的一定量碰原因:ill-posed
algebraic problem
adopting an overstrict geometric
form
,并对这简单个点问题切中要害提出因流形的表示学习道,实验结果显示该办法比较好之落实了纯粹链接预测。

Lifted Rule Injection for Relation Embeddings

  • 作者:Thomas Demeester, Tim Rocktäschel and Sebastian Riedel
  • 机构:Ghent University – iMinds
  • 机构:University College London

正文提出了一如既往种植将规则注入到嵌入式表示着,用于关系推理的章程。本文叙述,嵌入式的表示法可由普遍知识图谱中读及鲁棒性较强的意味,但可常不够常识的指。将两端融合起来的不二法门,已经落了比好的效能,其常识经常因为规则的形式出现。但当周边知识图谱中,由于部分平整并无是单身为实体元组的,所以这些规则所能挂的实例仅占据一略片段,如:\(\forall x: \rm{isMan}(x)\Rightarrow
\rm{isMortal}(x)\)。

正文提出用隐式的条条框框融入到实体和事关之分布式表示被。本文首先回顾了Riedel
et al.
(2013)的工作,在该工作受到,作者用鲜只向量\(\boldsymbol{r,t}\)来分别表征关系以及实体元组(头尾实体对),优化的靶子是:\(\boldsymbol{r_p^{\rm{T}}t_p\leq
r_q^{\rm{T}}t_q}\),其中\(p\)代表负例的标识。并是优化目标定义相应的损失函数:

\[\mathcal{L}_R=\sum_{(r,t_q)\in
\mathcal{O},t_p\in \mathcal{T},(r,t_p)\notin
\mathcal{O}}l_R(\boldsymbol{r^\rm{T}[t_p-t_q]})\]

为拿设:\(\forall t\in \mathcal(T):
(r_p,t)\Rightarrow
(r_q,t)\)的规则融入分布式表示,本文拟上述办法,可以用上述规则转化为:

\[\forall t\in
\mathcal{T}:\boldsymbol{r_p^{\rm{T}}t_p\leq
r_q^{\rm{T}}t_q}\]

啊即是左手元组分数越强,右侧元组分数必然更胜,从而达成左侧元组成立,右侧一定立之演绎原则。同时优化损失函数:

\[\mathcal{L}_R=\sum_{\forall t \in
\mathcal{T}}l_R(\boldsymbol{[t_p-t_q]^\rm{T}\tilde
t})\]

其中,\(\boldsymbol{\tilde
t}:=t/{||t||_1}\)。

为减少计算费用,同时抵达独立于实体元组的目的,本文对目标损失函数做了如下修改:

\[\mathcal{L}_I=\sum_{\forall t \in
\mathcal{T}}l_I(\sum_{i=1}^{k}\tilde
t_i\boldsymbol{[t_p-t_q]^\rm{T}\bf{1}_i})\]

一发发:

\[\mathcal{L}_I\leq
\sum_{i=1}^{k}l_I(\boldsymbol{[t_p-t_q]^\rm{T}\bf{1}_i})\sum_{\forall
t \in \mathcal{T}}\tilde t_i\]

令:

\[\mathcal{L}_I^U:=
\sum_{i=1}^{k}l_I(\boldsymbol{[t_p-t_q]^\rm{T}\bf{1}_i})\]

通过最小化损失函数\(\mathcal{L}_I^U\),可以将隐式规则\((r_p,t)\Rightarrow
(r_q,t)\)融入到代表被。其他细节要参见原文,这里不做赘述。

Text-enhanced Representation Learning for Knowledge Graph

  • 作者:Zhigang Wang and Juanzi Li
  • 机构:Tsinghua University

正文面向知识图谱的象征学习任务,提出采用外部文本中的内外问信帮助知识图谱的象征学习。

本文叙述:TransE、TransH、TransR等方式无法充分好的缓解不同等针对性同关乎,而且受限于知识图谱的数稀疏问题,基于此本文提出利用表面文本中之内外问信帮助知识图谱的表示学习。类似距离监督,本文首先用实体回标到文本语料中;以此博得到实体词与其他主要单词的共现网络,该网可以当联系知识图谱和公事信息的纽带;基于此网,定义实体和涉及之文本上下文,并拿该融入到知识图谱中;最后采取翻译模型对实体和涉及之代表进行攻。

下图是一个简约的图示:

Representation Learning of Knowledge Graphs with Hierarchical Types

  • 作者:Ruobing Xie, Zhiyuan Liu, Maosong Sun
  • 机构:Tsinghua University

正文面向知识图谱的意味学习任务,提出融入实体类型信息帮助知识图谱的象征学习。

本文叙述:目前底绝大多数方式专注让采取知识图谱中三元组结构的表示学习,而忽视了融入实体类型的信。对于实体而言,对于不同之花色含义应该有所不同的代表。本文由Freebase中拿走实体的类型信息,并以那层次化表示,并统筹了点儿种编码方式,对于不同之涉嫌通过参数调整取得相应之实业表示。

Knowledge Representation Learning with Entities, Attributes and Relations

  • 作者:Yankai Lin, Zhiyuan Liu, Maosong Sun
  • 机构:Tsinghua University

正文面向知识图谱的代表学习任务,提出使用实体、属性、关系三独因素来开展表示学习。

本文提出针对性能与事关加以区别,并当代表学习之进程被分对待,本文首先提出属性和关系之界别,本文叙述:属性的价值一般是纸上谈兵的定义,如性别和工作等;而且经过统计发现,属性往往是差不多对平底,而且对于特定的习性,其取值大多来自一个稍集合,如性别。对事关以及性能采用不同的羁绊措施展开独立表示学习,同时提出属性之间的又胜之自律关系。本文想法时,很值得借鉴。

相关文章