evoExplore

这篇也是讲述时序知识图谱推理的工作。

Temporal knowledge graph representation learning with local and global evolutions

关系的连续建立可以看作是离散的顺序事件

局部和全局的关系演化和建立

EvoExplore 通过将历史解耦为实体和关系的相似性来避免压缩，并采用分层注意机制以细粒度的方式对历史信息进行建模。

notation and descriptions

也是采用了Hawkes过程，在这里面用的还是比较多的。

EvoExplore 的目标是通过联合建模其局部和全局结构演化及其相互影响来学习时间知识图的表示。

structure

EvoExplore 将 TKG 作为输入，并通过联合建模局部和全局图结构的演变来学习 TKG 中实体和关系的表示。它由三个基本组件组成。如图 2 所示，首先，为了对局部结构演化进行建模，我们通过时间点过程来表征关系建立，并提出了一种分层注意机制来学习历史事件对每个参与实体具有自适应重要性的影响（a）。然后，为了对全局结构演化进行建模，我们设计了一个软模块化作为度量来捕获TKG中的社区结构，同时考虑了社区演化的平滑性和TKG (b)的异质性。最后，我们通过随时间 (c) 联合预测关系建立和社区分区来优化 EvoExplore，

Local structure evolution modeling

受时间点过程的启发，我们提出了一种新的基于层次注意力的时间点过程来建模TKG中每个关系的建立。

具体而言，给定一个时间事件（s，r，o，τ），表示在时间τ实体和o之间建立了关系r，我们遵循hawkes的策略，将相应的发生强度定义为 θ是一个权衡参数 g函数代表的是历史事件的影响

因为历史事件的影响应该随着时间的推移而减少，所以项k（τ-τi）=exp（-γ|τ-τi|）是一个具有可学习衰减率γ的时间衰减函数。

Base rate.

由于是否自发建立关系不仅与关系本身的语义有关，还与两个参与实体的语义有关。因此，我们基于关系和实体来计算时间事件的基本速率。

具体而言，受TransE的启发，我们认为，如果转换后的主体实体与对象实体相似，则时间事件的自发强度将很高。

因此，我们使用参数化内积运算来获得时间事件的基本速率（s，r，o，τ），如下 其中W是一个测量相似度的矩阵

上面符号表格里面 存在u代表主客体的表示。

一个实体的连接策略会影响它与其他实体建立关系的可能性。

由于TKG中存在具有各种连接策略的不同实体，并且连接策略可能随着时间的推移而演变，因此我们获得每个实体e在时间τ的表示为 其中θe、ωe和Ve∈Rd是保持其连接策略的不同进化模式的实体特定向量。

同时上面的式子 用sinθ保存了 进化的周期性

我们使用tanh单调函数来保持非周期性的进化趋势，例如，一个人应该出生、结婚和死亡。

用Ve保留了一个实体的一些静态属性，例如一个人的性别或城市的位置。通过这种方式，获得的实体表示可以准确地描述每个时间戳下实体的不同连接策略，这促使有效地识别时间事件的自发发生。

History's influence.

时间事件是否发生还取决于相关的历史事件，其中主体实体和对象实体的历史都有影响。 上面的两项包括带有实体的历史影响

每个实体的历史事件通过多种关系暴露给不同的实体，可以自然地被视为一种层次结构

hierarchical

历史事件的影响可以自然地解耦为历史实体和当前目标实体之间的相似性，以及历史关系和当前目标关系之间的相似。

？？？？与当前事件具有更多相似实体和更相似关系的历史事件将更加重要。？？？？

将每个历史事件的影响量化为实体相似性，并提出了一种分层注意力机制来计算差异的不同重要性

发生强度与关系和实体的相似性成正比。形式上，我们将涉及实体e的历史事件的影响定义为

hisin

R是实体在时间τi建立的一组关系，

是实体的集合，每个实体在时间τi与实体E建立关系

x是当前目标实体

实体相似度Q矩阵

其中包含两个注意力参数 是用于分别基于关系的相似性和实体的相似性对历史事件的不同重要性进行建模的注意力得分

为了获得不同历史事件的不同重要性，我们首先关注关系，这些关系在很大程度上决定了历史事件与当前事件的相关性。

为了根据历史事件的关系对其重要性进行建模，我们将关系级别的注意力定义为： 除了关系之外，还需要考虑实体，因为对于每个关系，一个实体可能通过它与其他各种实体进行交互，不同的实体将产生不同的重要性。

我们将与目标实体e具有相同关系的实体视为一个组，并将实体级别的注意力计算为β

Local structure evolution prediction.

我们可以获得每个关系建立事件的发生强度。

softplus函数 保证正值，或者指数函数

我们将实体s和o之间在时间τ建立关系的概率定义为

对关系的连续建立进行建模有助于理解图结构如何演变的详细机制。因此，我们的框架以细粒度的方式有效地捕捉了时间知识图的进化本质。

Global structure evolution modeling

随着关系的不断建立，全局结构也在缓慢演变

结合全局结构的演变不仅有助于我们的框架探索实体的高阶演变趋势，而且有助于捕捉每个时间戳的全局结构依赖性。

时间知识图的全局结构演化视为其随时间演化的动态社区划分，并设计了一个软模块来对TKG中的社区结构进行建模。

模块性是一种用于描述复杂网络中社区划分质量的度量，其定义为社区中的边缘数量与所有节点对上的预期边缘数量之间的差异。 m是网络中总共边的数量，

H表示社区分配矩阵，其中K是社区的总数，如果实体i属于社区K，则每个元素Hik设置为1，否则设置为0。

B是模块性矩阵，其中每个元素定义为 其中A是网络的邻接矩阵，ρi是节点i的阶。注意，如果边是随机放置的ρiρj/2m是节点i和j之间的期望边数。尽管模块化已被广泛用于对图中的社区进行建模，但它是为静态同构网络设计的。对于时间知识图，实体通过不同类型的关系连接，这导致不同的连接强度，并且图结构也随着时间的推移而变化，这导致每个时间戳的社区划分不同。

为了在时间知识图中适当地对社区进行建模，我们提出了一种新的软模块化。为了对实体之间变化的连接强度进行建模，我们首先将图的邻接矩阵替换为我们的连接强度矩阵，该矩阵是从一对实体之间的关系导出的。 其中Sτ是每个时间戳τ处的连接强度矩阵。i和j是两个相邻实体的索引。Rτi，j是在时间τ存在于实体i和实体j之间的关系集，a是用于测量每个关系的连接强度的学习向量。φ是一个激活函数。

在此基础上，我们首先分别处理每个时间戳处的图结构，对于每个时间戳τ，我们可以得到相应的软模块性矩阵Bτ，其中每个元素定义为 其中，ρτi和ρτj分别是实体i和实体j在时间τ的度数。mτ是在时间τ时TKG中的边的总数。

我们可以获得一系列时间特定的软模，通过最大化这些时间特定的软件模，我们可以分别在每个时间戳对TKG社区进行建模。

上述软模块化需要为每个实体硬分配社区标签。然而，TKG中的每个实体可能同时属于几个共同体，例如，日本可能同时属于亚太经合组织共同体成员国和世贸组织共同体成员国。其次，TKG在不同时间戳的社区划分是不独立的，因此单独处理它们忽略了它们的时间相关性。

Joint modeling

由于局部和全局结构进化是相互依赖的，并且相互驱动时间知识图的进化，我们设计了一个多任务损失函数，通过联合预测TKG的关系建立和社区划分来学习实体和关系的表示，该函数由 我们使用采样技术来近似优化Llocal。具体来说，由于我们已经通过指数函数将发生强度转移到正数，因此时间事件发生的概率p（s，o，t|H（τ））实际上是应用于强度函数的softmax单位，可以通过负采样近似优化。负采样可以避免整个实体集的计算，从而有效地减少计算量。对于每个时间事件（s，r，o，τ），我们随机采样L个负实体，并为每个负实体生成两个负知识实例（e，r，o，τ）和（s，r，e，τ）。

其中σ（x）=exp（x）/（1+exp（x））是sigmoid函数。此外，由于历史事件序列的长度在很大程度上影响了强度函数的计算复杂度，我们固定了历史的最大长度h，只保留最近的历史事件，

此外，由于Lglobal可以很容易地通过梯度下降算法进行优化，我们采用随机梯度下降（SGD）来优化整体损失函数。在每次迭代中，我们对一小批时间事件进行采样以计算Llocal，并使用当前批中涉及的实体来计算Lglobal。它们都将用于在反向传播期间更新参数。