[TOC]
时序知识图谱综述补全：分类、进展和前景
知识图是事实的结构化表示，由实体、关系和语义描述组成。实体可以是现实世界的对象和抽象概念，
关系表示实体之间的关系，实体的语义描述，它们之间的关系包含具有明确定义的含义的类型和属性。
虽然一些TKGC方法被设计用来探索时间信息的语义，但它们往往是独立地处理时间信息，无法捕捉到与事实相关的隐藏语义信息。
外推方法面临着有效减轻异常历史信息对TKG嵌入的影响的挑战，异常历史信息的存在严重阻碍了对未来事件的准确预测。
时间信息：时间点+时间间隔
有关于内插法这里就不过多介绍了
背景
损失函数
1.Margin-based ran
引入了边际，以确保真四联体的分数低于损坏的四联体的分数，
2.Cross-entropy loss
计算两个概率分布之间的差值，准确地反映了模型的预测精度，但对异常值不那么敏感。我们遵循标准的数据增强协议，并向数据集添加逆关系，即为每个四联体（s，r，o，t）创建一个四联体（o，r−1，s，t）。然后，交叉熵的损失定义为：
3.时间正则化
期望相邻的时间嵌入的相应元素能够接近，下面有三种正则化的方法：
4.评估方案指标
该评估方案是评估TKGC方法性能的一个关键指标。通常，它涉及到将每个测试四联体（s、r、o、t）中的头部或尾部实体替换为TKG中的所有可能实体，然后对评分函数产生的分数进行排序。一些广泛使用的评估指标包括平均等级（MR）、平均倒数等级（MRR）和命中Hit@N。
• Mean Rank (MR): the average rank assigned to the true quadruplet overall test quadruplets;
• Mean Reciprocal Rank (MRR): the average of the reciprocal rank assigned to the true quadruplet over all test quadruplets;
• Hit@**N: the percentage of cases in which the true quadruplet appears in the top N ranked quadruplets. Here, we specifically report the N = 1, 3, 10 scores to verify the performance of TKGC methods.
和Hits@N值越高，Mr值越低，说明性能越好。
此外，最终的实验结果包括两种：原始的和过滤。具体来说，过滤度量是通过从秩中排除训练、验证或测试集中存在的所有重组四联体来计算的，而原始度量不考虑这些排除。
时序知识图谱补全
内推
通过识别数据集中的一致趋势，就可以合理地估计未明确计算的值。
1)基于时间戳依赖的TKGC方法不对时间戳强加操作。
2)基于时间戳的TKGC方法应用特定于时间戳的功能来获得时间戳的嵌入或实体和关系的演化。
3)基于深度学习的TKGC方法利用深度学习算法对时间信息进行编码，并研究实体和关系的动态演化。
外推
1)基于规则的TKGC方法将逻辑规则应用于推理未来的事件。
2)基于图神经网络的TKGC方法通常利用GNN和RNN来探索TKG中的结构和时间信息。
3)基于元学习的TKGC方法设计了元学习者来指导模型的学习过程。
4)基于强化学习的TKGC方法引入了强化学习策略，以确保模型更好地实现其训练目标。
5)基于张量的分解模型和张量神经网络NTN
外推
基于规则
具有可解释性和可靠性，基于规则的TKGC方法在推理操作之前从给定的TKG中提取出一系列时间逻辑规则。时间逻辑规则定义了在时间戳tl时的两个实体x和y之间的关系，
每个规则都是以逻辑暗示的形式写成的。如果满足右侧（规则主体）上的条件，则左侧（规则头）上的陈述为真。将提取的规则输入逻辑规则推理模块，应用后链或前链推理模块来推断TKG上的新事件.
手动规则
近年来，许多研究者分析了TKG的特点，并手工设计了TKGC的一些逻辑规则。TPRG 提出了一种基于时间逻辑规则的多跳TKGC方法。TPRG分析了TKG中的多跳路径的逻辑连接。它手动定义了14个时间逻辑规则。这些规则捕获了实体之间不同类型的逻辑关系，并可以用来推断新的事实。KGFFP 要求人类专家为森林火灾预测定义几个时间逻辑规则。TLmod 分析了时间逻辑规则定义的原则。提出了一种获得规则和计算置信度分数的剪枝策略。为TKGC选择了具有高可信度的规则。
自动规则挖掘
TLogic 引入了一种新的基于TKGs时间随机游动的符号框架。TLogic直接从TKG学习时间逻辑规则，并将这些规则输入一个符号推理模块进行预测。TLogic以时间逻辑规则的形式提供了明确的和人类可读的解释，可以很容易地缩放以适应大型数据集。TILP 为时间逻辑规则学习提供了一个可微的框架。TILP在TKG上提出了约束随机游走机制。通过引入时态操作符，TILP可以不受限制地从TKG中学习时态逻辑规则。而不是学习如等式中所示的简单的链状规则10，TFLEX 提出了一个时间特征逻辑嵌入框架，支持TKG上复杂的多跳逻辑规则。
图卷积神经网络
基于图卷积网络（GCN）的TKGC方法通常通过集成图结构编码器和时间编码器来推导出实体表示。如图所示，TKG的每个快照都由图卷积网络（GCN）编码，而多个快照之间的时间依赖性则由递归神经网络（RNNs）捕获。
结构编码器在每个时间步长中，基于图G (t)生成实体嵌入。这通常建立在静态kg上的消息传递网络的现有编码器上。
时间编码器将时间信息集成到实体表示中。具体来说，RE-NET 使用了一个基于RNN的时间编码器来捕获时间依赖性。
1.Deng等人利用CompGCN来捕获相邻实体和事件类型的影响，同时结合GRU来建模表示之间的时间依赖性。
2.TeMP时间增强的消息传递利用RGCN来考虑邻近实体的影响，并引入了一个基于频率的门控GRU来捕获非活动事件之间的时间依赖性。
3.DACHA提出了对偶GCN来获得实体表示，它同时考虑了原始图（即实体交互图）和边缘图（即关系交互图）上的信息交互。此外，我们还采用了一个自注意编码器来建模事件类型之间的时间依赖关系。
4.RE-GCN使用RGCN来聚合来自邻近实体的消息，并利用一个自回归的GRU来建模事件之间的时间依赖性。
5.CyGNet 利用一种副本生成机制来捕获事实的全局重复频率。
上面这些方法很难同时考虑顺序性、重复性和周期性的历史事实。
1.TiRGN结合了本地和全球的历史信息，以捕获历史事实的顺序、重复和循环模式。它通过一个基于双循环机制的基于GNN的编码器来实现这一目的。
2.HiSMatch 通过一个背景知识编码器将背景知识集成到TKGC模型中，该编码器也由CompGCN 制定。HiSMatch互补地捕获了实体之间的高阶关联。
3.TANGO 扩展了神经ODE来建模动态tkg。TANGO保留了tkg的连续性质，并将时间和结构信息编码到连续时间的动态嵌入中。
4.HGLS 将TKG序列转换为一个全局图，以显式地关联不同时间步长中的历史实体。设计了一个分层的RGCN模块，通过对全局图进行分层编码来捕获实体之间的长期依赖关系。
图注意力网络
GAT对相邻节点进行聚合，以提高当前节点的表达能力。如图所示，基于GAT的TKGC方法对相邻节点分配不同的权值，对其进行聚合，更新当前节点的嵌入，实现链路预测任务。
1.TPmod 定义了关系的优度值和实体对的接近度值，提出了一种融合优度和接近度值的趋势策略，并利用注意机制来聚合与实体相关的历史事件。
2.EvoKG 通过联合建模事件时间和演化的网络结构，同时捕获TKGs中的结构和时间动态。然而，必须注意的是，历史事件对未来事件的影响不是恒定的，而且会随着时间的推移而变化。
3.DA-Net 通过一种注意机制从不同的时间戳中学习历史信息，并将注意力分配到未来的事件中分别描述了图结构的形成过程和图的局部结构和全局结构的动态拓扑变换。其中，局部结构采用层次注意机制来描述关系的建立过程。全局结构采用由实体表示参数化的软模块化来捕获tkg的动态社区分区。
4.EvoExplore分别描述了图结构的形成过程和图的局部结构和全局结构的动态拓扑变换。其中，局部结构采用层次注意机制来描述关系的建立过程。全局结构采用由实体表示参数化的软模块化来捕获tkg的动态社区分区。
未来的事件可能同时发生，它们之间可能存在相互影响。
5.CENET 考虑了这两种类型的信息，从历史和非历史事件中学习一个令人信服的实体分布，并通过对比学习算法识别重要的实体。
目前，由于收集足够的语料库和注释的挑战，资源不足的语言tkg的不完整性问题尤为突出。因此，这导致了次优的推理性能。
6.RTFE 将图的序列视为一个马尔可夫链，因此下一个时间戳的状态只与前一个时间戳相关。当新的时间戳出现时，不需要重新训练以前的所有时间戳，并且通过状态转换过程自然地扩展到新的时间戳。但是，RTFE并没有考虑到经常发生的事件。
7.CyGNet 通过从已知事件中学习知识来解决这个问题。它不仅包括从整个实体词汇表预测未来事件，还通过反复识别事务和引用已知事实。
transfromer
利用transfromer强大的建模能力来捕获tkg中的结构和时间关联。transfromer不仅可以探索每个历史快照中的结构关联，而且还可以捕获不同历史快照之间的时间关系，以完成链接预测任务。
现有的TKGC方法通常只关注实体或关系，而忽略了整个TKG的结构信息。
1.HSAE 采用自注意机制来捕获实体和关系的结构信息，并利用历时性嵌入函数来探索实体和关系的演化。事件通常伴随着某些前兆，这意味着未来的事件往往是从历史事件演变而来的。
2.rGalT 提出了一种新的自动编码器架构，它在变压器中引入了一个关系感知的图注意层，以适应对TKG的外推推理。
3.GHT 通过引入变压器框架来捕获结构和时间信息。它不仅预测事件的发生时间，而且通过连续时间编码函数处理看不见的时间戳，并提供个性化的查询响应。
元学习
tkg经历了一个动态的进化过程，新的实体和关系的不断增加。这些实体和关系在训练过程中通常是看不见的，并且只与有限数量的事实相关联，这使得现有的模型很难处理未来的数据。为了解决这一挑战，这个很有前途的元学习方法通过一些训练例子来学习元学习者以快速适应新的任务。在TKG的背景下，元学习者被推广到处理具有有限数量的历史事实的未来数据。基于元学习的TKGC大致可以分为两类：基于网络的匹配方法和基于元优化的方法。
匹配网络
基于网络的TKGC方法的目的是学习一个度量空间，其中很少的历史事实和未来数据之间的距离可以用来预测新的事实。
FTAG 提出了一种一次性的元学习TKGC框架，该框架设计了一种新的时间邻域编码器，通过自我注意机制来捕获实体之间的时间交互作用并代表历史事实。随后，建立一个匹配网络，计算新事实与历史实例之间的相似性得分。通过这种方式，FTAG只用一次性的历史数据来预测新的事实。
为了处理少镜头数据，FTMF 采用了一个循环递归聚合网络来聚合少镜头数据，并利用一种容错机制来考虑噪声信息。最后，利用基于RNN的匹配网络来度量少镜头数据与未来数据之间的相似度。TFSC 设计了一个具有时间感知的匹配处理器，它包含了时间信息来计算相似度得分。
元优化
MOST 提出了一个元学习框架来学习少镜头关系的元表示，并预测新的事实。
MetaTKG 设计了一个时间元学习器来学习进化元知识，从而指导预测模型适应未来的数据。具体来说，一个门控集成模块自适应地建立了历史数据之间的时间相关性。
MetaTKGR 提出了一种新的元学习时态知识图推理框架。为了考虑动态分布的变化，它动态地根据最近的事实调整采样和聚合邻居的策略。通过这种方式，MetaTKGR能够处理具有较大变异的时间适应。
强化学习
强化学习（RL）根据反馈调整策略，使互动过程中的累积奖励最大化，最终获得最优的学习策略。基于rl的方法将TKGC视为一个马尔可夫决策过程（MDP），它优于产生可解释的预测。
马尔科夫决策过程
当将RL应用于TKG推理任务时，一个关键的挑战是构建一个适当的奖励函数。许多现有的方法都依赖于手动设计的奖励。
1.TAgent 对TKGC采用二进制终端奖励，这限制了其获得足够奖励的能力。为了提高奖励函数的质量，后续的方法进行了新的尝试。
2.TPath 引入了路径多样性奖励，而TITer 则引入了基于狄利克雷分布的时间级奖励来指导模型学习。
3.CluSTeR 利用RNN获取时间信息，并将其纳入波束级奖励功能中。然而，这些模型严重依赖于手工设计的奖励，这由于稀疏的奖励困境、费力的设计过程和性能波动而带来了限制。
4.DREAM 引入了一个基于注意力的自适应RL模型来预测未来缺失的项目。该模型由两个主要部分组成： (1)一种同时捕获语义依赖和时间进化的多面注意表征学习方法；(2)一个自适应RL框架，通过动态学习奖励函数来执行多跳推理。
5.RLAT 将RL与注意机制结合起来，用于时间多跳推理。RLAT使用LSTM和注意机制作为记忆组件，有助于训练多跳推理路径。其次，提出了一种具有影响因素的注意机制。该机制度量邻居信息的影响，并提供不同的特征向量。策略函数使代理专注于高频率发生的发生关系，允许具有更高相关性的多跳推理路径。
应用
问答系统
基于TKGC的推荐系统主要分析用户的历史行为和偏好，然后利用与实体相关的tkg来识别用户可能购买的相关产品或服务。
医疗风险分析
医疗和风险分析系统是TKGC的重要应用，如医疗诊断系统和风险分析系统。
在医学领域，传统的系统是基于静态数据设计的，很难反映数据的动态变化特征。
Song等人首先探索GRU将时间信息整合到KG中，然后应用TransR来确保TKG的结构完整性。最后，他们通过利用完整的TKG，提高了医疗诊断系统的准确性。
A temporal semantic search system for traditional chinese medicine based on temporal knowledge graphs Yang等人提出了一种新的中医搜索系统，应用TKG来代表中医的动态变化。然后，他们提出了一个TKGC模型来完成医学诊断中搜索句子的时间意图。
推荐系统
基于TKGC的推荐系统主要分析用户的历史行为和偏好，然后利用与实体相关的tkg来识别用户可能购买的相关产品或服务
其他
TKGC也被广泛应用于许多其他应用中，如池化预测和移动率预测。STKG 将城市移动轨迹建模为一个时间知识图，其中移动轨迹、场所的类别信息和时间信息由具有不同关系类型的事实共同建模。然后，通过一个捕获时空模式的嵌入模型，将移动性预测转换为TKGC问题。CTPIR 提出了一种引文轨迹预测框架，该框架通过捕获引文的动态影响来预测一篇论文未来的引文轨迹。它首先采用R-GCN模型来捕获两个快照之间的连接。然后，它学习了一个细粒度的影响表示的轨迹预测。
未来发展
多模态
多模态kg的开发变得越来越重要，因为它们允许实体的不同表示，使人们对其语义有了更细致和更丰富的理解。多模态tkg可以描述实体丰富的语义、事件的时间演化，以及实体之间的语义、时间和空间关系。这种丰富的表示可以在下游任务中更有效地利用，如可视化的问题回答和推荐系统。
归纳式和少镜头式的学习设置
tkg通常表现出长尾分布，这意味着有许多罕见的实体和关系（即少镜头设置），甚至是看不见的实体和关系（即归纳设置）。这些看不见的实体和关系对传统的TKGC方法带来了挑战，因为它们缺乏足够的训练数据来学习准确的表示。数据的稀疏性使得很难对这些实体进行概括和做出准确的预测。因此，这些方法可能无法有效地完成与看不见的或罕见的实体相关联的缺失的事实。
通过时间条件进行逻辑查询回答
复杂查询回答未来的工作可以集中于开发更复杂的复杂查询嵌入模型，这些模型可以处理复杂的时间条件，如时间间隔、持续时间和粒度。这可以实现更准确和精确的查询回答，特别是在处理tkg中的时间约束和演化信息时。
结合或者与大型语言模型的统一
大型语言模型（llm）在各种应用程序中都显示出了良好的性能。在大规模语料库上经过预先训练后，llm能够包含巨大的一般知识和推理能力。最近，将llm与KGs统一的可能性越来越引起了研究人员和从业者的关注。许多研究已经利用llm来解决kg领域的任务。然而，现有的研究对llm与TKGC方法的统一的研究较少。llm在静态语料库上进行了预训练，对捕获时间信息不足。此外，随着新知识的推移，tkg正在随着时间的推移而发展。如何使llm有效地建模TKG的动态依赖并表示新的知识仍然是一个有待解决的问题。
可解释性分析
知识图具有良好的可解释性。然而，现有的TKGC方法大多是基于黑盒模型的深度学习算法。用于得出其结果的TKGC方法的推理过程无法向人类解释。这在很大程度上限制了它们在高风险情况下的应用，如医疗诊断和法律判断。解释用于推理和解释更复杂的TKGC模型的复杂的被捕获的时间模式仍然是一个未解决的问题。
