阅读apl_flipped读书笔记每一章「建议收藏」

论文名

APAN: Asynchronous Propagation Attention Network for Real-time Temporal Graph Embedding

作者

Xuhong WangDing LyuMengjian Li Yang XiaQi YangXinwen WangXinguang WangPing CuiYupu YangBowen Sun
Zhenyu Guo

简介

为了捕捉高阶结构特征，大多数基于 GNN 的算法都学习了包含 k 跳邻居信息的节点表示。由于查询 k 跳邻居的时间复杂度很高，大多数图算法无法部署在一个巨大的密集时间网络中以执行毫秒级推理。这个问题极大地限制了在某些领域应用图算法的潜力，尤其是金融欺诈检测。因此，我们提出了异步传播注意网络，这是一种用于实时时间图嵌入的异步连续时间动态图算法。传统的图模型通常执行两种串行操作：首先是图查询，然后对推理进行建模。与之前的图算法不同，我们将模型推理和图计算解耦，以减轻重图查询操作对模型推理速度的损失。从大量实验中的结果表明，所提出的 APAN 可以在 8 倍的推理速度提高的情况下实现具有竞争力的性能。

方法

APAN 算法由两个主要部分组成：

1.异步传播：

它是一种连续时间动态图算法，可异步和增量更新节点表示。该算法使用传播函数根据节点的邻居表示来更新
节点表示。

异步传播注意力网络（APAN）是一种异步连续时间动态图算法，它沿着时间边缘将邮件（信息）从节点传播到其 k-hop 邻居的邮箱。邮件传播器首先创建邮件，然后沿着时间边缘异步将其传播到 k-hop 邻居的邮箱。APAN 算法的异步链接允许进行更复杂的计算，例如聚合来自多个层的邻居或计算子图统计值，而不会损害用户体验。
APAN 有两个链路：同步推理链路和异步传播链路。在异步链路中，一旦交互完成，交互的详细信息将被交付为其k跳邻居的“邮箱”；在同步链路中，当交互发生时，APAN不需要查询时间图中的邻居，而只读出相关节点的“邮箱”并生成实时推理

2.注意机制：

 它用于根据节点的重要性为节点的不同邻居分配不同的权重。注意力机制有助于捕捉图表的高阶结构特征。

该论文提出了一种注意力机制来捕捉最后一个嵌入和邮箱 之间的关系，这意味着注意力模块可以根据从节点不同时间收到邻居的邮件来确定如何更新节点嵌入。（z(t-)表示它参与交互时最后一次的节点状态。Mailbox 记录了邻居所涉及的过去交互的详细信息，包括 k-hop 邻居。）注意力机制采用实体 V 的加权和，其中权重由实体 “Q-K” 对的相互作用给出。“Q-K” 对之间的点积越大，反映 V 对最终输出的贡献越大。W𝑄 , W𝐾 , W𝑉（是注意力输出的维度）是投影权重矩阵，用于学习合适的 “Q-K-V” 来创建富有表现力的注意力输出。实际上，注意力模型总是采用多个注意力头来形成多个子空间，并强制模型学习信息的不同方面。为了构建多头注意力模块，构造了多个注意力并将它们连接起来。

异步传播注意力网络（APAN）

异步传播注意力网络（APAN）的总体框架分为三个部分：编码器、解码器和传播器。编码器和解码器位于同步链接中，而传播器位于异步链接中。编码器由位置编码、多头注意力和图层归一化三个部分设计。解码器是一款 MLP，它利用时间节点嵌入为下游任务生成边缘预测。传播器沿着时间边缘将邮件传播到 k-hop 邻居的邮箱。

APAN 是一种图嵌入算法，它使用多头注意力模块作为其编码器网络。编码器网络根据上次更新的嵌入与邮箱之间的相对性，计算当前节点嵌入。邮箱是维度为 m×d 的矩阵，其中 m 是邮箱中的最大邮件数。相对性是使用注意力机制计算得出的。注意力机制是一种有选择地关注输入的某些部分的方法，以计算输出。APAN 中使用的注意力机制是一种多头注意力机制，这意味着它使用多个注意力头来计算输出。将每个注意力头的输出串联并穿过线性层以产生最终输出。

今天的文章阅读apl_flipped读书笔记每一章「建议收藏」分享到此就结束了，感谢您的阅读。