Rumor Detection on Social Media with Bi-Directional Graph Convolutional Networks

https://github.com/TianBian95/BiGCN

从社交媒体上如此海量的信息中识别谣言正成为一项艰巨的挑战。

一些深度学习方法被应用于通过谣言传播的方式来发现谣言，如递归神经网络(RvNN)等。然而，这些深度学习方法只考虑了深度传播的特点，而忽略了谣言检测中广泛分散的结构。

实际上，propagation(传播)和dispersion(扩散)是谣言的两个关键特征。

作者提出一种新的双向图模型，称为双向图卷积网络(Bi-GCN)，通过对谣言的自上而下和自下而上的传播进行操作，来探索这两个特性。

• 利用具有自上而下谣言传播有向图的GCN来学习谣言传播模式
• 具有相反方向的谣言扩散图，以捕获谣言扩散的结构

此外，来自消息来源的信息涉及到GCN的每一层，以增强谣言根源的影响力。

相关工作

传统方法

传统的检测方法主要采用用户特征、文本内容和传播模式等手工制作的特征来训练监督分类器，例如：Decision Tree、 Random Forest、Support Vector Machine (SVM)。

一些研究应用了有效的特征，如用户评论、时间结构特征，以及帖子的情感态度。

然而，这些方法主要依赖于特征工程，非常耗时费力。此外，这些手工制作的特征通常缺乏从谣言的传播和扩散中提取的高层次表示。

深度学习方法

最近的研究已经利用从传播路径/树或网络中挖掘高层表示的深度学习方法来识别谣言。也就是深度学习方法：

RNN

长短期记忆(LSTM)、门控递归单元(GRU)和递归神经网络(RvNN)，因为他们能够从随着时间的谣言传播中学习序列特征。

然而，这些方法在效率上有很大的局限性，因为时间结构特征只关注谣言的顺序传播，而忽略了谣言散布的影响。

CNN

谣言传播的结构也表明了谣言的某些传播行为。因此，一些研究试图通过引用基于卷积神经网络(CNN)的方法来涉及谣言传播结构中的信息。基于CNN的方法可以获得局部邻域内的相关特征，但不能处理图或树中全局结构关系。因此，这些方法忽略了谣言传播的全局结构特征。实际上，CNN不是为从结构化数据中学习高级表示而设计的，但图形卷积网络(GCN)是。

GNN

GCN，或称为无向GCN(UD-GCN)，只聚合依赖于相关帖子之间的关系的信息，而丢失了以下内容的顺序。

虽然UD-GCN具有处理谣言传播的全局性结构特征的能力(其实传统基于消息传递的GNN只是局部特征)，但它没有考虑谣言传播的方向，但这已被证明是谣言检测的重要线索。

具体而言，沿着关系链的深度传播和在社区的广泛扩散是谣言的两个主要特征。

为了同时处理谣言的传播和扩散，本文提出了一种新的双向GCN(Bi-GCN)，它同时适用于谣言的自上而下和自下而上的传播。

Top-Down graph convolutional Networks (TD-GCN) / Bottom-Up graph convolutional Networks (BU-GCN)

TD-GCN从谣言树中节点的父节点获取信息来制定谣言传播，而BU-GCN从树中节点的子节点收集信息来表示谣言的散布。

Detect rumors on twitter by promoting information campaigns with generative adversarial learning.采用对抗性学习方法来提高谣言分类器的性能，其中鉴别器用作分类器，相应的生成器通过产生冲突噪声来改进鉴别器。

方法

符号

$C = {c_1,c_2,…,c_m}$ 为数据集，$c_i$ 是第 $i$ 个事件，$m$是事件的数量。

$ci = {r_i,w_1^i,…,w{n_i-1}^i,G_i}$ , $n_i$ 是事件$c_i$中帖子的数量，$r_i$是源帖子，每个$w_j^i$代表第$j$个相关回应帖子, $G_i$ 指的是传播结构。$ G_i$定义为 $⟨V_i，E_i⟩$其中 $r_i$是根节点

类别标签${N,F,T,U}$ (Non-rumor, False Rumor, True Rumor, and Unverified Rumor)

DropEdge

DropEdge是一种减少基于GCN模型的过拟合的新方法。在每个训练周期内，随机地从输入图中剔除边，以一定的速率生成不同的变形副本。

因此，这种方法增加了输入数据的随机性和多样性，就像随机旋转或摆动图像一样。形式上，假设图 $A$ 中的边总数为$N_e$，dropping率为$p$，则DropEdge之后的邻接矩阵$A‘$计算如下：

$$A' = A - A_{drop}$$

其中$A_{drop}$ 是$N_e\times p$ 随机采样原始边集合得到

Bi-GCN Rumor Detection Model

Bi-GCN的核心思想是从谣言传播和谣言扩散两个方面学习合适的高层表示。

在Bi-GCN模型中，采用两层1stChebNet作为基本的GCN组件。如图2所示，分4个步骤详细阐述了使用Bi-GCN进行谣言检测的过程。

首先讨论如何将Bi-GCN模型应用于一个事件，即第i个事件的$c_i→y_i$。其他事件的计算方式相同。为了更好地展示我们的方法，我们在下面的内容中省略了下标i。

1 Construct Propagation and Dispersion Graphs

基于转发和回复关系，我们构造了传播结构 $⟨V, E⟩$ 对于谣言事件。

然后，设 $A\in R^{n_i×n_i}$和 $X$ 分别为其对应的基于谣言传播树$c_i$的邻接矩阵和特征矩阵。

$A$ 经过drop变成$A’$ ,基于$A’$ 和 $X$ ，我们可以建立我们的Bi-GCN模型。我们的Bi-GCN由两个组件组成：

Top-Down Graph Convolutional Network (TD- GCN)

Bottom-Up Graph Convolutional Network (BU- GCN)

两个分量的邻接矩阵是不同的

TD-GCN中，$A^{TD}=A’$ , 对于BU-GCN，邻接矩阵为 $A^{BU}=A’^⊤$。TD-GCN和BU-GCN采用相同的特征矩阵X。

2 Calculate the High-level Node Representations

TD-GCN经过两层图卷积:

$$H_1^{TD} = \sigma(\hat A^{TD}XW_0^{TD})$$ $$H_2^{TD} = \sigma(\hat A^{TD}H_1^{TD}W_1^{TD})$$

BU-GCN相同

3 Root Feature Enhancement

众所周知，谣言事件的来源帖子总是信息丰富，影响广泛。要更好地利用源帖信息，从节点与源帖的关系中学习更准确的节点表示。

对于第k个GCL处的TD-GCN，我们将每个节点的隐藏特征向量与来自第(k−1)个GCL的根节点的隐藏特征向量连接起来，以构造新的特征矩阵

$$\hat H_k^{TD} = concat(H_k^{TD},(H_{k-1}^{TD})^{root})$$

其中$H_0^{TD}=X$

4 Representations of Propagation and Dispersion for Rumor Classification

传播表示和扩散表示分别由TD-GCN和BU-GCN的节点表示聚合而成。

在这里，我们使用均值合并算子来聚集来自这两组节点表示的信息。它的公式是

$$S^{TD} = MEAN(\hat H_2^{TD})$$ $$S^{BU} = MEAN(\hat H_2^{BU})$$

然后，我们将传播的表示和扩散的表示连接起来，将信息合并为

$$S=concat(S^{TD},S^{BU})$$

最后，事件ˆy的标签通过几个全连接层和SoftMax层：

$$\hat y = Softmax(FC(S))$$

$\hat y \in R^{1\times C}$

实验