Coding-Zuo

GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training一个自监督的利用对比学习来学习GNN内在可迁移的先验知识的预训练框架，目的是想得到一个可迁移性强，迁移领域广的，通用的表达。为了捕捉跨多个网络的通用网络拓扑特性，预训练任务为，跨网络子图实例判别。所以预训练的重点在结构相似性层面上，并且不带节点属性。 基本思想基本思想是对输入图中的实例进行采样，将每个实例视为自己的一个不同的类，并学习对这些实例进行编码和区分。 具体地说，作者认为GCC需要回答三个问题，才能学习到可转移性好的结构模式： 实例是什么？ 分辨规则是什么？ 如何对实例进行编码？ 对于者三个问题作者展开研究。 预训练任务——子图实例判别任务的目标是根据顶点的局部结构来区分它们。 对于每个顶点，从它的多跳ego网络中抽取子图作为实例。 GCC的目的是区分从某个顶点采样的子图和从其他顶点采样的子图。并且不假设顶点和子图来自同一个图，所以图编码器被迫捕获不同输入图的通用模式。 定义子图实例对比学习框架的成功很大程度上取决于数据实例的定义。CV和N ...

Dynamically Fused Graph Network for Multi-hop Reasoning受人类分步推理行为的启发，提出了动态融合图网络(DFGN)，回答那些需要多个分散证据并在这些证据上进行推理的问题。不依赖于任何额外的预定义知识基础，能回答开放领域中的问题。 大体过程 给出了一个问题和三个段落。DFGN通过从多个段落构造实体图，预测动态掩码选择子图，沿着图传播信息，最后将图中的信息传回文本来定位答案，从而对事实进行多步推理。节点是实体引用，带颜色节点表示潜在实体。边由共现关系构造而成，每一步都由DFGN选择灰色圆圈内的子图来处理。 挑战 由于并不是每个文档都包含相关信息，基于多跳文本的问答需要从多个段落中滤除噪声并提取有用信息。 作者思路: 通过DFGN这种多轮迭代的动态实体图来解决，如上图DFGN每一轮都通过掩码预测模块在动态图上生成和推理，其中不相关的实体被屏蔽，只有推理远被保留也就是灰色圆圈内的子图，这种做法缓解了误差的传播问题。 此外，DFGN的预测mask的过程可隐含地导出推理链，可以解释推理结果。针对开放域语料库基本真值推理链难以定义和标注的问题 ...

Unsupervised Multi-hop Question Answering by Question Generation第一个研究无监督多跳QA的。 MQA-QG致力于探索在不参考任何人工标记的多跳问答对的情况下训练性能良好的多跳QA模型的可能性。 无标签数据源分为同构和异构，即作者考虑了两种数据源，一种是结构化的表格文本数据，一种是纯文本数据。 如果推理链中只有一种数据源的叫同构，两种数据源的叫异构。 仅使用生成的训练数据，和有监督的性能做对比，对于Hybridge QA和HotpotQA数据集分别有61%和83%的有监督学习性能。其中hotpotQA(同构数据)，Hybridge QA(异构数据)。 大体过程从每个数据源中选择或生成相关信息，将多个信息整合成一个问题。 首先定义一系列operators去检索或生成相关信息。 然后定义六个推理图每个对应于一种类型的多跳问题，且是建立在operators之上的计算图。 如上图，是生成table2text的问题。给出输入$(table, text)$ ，桥梁实体Jenson Button被operators找出来，他链接 ...

Is Graph Structure Necessary for Multi-hop Question Answering?图结构对多跳问答有多大贡献？ 这是一篇只有6页的类似实验报告的论文。是在作者在做实验时发现，图结构和邻接矩阵都是与任务相关的先验知识，graph-attention可以看作是self-attention的特例。实验和可视化分析表明，self-attention和transformer可以代替graph-attention或整个图形结构，并且效果无明显变化，从而对图网络在自然语言处理任务上的应用能力提出了质疑。并希望未来引入图结构纳入自然语言处理任务的工作，应说明其必要性和优越性。 作者使用 Dynamically Fused Graph Network 那篇文章作为baseline开展了研究。 Baseline首先描述baseline模型，证明了只有当预先训练的模型以feature-based的方式使用时，图结构才能发挥重要作用。虽然在fine-tuning方法中使用预先训练的模型，但图结构可能没有帮助。 作者复现了DFGN，并修改了预训练模型的使用。该模型首先 ...

Navicat配置远程连接sqlite 远程sqlite其实是需要php环境的 因为配置远程需要一个php文件当做通道，而且要能在浏览器上可访问这个文件 所以首先找到这个文件，这个文件一般在Navicat的目录下，把它放在db的同目录下 然后就是安装apache2 和php https://blog.csdn.net/qq_37264323/article/details/90586239 我是按这个装的很简单 按步骤按完 apache2和php就可以了其余的不用装 然后就是配置可访问，先打开80端口的访问网址看看Apache启动成功否 之后就是配置虚拟路径，因为一般我们的db都不是放在Apache默认的www目录下 我的服务器系统是ubantu Apache安装目录在：/etc/apache2 我要配置的位置是 :vim /etc/apache2/sites-available/000-default.conf 在virtualhost内放置上面 alias 和directory 配置好路径 service apache2 restart 但是访问http://10.12.1 ...

从01背包问题一维优化到多重背包问题二进制、单调队列优化总结背包问题很经典，但从来都没有从头到尾总结过。 01背包问题，是给一个容量大小为V的背包和N件物品，每件物品有各自的价值w，且每个物品只能被选择1次。要求在有限的背包容量下，装入物品总价值最大。 多重背包问题的变动是，每个物品不止可以选择1次了，但要求还是在有限容量下装入最大的价值。 相当于问题除了给出背包容量V，每种物品的价值W，之外，还给了每种物品的可选数量S 多重背包问题的做法有 将多重背包问题拆分为01背包问题，每种物品的每个我都选择一下0或1选与不选，这种做法时间复杂度较高。 适用数据范围为： $0<N,V≤1000$$0<v_i,w_i≤1000$ (因为题目一般的可解计算量为$10^7$ ) 范围超了有，二进制优化方法 适用数据范围为： $0<N \le 1000$ $0<V \le 2000$ $0<v_i,w_i,s_i≤2000$ 再大还有单调队列优化方法 适用数据范围为： $0<N \le 1000$ $0<V \le 20000$ $0<v_i,w_i ...

Adam & AdamW 原论文 Adam一种基于低阶矩估计的随机目标函数一阶梯度优化算法。该方法也适用于非平稳目标和具有非常强噪声和/或稀疏梯度的问题。特点有：实现简单、计算高效、低内存要求、对梯度的对角重新缩放不变，并且很适合于数据和/或参数较大的问题。

GPT-GNN: Generative Pre-Training of Graph Neural NetworksSelf-Supervised Learning分成两种方法:一种是生成式模型，一种是判别式模型(对比学习)。 以输入图片信号为例，生成式模型，输入一张图片，通过Encoder编码和Decoder解码还原输入图片信息，监督信号是输入输出尽可能相似。判别式模型，输入两张图片，通过Encoder编码，监督信号是判断两张图是否相似(例如，输入同一个人的两张照片，判断输入相似，输出1；输入两个人的照片，判断输入不相似，输出0)。 文章贡献继上一文 Strategies for Pre-training Graph Neural Networks 对预训练GNN做了大规模的实验，并提出提出了一种结合节点级和图级表示的预训练方法，优化了单单使用一种级别做预训练后产生的负迁移效果。 又以生成式自监督的方式，来在预训练阶段捕捉图数据的结构信息和语义信息。分别是边生成任务和属性生成任务。 它们联合优化等价于最大化整个属性图的概率似然，这样预训练模型可以捕捉到节点属性与图结构之间的内在依赖关系 ...