Cognitive Graph for Multi-Hop Reading Comprehension at Scale(ACL2019)

20032202050 左玉晖

什么是认知图谱

2认知图谱我们可能不太了解，但知识图谱我们都知道，是由谷歌提出可以构建十几亿节点的知识库。节点表示实体，边表示实体间关系，像这个人和美国是公民的关系，知识图谱。他也包含了很多技术像知识嵌入、图谱构建，知识推理啊等等。但他也有他的一些难点，如歧义问题、关系的冗余与组合爆炸等。想要真正解决这些问题可能要重新考虑知识的表示框架和方法论。因为节点只表示的是实体的描述，没有抽象的表征，没抽象的特征就不可能有认知的模型。没有更丰富的认知模型，就不可能有鲁棒性。拥有的只是大规模的数据，以此出现的新事物就不会有很大的出入。

Cognitive Graph

动态构建带有上下文信息的知识图谱并进行解释性推理

增加了新的信息粒度和信息结构，会带来更大的想象空间

认知图谱=知识图谱+认知推理+逻辑表达

dual process theory

无意识的直觉系统+有意识的推理系统

隐式提取+显式推理

认知图谱可以被解释为“基于原始文本数据，针对特定问题情境，使用强大的机器学习模型动态构建的，节点带有上下文语义信息的知识图谱”。认知图谱和知识图谱的区别？认知图谱是包含知识图谱的相关技术的。知识图谱的任务主要是包括知识图谱的表示、构建和存储。这些是构建知识库的过程。认知推理的底层是知识推理，而知识图谱目的是完善知识。面向知识图谱的认知推理可以基于已有的知识推理出新的知识，或者发现错误矛盾的知识。认知图谱是为了解决复杂理解问题或少样本知识图谱推理问题如歧义问题、链接困难、关系的冗余与组合爆炸等。认知推理其实更具有人脑特性，相对更动态一些，可以基于知识感知来调整推理，也可以基于推理来调整知识和感知。交叉了认知科学对人类知识的总结，有助于划分和处理知识图谱的相关问题。认知图谱主要有三方面创新，分别对应人类认知智能的三个方面： 1.（长期记忆）直接存储带索引的文本数据，使用信息检索算法代替知识图谱的显式边来访问相关知识。 2.（系统1推理）图谱依据查询动态、多步构建，实体节点通过相关实体识别模型产生。 3.（系统2推理）图中节点产生的同时拥有上下文信息的隐表示，可通过图神经网络等模型进行可解释的关系推理。本质上，认知图谱的改进思路是减少图谱构建时的信息损失(两元一谓)，将信息处理压力转移给检索和自然语言理解算法，同时保留图结构进行可解释关系推理。

什么是多跳阅读理解

Single-Hop QA

现有单跳QA问题及数据集存在以下不足：

1.对AI推理能力要求不高

2.问题和答案多样性受限

3.无可解释性的推理过程

总的来说就是我从当前问题中提取出来的实体进行信息检索，找出一些段落，我再在这些段落里找有用的信息再去检索，这是一个迭代的过程。以本文为例，问题是有个叫2003这个电影有个场景是在洛杉矶这个咖啡馆拍的，这个电影的导演是谁？那么针对这个问题的实体我可以检索出多个段落的文本，里面可能蕴含这答案或者线索。比如第一跳我查出来有old school和 Gone in 60 seconds这个电影相关的文字，我进一步在通过这两个线索在去检索出来进一步的一些段落，最终找到了两个可能的答案。这种阅读理解更贴近人类真实了解问题的办法。对复杂问题也有很好的解答能力。

Multi-Hop QA

多跳QA跨过机器阅读理解和人阅读理解鸿沟的挑战：

1.理解能力：单段问答模型倾向于在与问题匹配的意义中寻找答案，这不涉及复杂的推理。

2.可解释性：展示推理路径能够验证逻辑严格性，对质量保证系统的可靠性至关重要。但数据集中给出的是无序的句子级别的解释，但我们人可以通过逻辑一步一步给出有序的、实体级别的解释。

3.大规模的数据(时间成本)：任何QA系统都要处理大规模的知识，多跳阅读可能更多。

摘要

Abstract

提出新的多跳QA框架CogQA

基于双过程理论System1:隐式提取，System2:显式推理

可以给出答案的解释路径

基于Bert和GNN处理HotpotQA数据集

数据集榜单持续3个月第一名

13接着看一下算法流程，算法框架分为系统一，隐式提取系统和系统二显示推理系统。提出一个问题，使用系统1从检索器查到的多个文本进行提取答案和实体，构建出认知图给系统二去推理，系统二还可以通过推理的结果反向指导系统1 的线索提取。///////首先初始用问题提到的节点作为前沿节点进行初始化，算法是一个迭代的过程，收集提及前沿节点的线索，由系统一生成语义向量，遍历前沿节点，如果这是一个hop节点，用系统1在段落中找到下一跳hop或者答案候选。先遍历这些hop段中的内容y，如果y在语料库中但不在认知图中，用y创建一个新的hop节点，如果y在图中，但当前的图中节点和他没有边，给y添加一个边并让他也成为前沿节点。再遍历可能的答案，给他们和当前前沿节点连上边。再用GNN更新隐层表示，循环这个过程直到认知图中没有前沿节点，或者图足够大了。最后用全连接层预测出概率最大的答案节点。

隐式提取System1

System1

模仿大脑，提取相关信息，是直觉和无意识的抽取系统。

做法是从段落中提取与问题相关的hop实体和答案，并对其语义信息进行编码。

System1:BERT Input

显式推理System2

System2

在System1基础上进行有意识的的可控的推理。

根据系统一提取的语义信息进行深度推理。在系统一提取出的信息图上，进行信息传递和结点更新。并且指导系统一更好的提取下一跳实体。

迭代的最后给出最终的推理答案

\[\begin{aligned} \Delta = \sigma((AD^{-1})^T\sigma(XW_1)) \end{aligned} \]

\[\begin{aligned} X’=\sigma(XW_2+\Delta) \end{aligned} \]

实验

数据集HotpotQA

112,779个问题，84%需要多跳推理。

展望

Prospect

现在GNN虽然使用关系边作为归纳偏执，但仍然无法指向可控、可解释、鲁棒的符号计算。

另辟蹊径，认知图谱基于双通道理论，是否还存在其他支撑理论，来构建新架构。

如何与人的记忆机理相结合，包括长期记忆和短期记忆，但工作模式和机理尚不清楚。长期记忆可能存储的是一个记忆模型，记忆模型不再是一个网络的概念，而是一个计算型的网络。

认知图谱如何与外界反馈相结合是一个全新的问题，当然可以考虑通过反馈强化学习来实现，但具体方法和实现模式还要深入研究。

双过程理论可以借鉴，用于多模态场景如FVQA