Reading Notes of 《Neural Reading Comprehension and Beyond》

陈丹琦博士论文《Neural Reading Comprehension and Beyond》阅读笔记

Posted by WeiYang on 2019-03-07

闲来无事,膜拜一下巨佬的毕业论文,随手记一记,很不详细,随便看看就好,就按照论文的篇章结构来了。

论文地址:Neural Reading Comprehension and Beyond

Introduction


Motivation

为了理解一段文本,前人主要对如下几大NLP任务做了研究:

  • 序列标注
  • 命名实体识别
  • 句法分析
  • 指代消解

阅读理解任务就是凌驾于这些任务之上,可以深刻理解文本语义的一项研究。


上图给出了一个阅读理解的例子,为了回答这三个问题,需要从之前的几大NLP任务中获得答案。

上图是阅读理解在Google中的实际应用。

阅读理解不仅可以运用于QA系统,还可以用于对话系统。实际应用中,还可以用在比如个人助理之类的软件中。

论文主要研究两个阅读理解应用:

  • 开放领域QA
  • 对话QA

Thesis Outline

论文分为两部分:

  • PART I NEURAL READING COMPREHENSION: FOUNDATIONS
    第一部分介绍了阅读理解任务。
    第2章介绍了发展历史、问题定义和分类、阅读理解和QA的差异,最后介绍了近来阅读理解发展主要是由于大规模数据集和神经网络模型的发展。
    第3章介绍了几种阅读理解模型,并做了分析总结。
    第4章介绍了一些未来的工作,未来模型和数据集的研究方向以及一些开放性问题。
  • PART II NEURAL READING COMPREHENSION: APPLICATIONS
    第5章介绍了阅读理解模型在开放领域QA系统上的应用。
    第6章介绍了阅读理解模型在对话QA系统上的应用。

Contributions

  • 陈丹琦是第一批研究神经网络阅读理解的人,提出的STANFORD ATTENTIVE READER在之前的任务上效果都最好。
  • 研究了神经网络阅读理解模型到底学到了什么信息,以及目前的缺陷。
  • 开拓了将神经网络阅读理解模型应用到开放领域QA系统中的研究方向,特别是DRQA系统。
  • 将阅读理解模型应用到对话QA系统中,特别是CoQA系统。

An Overview of Reading Comprehension


History

Early Systems