WeiYang Blog

华东师范大学|计算机科学与技术|自然语言处理

置顶 A Summary of Constituent Parsing

成分句法分析综述

一直以来想对保研到现在一年多看过的论文进行一个总结,正好赶上下周二要讲组会,所以将自己看过的成分句法分析相关的论文梳理一下,写一个粗略的综述。可能有很多细节还不是很懂,理解有误,还请大家指正。 PPT地址:A Summary of Constituent Parsing代码地址:Constituent Parsing 介绍 成分句法分析(constituent parsing)是自然......

Unsupervised Recurrent Neural Network Grammars

无监督循环神经网络文法

论文地址:Unsupervised Recurrent Neural Network Grammars代码地址:github 介绍 这篇是新鲜出炉的NAACL19的关于无监督循环神经网络文法(URNNG)的论文,在语言模型和无监督成分句法分析上都取得了非常不错的结果,主要采用了变分推理和RNNG。本文公式量较大,因此我也推了好久,算法也挺多的,首先上一张我推导的公式笔记: 我这篇博客就不......

Neural Language Modeling by Jointly Learning Syntax and Lexicon

联合句法和词汇学习的神经语言模型

论文地址:Neural Language Modeling by Jointly Learning Syntax and Lexicon代码地址:github 最近开始转向去看看一些无监督的成分句法分析论文,看看能否有一些启发QAQ。这篇博客摸鱼划水写了整整四天才写完,好累啊啊啊。 介绍 一般来说,自然语言是由词汇和句法组成的,但是标准的语言模型一般都只用RNN对词汇进行建模,句法信......

Better, Faster, Stronger Sequence Tagging Constituent Parsers

一个更好更快更强的序列标注成分句法分析器

为了看懂论文里的策略梯度,又去把强化学习看了一遍。。。 论文地址:Better, Faster, Stronger Sequence Tagging Constituent Parsers 介绍 这篇论文主要是在之前的那篇论文Constituent Parsing as Sequence Labeling基础上解决了如下三个问题: 太长的短语预测错误率高。 输出空间太大导致labe......

Constituent Parsing as Sequence Labeling

用序列标注来进行成分句法分析

貌似已经有好几个月没怎么看过论文了,之前一直在写论文,一直没空更新博客,最近闲下来把最后几篇没看完的论文看了。 论文地址:Constituent Parsing as Sequence Labeling 代码地址:Code 介绍 本文定义了一种新的树的序列化方法,将树结构预测问题转化为了序列预测问题。该序列用相邻两个结点的公共祖先(CA)数量和最近公共祖先(LCA)的label来表示......

Latex撰写论文常用技巧总结

不定时更新

这篇博文专门用来记录Latex写论文过程中遇到的一些技巧与心得。 插入矢量图片 首先在Office PowerPoint中画好模型图,然后有两种方法在Latex中插入矢量图。方法一:直接另存为pdf,例如存为figure.pdf。注意到pdf打开来左右两个侧边栏有较大的空余空间,所以最好在ppt中绘制模型图的时候就调整好。然后在Latex中使用如下代码插入pdf图片即可:123456\b......

二零一八年终总结

回顾2018,畅想2019

某天,你无端想起了一个人,她曾让你对明天有所期许,但是却完全没有出现在你的明天里。 2017年好像还历历在目,2018年却要过去了,貌似这一年并没有发生什么特别值得纪念的事情吧,平平淡淡,淡的就像一杯白开水。 细数这一年发生的事,前半年写毕业论文,送走了一个又一个熟悉的面孔,略有感伤;后半年荒废,偶尔看看论文偶尔写两行代码,仍然时常因为一些无关紧要的事情而感伤。 毕业 炼丹 想开 ......

Dynamic Oracles for Top-Down and In-Order Shift-Reduce Constituent Parsing

针对自顶向下和中序移进归约成分句法分析的Dynamic Oracles

有一句话,宾语是你。“吉下两点一口,又有欠字相依。” 论文地址:Dynamic Oracles for Top-Down and In-Order Shift-Reduce Constituent Parsing代码地址:github 本文是发表在EMNLP18上的一篇关于Dynamic Oracle的论文,主要介绍了针对自顶向下和中序两种移进归约成分句法分析模型的Dynamic O......

Faster Shift-Reduce Constituent Parsing with a Non-Binary, Bottom-Up Strategy

更快的基于非二叉化自底向上策略的转移系统成分句法分析

论文地址:Faster Shift-Reduce Constituent Parsing with a Non-Binary, Bottom-Up Strategy 介绍 这篇论文提出了一种非二叉化、自底向上的转移系统,并且针对它提出了一种Dynamic Oracle,用损失函数的形式来实现它。 之前的模型针对多叉树的处理都是采用head规则进行二叉化,或者采用空结点作为临时结点来进行......

Meta Multi-Task Learning for Sequence Modeling

面向序列建模的元多任务学习

这篇文章是知识分析课准备讲的论文,随便拿来看一看了,简单介绍一下吧,论文是复旦邱锡鹏老师组写的。 论文地址:Meta Multi-Task Learning for Sequence Modeling 介绍 多任务学习一般的模型是共享特征表示层,也就是最底层的特征表示层是共享的,上层的神经网络都是随具体任务而不同的。但是这有个问题,比如用LSTM对句子进行建模的时候,不同的短语的组合......