WeiYang Blog

欢迎交换友链,一起交流学习!

毕业论文代码实现思路

基于循环神经网络的成分句法分析

一个寒假就写了个基本的代码,难受啊,整理一下思路吧,好久不看代码头都大了。 数据预处理 首先使用的是PTB数据集,原始的数据是长这样的:(S (NP-SBJ (NNP Ms.) (NNP Haag) ) (VP (VBZ plays) (NP (NNP Elianti) )) (. .) ) 因为不一定是二叉树,所以要先预处理成二叉树,这里全部借用了github上别人的代码来进行预处理,......

Top-down Tree Long Short-Term Memory Networks

自顶向下树状LSTM网络

昨天又鸽了一天,由于水平有限,最主要还是懒,一篇paper看了两天才看了个大概。最近很颓废啊,白天啥都不想干一天就这么过去了,明天开始还是写写毕设代码吧,再好好研究研究。 介绍 这次介绍的仍然是树状LSTM,但是这次是在依存句法树上做的LSTM。主要功能就是给定一个句子的依存句法树,预测这个句子的生成概率。实验主要是在Microsoft Sentence Completion Challen......

Head-Lexicalized Bidirectional Tree LSTMs

头部词汇化的双向树形LSTM

首先给大家说明一下,前两天因为新入手了一个ukulele(就是下图这玩意),所以痴迷于学习弹奏,没有更新博客。照这个节奏下去,PaperDaily恐怕是要变成PaperWeekly了。(囧。。。)寒假一定要学会《小幸运》,嗯。 好了,今天开始恢复吧(说不准过两天我又鸽了,嘻嘻嘻)。 今天要讲的这篇是TACL2017的,是关于树状LSTM的。 介绍 前两年已经有人提出了树状LSTM的概念,之前......

Parsing with Compositional Vector Grammars

基于组合向量文法的句法分析

今天也没看新的paper,就讲讲我的毕设的paper吧,估计等我文本挖掘这门课上完,也不会再看太多序列标注相关的了,重点要转移到parsing了。毕竟序列标注效果也已经很好了,迁移学习方面也暂时不想弄,以后研究重点还是可能在parsing吧。 介绍 这篇paper名字叫做基于成分向量文法的句法分析,那么这是个什么东西呢?大家都知道(也许不知道?我就默认知道了( ╯□╰ ))概率上下文无关文法......

Empower Sequence Labeling with Task-Aware Neural Language Model

基于任务感知神经语言模型的序列标注

自从这学期没课以来,一直过着非正常人的生活,作息时间比正常人推迟了3个小时:3点睡觉、12点起床、15点吃午饭、21点吃晚饭。因此决定不再如此颓废,每日泛读一篇顶会paper,了解其大概思想即可,然后大概将思想发出来,美其名曰:PaperDaily,就从今天开始吧。 今天要讲的这篇是昨天偶然看到的,AAAI18的paper,正好与我文本挖掘课大作业主题一样,所以就看了一下。 介绍 这篇pap......

词性标注+语言模型简易实现

基于Semi-supervised sequence tagging with bidirectional language models

文本挖掘课的project,实现的是词性标注,增加了语言模型表示。语言模型在小数据下会过拟合,但是大数据训练要三个星期。。。所以还是放弃了,不添加语言模型好了。词性标注的话如果添加CRF效果反而会下降,也是很奇怪哦。。。如果直接用最裸的BiLSTM+charRNN的话,F1也能有97%左右,知足了,就这样吧。数据和完整程序下载地址:传送门 下面是两组实验结果,由于速度太慢了,一组要1小时训练......

基于少量标注数据的序列标注

Sequence Tagging with Little Labeled Data

历经几个星期的磨难,文本挖掘课的presentation课件初稿基本完成了,1月中下旬开讲,这次讲的是基于少量标注数据的序列标注,下面是我的综述。 Outline Sequence Tagging Semi-supervised Learning Transfer Learning Conclusions References Sequence Tagging IntroductionD......

华东师范大学LaTeX幻灯片模板

修改自CCNU_BeamerTemplate

分享一套自用ppt模板,使用 XeLaTeX 编译链接地址:传送门 界面示例觉得还可以的下载了用哦,欢迎修改的更美观! ...

基于半监督神经序列标注的科学信息抽取

Scientific Information Extraction with Semi-supervised Neural Tagging

论文链接:D17-1279 摘要 这篇论文研究的是科技论文的信息抽取问题,比如给你一篇paper,你要找出其中的Task(任务)、Process(过程方法)、Material(资料数据)三种实体。这个问题可以归类为序列标注问题,但是科技论文的标注数据还是很少的,于是本文提出了一种基于图的半监督序列标注算法。 1 介绍 背景就是近几年来论文发表数量越来越多,要对这些论文进行信息抽取,概括这篇论......

无跨语言资源下的序列标注跨语言迁移学习

Cross-Lingual Transfer Learning for POS Tagging without Cross-Lingual Resources

论文链接:D17-1302 摘要 本文介绍了一个跨语言的序列标注迁移模型,和以往不同的是,不需要大量的跨语言语料。 1 介绍 之前正好才看过一篇Yang et al. (2017)的论文Transfer Learning for Sequence Tagging with Hierarchical Recurrent Networks,还写了博客笔记[传送门]。然而本文上来就说,他的模型不好......