WeiYang Blog

Never Give Up Studying

PaperDaily-4

Top-down Tree Long Short-Term Memory Networks

昨天又鸽了一天,由于水平有限,最主要还是懒,一篇paper看了两天才看了个大概。最近很颓废啊,白天啥都不想干一天就这么过去了,明天开始还是写写毕设代码吧,再好好研究研究。 介绍 这次介绍的仍然是树状LSTM,但是这次是在依存句法树上做的LSTM。主要功能就是给定一个句子的依存句法树,预测这个句子的生成概率。实验主要是在Microsoft Sentence Completion Challen......

PaperDaily-3

Head-Lexicalized Bidirectional Tree LSTMs

首先给大家说明一下,前两天因为新入手了一个ukulele(就是下图这玩意),所以痴迷于学习弹奏,没有更新博客。照这个节奏下去,PaperDaily恐怕是要变成PaperWeekly了。(囧。。。)寒假一定要学会《小幸运》,嗯。 好了,今天开始恢复吧(说不准过两天我又鸽了,嘻嘻嘻)。 今天要讲的这篇是TACL2017的,是关于树状LSTM的。 介绍 前两年已经有人提出了树状LSTM的概念,之前......

PaperDaily-2

Parsing with Compositional Vector Grammars

今天也没看新的paper,就讲讲我的毕设的paper吧,估计等我文本挖掘这门课上完,也不会再看太多序列标注相关的了,重点要转移到parsing了。毕竟序列标注效果也已经很好了,迁移学习方面也暂时不想弄,以后研究重点还是可能在parsing吧。 介绍 这篇paper名字叫做基于成分向量文法的句法分析,那么这是个什么东西呢?大家都知道(也许不知道?我就默认知道了( ╯□╰ ))概率上下文无关文法......

PaperDaily-1

Empower Sequence Labeling with Task-Aware Neural Language Model

自从这学期没课以来,一直过着非正常人的生活,作息时间比正常人推迟了3个小时:3点睡觉、12点起床、15点吃午饭、21点吃晚饭。因此决定不再如此颓废,每日泛读一篇顶会paper,了解其大概思想即可,然后大概将思想发出来,美其名曰:PaperDaily,就从今天开始吧。 今天要讲的这篇是昨天偶然看到的,AAAI18的paper,正好与我文本挖掘课大作业主题一样,所以就看了一下。 介绍 这篇pap......

词性标注+语言模型简易实现

基于Semi-supervised sequence tagging with bidirectional language models

文本挖掘课的project,实现的是词性标注,增加了语言模型表示。语言模型在小数据下会过拟合,但是大数据训练要三个星期。。。所以还是放弃了,不添加语言模型好了。词性标注的话如果添加CRF效果反而会下降,也是很奇怪哦。。。如果直接用最裸的BiLSTM+charRNN的话,F1也能有97%左右,知足了,就这样吧。数据和完整程序下载地址:传送门 下面是两组实验结果,由于速度太慢了,一组要1小时训练......