分类
字节跳动 | AI Lab | NLP算法工程师
养成女友?我训练出了一个“杨超越”聊天机器人 养成女友?我训练出了一个“杨超越”聊天机器人
在上一期教程中,我演示了如何从零开始训练一个比较智障的聊天机器人。 https://zhuanlan.zhihu.com/p/392175369 但是当时数据量太少,模型简单,完全没法用,只能回复训练集中出现过的句子。 而现在,完全体的聊天
2021-07-24
从零开始训练一个人工智障女友 从零开始训练一个人工智障女友
很多人工智能小白可能不知道那些高大上的语音助理、机器翻译或者聊天机器人都是怎么被创造出来的,也不知道一个深度学习模型是怎么从零开始搭建并运行起来的。 今天我就简单教大家如何从零开始搭建一个Transformer模型,并在自己的数据上训练起来
2021-07-21
如何自动搜出更好、更小、更快的NLP模型? 如何自动搜出更好、更小、更快的NLP模型?
关注公众号【算法码上来】,每日算法干货马上就来! 前言最近读了不少神经架构搜索(NAS)的论文,把NAS的整体脉络大致摸清了。 但是也发现了NAS目前还是用在CV领域居多,NLP领域和移动端优化寥寥无几。因此这里分享几篇NLP或者移动
2020-12-24
一文看懂AutoML 一文看懂AutoML
论文地址:AutoML: A survey of the state-of-the-art 最近看了些NAS的论文,发现上面这篇综述写的很不错,非常全面,详细拜读了一下。有很多细节不是很懂,也没空去精读原论文,但是能够对大致的脉络有个初步
2020-12-18
2020国际机器翻译大赛:火山翻译力夺五项冠军 2020国际机器翻译大赛:火山翻译力夺五项冠军
马上体验火山翻译:https://translate.volcengine.cn 在11月下旬结束的自然语言处理顶级学术会议EMNLP2020上,国际机器翻译大赛(WMT20)公布了赛事最终结果,来自字节跳动火山引擎旗下的火山翻译(Volc
2020-12-02
一文速览EMNLP 2020中的Transformer量化论文 一文速览EMNLP 2020中的Transformer量化论文
关注公众号【算法码上来】,每日算法干货马上就来! 花了几天看了三篇EMNLP 2020中关于Transformer模型量化的相关论文,快速记一下要点。 Fully Quantized Transformer for Machine
2020-11-26
【ACL2020】一种新颖的成分句法树序列化方法 【ACL2020】一种新颖的成分句法树序列化方法
论文作者:godweiyang,末流985研三,ACM退役蒻苣,爱好算法,目前在字节跳动AI Lab实习,业余喜欢PUBG和LOL。 论文地址:A Span-based Linearization for Constituent Tre
2020-08-30
论文赏析【EMNLP19】多粒度自注意力机制(MG-SA) 论文赏析【EMNLP19】多粒度自注意力机制(MG-SA)
关注公众号【算法码上来】,每日算法干货马上就来! 论文地址Multi-Granularity Self-Attention for Neural Machine Translation 介绍现在主流的机器翻译模型基本都是采用多头注意力
2020-03-02
收藏!编码器中如何融入结构信息?这几篇论文一定不要错过 收藏!编码器中如何融入结构信息?这几篇论文一定不要错过
在编码器中加入结构信息有很多种用途,下面就给大家简要分享几篇融入了结构信息的编码器的论文。
2020-02-03
论文赏析【EMNLP19】语言模型效果不好?也许你可以给它添加一点句法信息 论文赏析【EMNLP19】语言模型效果不好?也许你可以给它添加一点句法信息
关注公众号【算法码上来】,每日算法干货马上就来! 论文地址PaLM: A Hybrid Parser and Language Model 介绍本文介绍了如何将一个句法分析器融入到神经网络语言模型中,这样在利用了句法信息增强语言模型效
2020-01-09
论文赏析[EMNLP19]如何在Transformer中融入句法树信息?这里给出了一种解决方案 论文赏析[EMNLP19]如何在Transformer中融入句法树信息?这里给出了一种解决方案
关注公众号【算法码上来】,每日算法干货马上就来! 论文地址:Tree Transformer: Integrating Tree Structures into Self-Attention 介绍之前其实有很多工作将句法信息融入到了R
2020-01-06
论文赏析[TACL19]生成模型还在用自左向右的顺序?这篇论文教你如何自动推测最佳生成顺序 论文赏析[TACL19]生成模型还在用自左向右的顺序?这篇论文教你如何自动推测最佳生成顺序
关注公众号【算法码上来】,每日算法干货马上就来! 论文地址:Insertion-based Decoding with automatically Inferred Generation Order 介绍大多数的生成模型(例如seq2
2020-01-05
1 / 5