分类
字节跳动 | AI Lab | NLP算法工程师
【白话模型量化系列一】矩阵乘法量化 【白话模型量化系列一】矩阵乘法量化
模型量化是模型加速方向一个很重要的方法,主要思想就是用int8数据格式来存储和进行计算。这样做有两点好处: 可以减小模型存储的体积。原本float32存储需要4个字节,现在int8存储只需要1个字节,体积是原来的1/4。 可以加快计算速度
2021-11-25
最全攻略:利用LightSeq加速你的深度学习模型 最全攻略:利用LightSeq加速你的深度学习模型
前言LightSeq是字节跳动火山翻译团队开源的一款Transformer系列模型加速引擎,分为训练和推理两个部分。其中推理加速引擎早在2019年12月就已经开源,而训练加速引擎也在2021年6月开源。项目地址:https://github
2021-08-24
让大家久等了,BERT推理加速终于开源了 让大家久等了,BERT推理加速终于开源了
前几个月一直有不少小伙伴问我要LightSeq的BERT推理加速代码,当时内部已经使用了,但是一直没空整理开源。 现在代码终于整理好了,写了一个简单的样例,大家有需要的可以使用起来了。 实现原理这里我直接使用预训练好的BERT模型,用户只需
2021-08-10
养成女友?我训练出了一个“杨超越”聊天机器人 养成女友?我训练出了一个“杨超越”聊天机器人
在上一期教程中,我演示了如何从零开始训练一个比较智障的聊天机器人。 https://zhuanlan.zhihu.com/p/392175369 但是当时数据量太少,模型简单,完全没法用,只能回复训练集中出现过的句子。 而现在,完全体的聊天
2021-07-24
从零开始训练一个人工智障女友 从零开始训练一个人工智障女友
很多人工智能小白可能不知道那些高大上的语音助理、机器翻译或者聊天机器人都是怎么被创造出来的,也不知道一个深度学习模型是怎么从零开始搭建并运行起来的。 今天我就简单教大家如何从零开始搭建一个Transformer模型,并在自己的数据上训练起来
2021-07-21
如何自动搜出更好、更小、更快的NLP模型? 如何自动搜出更好、更小、更快的NLP模型?
关注公众号【算法码上来】,每日算法干货马上就来! 前言最近读了不少神经架构搜索(NAS)的论文,把NAS的整体脉络大致摸清了。 但是也发现了NAS目前还是用在CV领域居多,NLP领域和移动端优化寥寥无几。因此这里分享几篇NLP或者移动
2020-12-24
一文看懂AutoML 一文看懂AutoML
论文地址:AutoML: A survey of the state-of-the-art 最近看了些NAS的论文,发现上面这篇综述写的很不错,非常全面,详细拜读了一下。有很多细节不是很懂,也没空去精读原论文,但是能够对大致的脉络有个初步
2020-12-18
2020国际机器翻译大赛:火山翻译力夺五项冠军 2020国际机器翻译大赛:火山翻译力夺五项冠军
马上体验火山翻译:https://translate.volcengine.cn 在11月下旬结束的自然语言处理顶级学术会议EMNLP2020上,国际机器翻译大赛(WMT20)公布了赛事最终结果,来自字节跳动火山引擎旗下的火山翻译(Volc
2020-12-02
一文速览EMNLP 2020中的Transformer量化论文 一文速览EMNLP 2020中的Transformer量化论文
关注公众号【算法码上来】,每日算法干货马上就来! 花了几天看了三篇EMNLP 2020中关于Transformer模型量化的相关论文,快速记一下要点。 Fully Quantized Transformer for Machine
2020-11-26
【ACL2020】一种新颖的成分句法树序列化方法 【ACL2020】一种新颖的成分句法树序列化方法
论文作者:godweiyang,末流985研三,ACM退役蒻苣,爱好算法,目前在字节跳动AI Lab实习,业余喜欢PUBG和LOL。 论文地址:A Span-based Linearization for Constituent Tre
2020-08-30
论文赏析【EMNLP19】多粒度自注意力机制(MG-SA) 论文赏析【EMNLP19】多粒度自注意力机制(MG-SA)
关注公众号【算法码上来】,每日算法干货马上就来! 论文地址Multi-Granularity Self-Attention for Neural Machine Translation 介绍现在主流的机器翻译模型基本都是采用多头注意力
2020-03-02
收藏!编码器中如何融入结构信息?这几篇论文一定不要错过 收藏!编码器中如何融入结构信息?这几篇论文一定不要错过
在编码器中加入结构信息有很多种用途,下面就给大家简要分享几篇融入了结构信息的编码器的论文。
2020-02-03
1 / 5