归档 | 韦阳的博客

2021

08

24

前言LightSeq是字节跳动火山翻译团队开源的一款Transformer系列模型加速引擎，分为训练和推理两个部分。其中推理加速引擎早在2019年12月就已经开源，而训练加速引擎也在2021年6月开源。项目地址：https://github

2021-08-24 深度学习

10

让大家久等了，BERT推理加速终于开源了

前几个月一直有不少小伙伴问我要LightSeq的BERT推理加速代码，当时内部已经使用了，但是一直没空整理开源。现在代码终于整理好了，写了一个简单的样例，大家有需要的可以使用起来了。实现原理这里我直接使用预训练好的BERT模型，用户只需

2021-08-10 深度学习

NLP 模型加速 LightSeq

03

大数据分析，带你认识一个你从未见过的周杰伦

周杰伦可以说是大多数90后的青春了，连我妈这种从来不咋看新闻的人也知道他。你是否曾在初中时抄过他的歌词？你又是否曾经将他的歌词写进作文？今天我就用大数据来分析一波他的所有歌词，带你认识一个你从未见过的周杰伦。获取周杰伦的所有歌词这件事

2021-08-03 计算机知识

爬虫周杰伦

01

分析完吴亦凡的所有歌曲，我震惊了

最近吴亦凡的事件闹的沸沸扬扬，相信不少吃瓜群众也都有所耳闻。但咱们今天不谈他的事件到底怎么样，咱们来谈谈他的歌到底如何。收集歌词我写了一个代码，从QQ音乐上收集了吴亦凡所有的歌词信息，自动汇总整理成一个txt文件，代码在下面：https

2021-08-01 计算机知识

NLP 爬虫词云

07

24

养成女友？我训练出了一个“杨超越”聊天机器人

在上一期教程中，我演示了如何从零开始训练一个比较智障的聊天机器人。 https://zhuanlan.zhihu.com/p/392175369 但是当时数据量太少，模型简单，完全没法用，只能回复训练集中出现过的句子。而现在，完全体的聊天

2021-07-24 深度学习

Transformer 模型训练模型加速

21

从零开始训练一个人工智障女友

很多人工智能小白可能不知道那些高大上的语音助理、机器翻译或者聊天机器人都是怎么被创造出来的，也不知道一个深度学习模型是怎么从零开始搭建并运行起来的。今天我就简单教大家如何从零开始搭建一个Transformer模型，并在自己的数据上训练起来

2021-07-21 深度学习

Transformer 模型训练模型加速

13

训练BERT，我只花了一半的时间

相信很多人都知道Hugging Face，也都用过它的Transformers预训练语言模型，但你们有没有觉得它训练的有点太慢了呢？这时候，字节第二快的男人要站出来了（第一快是我mentor），手把手教你怎么让训练时间缩短一半。训练BE

2021-07-13 编程算法

cuda BERT 训练加速

08

字节跳动秋招提前批开始，不用笔试，只剩一个月！

盼星星盼月亮，字节跳动2022届秋招提前批终于开始啦！提前批优势所有岗位无笔试，直接面试！提前批投递结果不影响秋招，相当于多一次投递机会！内推时间：2021年 7月8日 - 8月1日（只有一个月不到！）招聘对象：20

2021-07-08 随笔

面试字节跳动实习

06

26

恕我直言，你们的模型训练都还不够快

周末在家没事干，也没人约了打游戏，于是打开了gayhub闲逛，哦不，是github。然后发现了一个挺有意思的项目: 也就是将你模型中的参数全部存储为一个连续的内存块，加速你的模型训练。于是我抱着试试看的心态，基于Fairseq和Lig

2021-06-26 编程算法

CUDA LightSeq PyTorch

25

网传字节跳动实习生删除所有轻量级模型，还有救吗？

这两天字节跳动的一个新闻上了热搜，相信大多数人应该都已经听说了：事情大致经过就是字节跳动一个新实习生想删除HDFS下一个目录，可能是存储空间不够了吧。然后经过多方求证，确定了这个目录已经没用了，接着删除了，还使用了无法恢复的命令删除的。

2021-06-25 编程算法

字节跳动 CUDA LightSeq

21

只用几行代码，我让模型『训练』加速了3倍以上！

最近总有学妹问我，论文要截稿了，模型来不及跑怎么办？还有学妹问我，有好多idea，验证一个就要跑一周怎么办？这时候我想起了下面这张图，我想这句话反映了大多数从事人工智能的科研工作者们目前的状态。于是我告诉学妹，想要快，找我就对了，我

2021-06-21 编程算法

CUDA LightSeq PyTorch TensorFlow

21

训练加速3倍！字节跳动推出业界首个NLP模型全流程加速引擎

如今NLP和CV领域的大部分任务都将Transformer作为基础模型。而早在2019年12月，字节跳动曾经开源过一款Transformer类模型推理加速引擎——LightSeq。作为业界第一款支持多种模型和解码方法的推理加速引擎，Lig

2021-06-21 编程算法

CUDA LightSeq PyTorch TensorFlow