归档: 2021 | 韦阳的博客

2021

07

08

字节跳动秋招提前批开始，不用笔试，只剩一个月！

盼星星盼月亮，字节跳动2022届秋招提前批终于开始啦！提前批优势所有岗位无笔试，直接面试！提前批投递结果不影响秋招，相当于多一次投递机会！内推时间：2021年 7月8日 - 8月1日（只有一个月不到！）招聘对象：20

2021-07-08 随笔

面试字节跳动实习

06

26

恕我直言，你们的模型训练都还不够快

周末在家没事干，也没人约了打游戏，于是打开了gayhub闲逛，哦不，是github。然后发现了一个挺有意思的项目: 也就是将你模型中的参数全部存储为一个连续的内存块，加速你的模型训练。于是我抱着试试看的心态，基于Fairseq和Lig

2021-06-26 编程算法

CUDA LightSeq PyTorch

25

网传字节跳动实习生删除所有轻量级模型，还有救吗？

这两天字节跳动的一个新闻上了热搜，相信大多数人应该都已经听说了：事情大致经过就是字节跳动一个新实习生想删除HDFS下一个目录，可能是存储空间不够了吧。然后经过多方求证，确定了这个目录已经没用了，接着删除了，还使用了无法恢复的命令删除的。

2021-06-25 编程算法

字节跳动 CUDA LightSeq

21

只用几行代码，我让模型『训练』加速了3倍以上！

最近总有学妹问我，论文要截稿了，模型来不及跑怎么办？还有学妹问我，有好多idea，验证一个就要跑一周怎么办？这时候我想起了下面这张图，我想这句话反映了大多数从事人工智能的科研工作者们目前的状态。于是我告诉学妹，想要快，找我就对了，我

2021-06-21 编程算法

CUDA LightSeq PyTorch TensorFlow

21

训练加速3倍！字节跳动推出业界首个NLP模型全流程加速引擎

如今NLP和CV领域的大部分任务都将Transformer作为基础模型。而早在2019年12月，字节跳动曾经开源过一款Transformer类模型推理加速引擎——LightSeq。作为业界第一款支持多种模型和解码方法的推理加速引擎，Lig

2021-06-21 编程算法

CUDA LightSeq PyTorch TensorFlow

05

21

七年师大，青春永不毕业

2021年5月19日，我答辩顺利结束了。 22年的学生时代终于要走到了尽头，在学校的日子过一天少一天。想到校园卡即将刷不进校门了，难免有些失落。七年师大，从两年的东川路500号，到五年的中山北路3663号。我见证了计算机系的三次变迁，也发

2021-05-21 随笔

毕业

04

16

字节还有打游戏、听音乐这种神仙工作？

有很多同（xue）学（mei）想来字节，但是也不知道投什么岗位，于是就乱投一通，最后大多数都倒在了简历筛选阶段。那么怎么增大过简历关的概率，拿到面试机会呢？首先这个岗位hc得充足，也就是有足够的招人名额，或者说很缺人；其次就是和你的方

2021-04-16 随笔

面试字节跳动实习

13

只用两行代码，我让Transformer推理加速了10倍

最近有学妹问我，我训了一个Transformer模型，但是预测好慢啊，有啥解决方案吗？我心想，你又想好，又想快，咋不上天🚀呢？于是我跟她说，你可以试试lightseq啊，跟闪电⚡️一样快，用了你就可以上天了。她一脸懵比，light

2021-04-13 编程算法

CUDA LightSeq PyTorch

03

28

熬了几个通宵，我写了份CUDA新手入门代码

在用PyTorch或者TensorFlow搭积木的时候，你是不是也遇到过下面这些情况：自带的算子及其组合都无法满足你超（bian）常（tai）的计算需求。自带的算子不可导，需要自己定义反向传播的梯度，例如argmax。自带的算子太慢

2021-03-28 编程算法

CUDA C++ PyTorch TensorFlow

24

三分钟教你如何PyTorch自定义反向传播

在前面两篇教程中，我们详细讲解了如何编写cuda算子，并用PyTorch进行调用，并且详细讲述了三种编译cuda算子的方式，具体可以看前面两篇： https://godweiyang.com/2021/03/18/torch-cpp-cud

2021-03-24 编程算法

CUDA C++ PyTorch

21

详解PyTorch编译并调用自定义CUDA算子的三种方式

在上一篇教程中，我们实现了一个自定义的CUDA算子add2，用来实现两个Tensor的相加。然后用PyTorch调用这个算子，分析对比了一下和PyTorch原生加法的速度差异，并且详细解释了线程同步给统计时间带来的影响。上一篇教程：htt

2021-03-21 编程算法

CUDA C++ PyTorch

18

PyTorch自定义CUDA算子教程与运行时间分析

最近因为工作需要，学习了一波CUDA。这里简单记录一下PyTorch自定义CUDA算子的方法，写了一个非常简单的example，再介绍一下正确的PyTorch中CUDA运行时间分析方法。所有的代码都放在了github上，地址是：https

2021-03-18 编程算法

CUDA C++ PyTorch