公众号:算法码上来
字节跳动 | AI Lab | NLP算法工程师
只用几行代码,我让模型『训练』加速了3倍以上! 只用几行代码,我让模型『训练』加速了3倍以上!
最近总有学妹问我,论文要截稿了,模型来不及跑怎么办? 还有学妹问我,有好多idea,验证一个就要跑一周怎么办? 这时候我想起了下面这张图,我想这句话反映了大多数从事人工智能的科研工作者们目前的状态。 于是我告诉学妹,想要快,找我就对了,我
2021-06-21
训练加速3倍!字节跳动推出业界首个NLP模型全流程加速引擎 训练加速3倍!字节跳动推出业界首个NLP模型全流程加速引擎
如今NLP和CV领域的大部分任务都将Transformer作为基础模型。而早在2019年12月,字节跳动曾经开源过一款Transformer类模型推理加速引擎——LightSeq。作为业界第一款支持多种模型和解码方法的推理加速引擎,Lig
2021-06-21
七年师大,青春永不毕业 七年师大,青春永不毕业
2021年5月19日,我答辩顺利结束了。 22年的学生时代终于要走到了尽头,在学校的日子过一天少一天。想到校园卡即将刷不进校门了,难免有些失落。 七年师大,从两年的东川路500号,到五年的中山北路3663号。我见证了计算机系的三次变迁,也发
2021-05-21
字节还有打游戏、听音乐这种神仙工作? 字节还有打游戏、听音乐这种神仙工作?
有很多同(xue)学(mei)想来字节,但是也不知道投什么岗位,于是就乱投一通,最后大多数都倒在了简历筛选阶段。 那么怎么增大过简历关的概率,拿到面试机会呢? 首先这个岗位hc得充足,也就是有足够的招人名额,或者说很缺人;其次就是和你的方
2021-04-16
只用两行代码,我让Transformer推理加速了10倍 只用两行代码,我让Transformer推理加速了10倍
最近有学妹问我,我训了一个Transformer模型,但是预测好慢啊,有啥解决方案吗? 我心想,你又想好,又想快,咋不上天🚀呢? 于是我跟她说,你可以试试lightseq啊,跟闪电⚡️一样快,用了你就可以上天了。 她一脸懵比,light
2021-04-13
熬了几个通宵,我写了份CUDA新手入门代码 熬了几个通宵,我写了份CUDA新手入门代码
在用PyTorch或者TensorFlow搭积木的时候,你是不是也遇到过下面这些情况: 自带的算子及其组合都无法满足你超(bian)常(tai)的计算需求。 自带的算子不可导,需要自己定义反向传播的梯度,例如argmax。 自带的算子太慢
2021-03-28
三分钟教你如何PyTorch自定义反向传播 三分钟教你如何PyTorch自定义反向传播
在前面两篇教程中,我们详细讲解了如何编写cuda算子,并用PyTorch进行调用,并且详细讲述了三种编译cuda算子的方式,具体可以看前面两篇: https://godweiyang.com/2021/03/18/torch-cpp-cud
2021-03-24
详解PyTorch编译并调用自定义CUDA算子的三种方式 详解PyTorch编译并调用自定义CUDA算子的三种方式
在上一篇教程中,我们实现了一个自定义的CUDA算子add2,用来实现两个Tensor的相加。然后用PyTorch调用这个算子,分析对比了一下和PyTorch原生加法的速度差异,并且详细解释了线程同步给统计时间带来的影响。 上一篇教程:htt
2021-03-21
PyTorch自定义CUDA算子教程与运行时间分析 PyTorch自定义CUDA算子教程与运行时间分析
最近因为工作需要,学习了一波CUDA。这里简单记录一下PyTorch自定义CUDA算子的方法,写了一个非常简单的example,再介绍一下正确的PyTorch中CUDA运行时间分析方法。 所有的代码都放在了github上,地址是:https
2021-03-18
微信电脑版重大更新,可以上班刷朋友圈摸鱼了 微信电脑版重大更新,可以上班刷朋友圈摸鱼了
微信刚刚更新了3.0.0内测版本,不过暂时只有mac os版本。 主要有这么几大更新: 图标变了。 能刷朋友圈了。 能看聊天分享的视频号了。 支持深色模式了。 首先是图标,从原来的圆润的图标变成了手机端的方形图标: 然后是可以刷朋友圈
字节跳动2021春招正式启动!欢迎找我内推~ 字节跳动2021春招正式启动!欢迎找我内推~
字节跳动2021春季校园招聘正式启动!持续扩招,7000+ offer来袭,2次投递机会,70%超高实习转正率,大量暑期实习及全职补录岗位欢迎大家踊跃投递! 招聘对象👩‍🎓暑期实习:2022届应届生(2021 年 9 月至 202
2021-02-25
情人节,情人结,情人劫 情人节,情人结,情人劫
首先还是祝各位有情人的、没情人的都节日快乐~ 为什么突然挑这个时间写文章呢,一是好几天没发了再水水,二是太闷了唠唠嗑,三是抒发一下近来的情感。 先说说我的择偶标准的变化历程吧。刚上大学时,我还是投身学习的小屁孩,那时候只想找一个系,一个班的
2021-02-14
2 / 21