公众号：算法码上来
字节跳动 | AI Lab | 算法工程师
让大家久等了，BERT推理加速终于开源了 让大家久等了，BERT推理加速终于开源了
前几个月一直有不少小伙伴问我要LightSeq的BERT推理加速代码，当时内部已经使用了，但是一直没空整理开源。 现在代码终于整理好了，写了一个简单的样例，大家有需要的可以使用起来了。 实现原理这里我直接使用预训练好的BERT模型，用户只需
2021-08-10 深度学习
NLP 模型加速 LightSeq
大数据分析，带你认识一个你从未见过的周杰伦 大数据分析，带你认识一个你从未见过的周杰伦
周杰伦可以说是大多数90后的青春了，连我妈这种从来不咋看新闻的人也知道他。 你是否曾在初中时抄过他的歌词？你又是否曾经将他的歌词写进作文？ 今天我就用大数据来分析一波他的所有歌词，带你认识一个你从未见过的周杰伦。 获取周杰伦的所有歌词这件事
2021-08-03 计算机知识
周杰伦 爬虫
分析完吴亦凡的所有歌曲，我震惊了 分析完吴亦凡的所有歌曲，我震惊了
最近吴亦凡的事件闹的沸沸扬扬，相信不少吃瓜群众也都有所耳闻。 但咱们今天不谈他的事件到底怎么样，咱们来谈谈他的歌到底如何。 收集歌词我写了一个代码，从QQ音乐上收集了吴亦凡所有的歌词信息，自动汇总整理成一个txt文件，代码在下面：https
2021-08-01 计算机知识
NLP 爬虫 词云
养成女友？我训练出了一个“杨超越”聊天机器人 养成女友？我训练出了一个“杨超越”聊天机器人
在上一期教程中，我演示了如何从零开始训练一个比较智障的聊天机器人。 https://zhuanlan.zhihu.com/p/392175369 但是当时数据量太少，模型简单，完全没法用，只能回复训练集中出现过的句子。 而现在，完全体的聊天
2021-07-24 深度学习
Transformer 模型训练 模型加速
从零开始训练一个人工智障女友 从零开始训练一个人工智障女友
很多人工智能小白可能不知道那些高大上的语音助理、机器翻译或者聊天机器人都是怎么被创造出来的，也不知道一个深度学习模型是怎么从零开始搭建并运行起来的。 今天我就简单教大家如何从零开始搭建一个Transformer模型，并在自己的数据上训练起来
2021-07-21 深度学习
Transformer 模型训练 模型加速
训练BERT，我只花了一半的时间 训练BERT，我只花了一半的时间
相信很多人都知道Hugging Face，也都用过它的Transformers预训练语言模型，但你们有没有觉得它训练的有点太慢了呢？ 这时候，字节第二快的男人要站出来了（第一快是我mentor），手把手教你怎么让训练时间缩短一半。 训练BE
2021-07-13 编程算法
cuda BERT 训练加速
字节跳动秋招提前批开始，不用笔试，只剩一个月！ 字节跳动秋招提前批开始，不用笔试，只剩一个月！
盼星星盼月亮，字节跳动2022届秋招提前批终于开始啦！ 提前批优势 所有岗位无笔试，直接面试！ 提前批投递结果不影响秋招，相当于多一次投递机会！ 内推时间：2021年 7月8日 - 8月1日（只有一个月不到！） 招聘对象：20
2021-07-08 随笔
面试 字节跳动 实习
恕我直言，你们的模型训练都还不够快 恕我直言，你们的模型训练都还不够快
周末在家没事干，也没人约了打游戏，于是打开了gayhub闲逛，哦不，是github。 然后发现了一个挺有意思的项目: 也就是将你模型中的参数全部存储为一个连续的内存块，加速你的模型训练。 于是我抱着试试看的心态，基于Fairseq和Lig
2021-06-26 编程算法
CUDA LightSeq PyTorch
网传字节跳动实习生删除所有轻量级模型，还有救吗？ 网传字节跳动实习生删除所有轻量级模型，还有救吗？
这两天字节跳动的一个新闻上了热搜，相信大多数人应该都已经听说了： 事情大致经过就是字节跳动一个新实习生想删除HDFS下一个目录，可能是存储空间不够了吧。然后经过多方求证，确定了这个目录已经没用了，接着删除了，还使用了无法恢复的命令删除的。
2021-06-25 编程算法
字节跳动 CUDA LightSeq
只用几行代码，我让模型『训练』加速了3倍以上！ 只用几行代码，我让模型『训练』加速了3倍以上！
最近总有学妹问我，论文要截稿了，模型来不及跑怎么办？ 还有学妹问我，有好多idea，验证一个就要跑一周怎么办？ 这时候我想起了下面这张图，我想这句话反映了大多数从事人工智能的科研工作者们目前的状态。 于是我告诉学妹，想要快，找我就对了，我
2021-06-21 编程算法
CUDA LightSeq PyTorch TensorFlow
训练加速3倍！字节跳动推出业界首个NLP模型全流程加速引擎 训练加速3倍！字节跳动推出业界首个NLP模型全流程加速引擎
如今NLP和CV领域的大部分任务都将Transformer作为基础模型。而早在2019年12月，字节跳动曾经开源过一款Transformer类模型推理加速引擎——LightSeq。作为业界第一款支持多种模型和解码方法的推理加速引擎，Lig
2021-06-21 编程算法
CUDA LightSeq PyTorch TensorFlow
七年师大，青春永不毕业 七年师大，青春永不毕业
2021年5月19日，我答辩顺利结束了。 22年的学生时代终于要走到了尽头，在学校的日子过一天少一天。想到校园卡即将刷不进校门了，难免有些失落。 七年师大，从两年的东川路500号，到五年的中山北路3663号。我见证了计算机系的三次变迁，也发
2021-05-21 随笔
毕业
3 / 23