二零二一年终总结

关注公众号【算法码上来】,每日算法干货马上就来!

今天是12.13,一晃二十六周岁了。从2017年开始,每年都会简单总结一下一年中经历的事情,不知不觉已经五年了。

二零一七年终总结
二零一八年终总结
二零一九年终总结
二零二零年终总结

回顾过去五年,从大三到今年毕业正式工作,好像干了很多事情,又好像什么都没干。也就混到硕士毕业,侥幸发了篇ACL,然后又侥幸进入字节从事新的研究方向。这五年来唯一不变的可能就是一直在打英雄联盟吧,还是当年的开黑队友,还是熟悉的味道。

2021年是正式成为社会人的一年,从校园老油条蜕变为了职场萌新。总结下来就是,上半年在忙着毕业,下半年在忙着开发LightSeq。

今年过年在上海度过了人生第一个不在家的春节,一是因为疫情回去要做核酸,二是因为毕业论文没多久要交了。连编带凑,花了将近一个月赶出了一篇像模像样的毕业论文。后面的毕业流程走的出乎意料的快,导师也没怎么修改,短短数周就答辩结束,仿佛学校盼着我们早日离校步入社会。拿完优秀毕业生、优秀毕业论文和国家奖学金,实验室最后聚了聚餐,接着就正式毕业了。

七年师大,青春永不毕业

春节生怕饿死,囤的食物

上海市优秀毕业生

学校里的事就这么多了,主要精力还是在公司里。上半年进一步完善LightSeq推理引擎,写了很多文章对LightSeq进行了大量的介绍和宣传,也给很多想入门CUDA和模型加速的同学科普了基本的知识。

熬了几个通宵,我写了份CUDA新手入门代码

只用两行代码,我让Transformer推理加速了10倍

LightSeq star数嗖嗖上涨

还在NAACL 2021上发表了一篇关于LightSeq推理引擎相关技术的论文,进行了技术沉淀,推理引擎的开发也算是告一段落了。

论文地址:LightSeq: A High Performance Inference Library for Transformers

今年最重要的工作内容要数LightSeq训练引擎了,从4月份开始,到6月份结束,历时三个月和同事们一起开发出了业界首个Transformer全流程训练加速引擎。训练引擎从0到1的整个过程我都有参与,这期间为了快速融入到项目的开发中,不得不自学了CUDA和模型加速的相关知识,这些之前在学校都是没有接触过的。项目开源后也投递了论文,虽然没有中,但也积累了不少经验,懂了一些系统领域会议论文的写法。leader还安排我去QCon大会进行了分享,宣传了一波LightSeq技术。

LightSeq源码

训练加速3倍!字节跳动推出业界首个NLP模型全流程加速引擎

论文地址:LightSeq2: Accelerated Training for Transformer-based Models on GPUs

QCon分享

目前的话在开发LightSeq量化推理,在不久的将来就会和大家正式见面,模型推理速度也将迈上一个新的台阶。

生活方面,下半年重新开始做饭了,外卖一方面不卫生,一方面也吃腻了,不一定有自己做的好吃。不过租的房子厨房实在太小了,做一次饭都要收拾很久,经常也会不想做。限于篇幅,这里就只放几张图吧,更多的可以去我朋友圈围观。

炸薯条
可乐鸡翅、玉米排骨汤
糖醋排骨

虽然房子小,10月底家里还是新增了一员,我从师兄家抱回了一只布偶猫。养猫给我的生活新增了不少乐趣,没事的时候可以撸一撸。但也带来了很多麻烦,猫经常乱拉,晚上睡觉吵人,每天要铲屎喂粮,就和带一个孩子一样。可能是我给他吃的太好了吧,才6个月左右就已经长到10斤了。

安静的美男子

情感方面依旧维持原样,虽然有过小插曲,但都不合适。

今年给我最大的感觉就是,工作了之后时间变快了,生活变单调了。尤其是取消大小周之后,每周都过得好快,每次还没恍过神就又到下一个周末了。这可能也和我比较宅有关,每周末除了打游戏,就还是打游戏。睡眠时间也依旧很晚,不断摧残自己的身体。

对于2022年,最大的心愿还是把工作做好,先把模型量化做完善了,争取早日晋升,希望LightSeq的star早日能上3000。然后继续做好菜、养好猫,快乐游戏每一天。文章最近更新的也没有以前频繁了,得勤快一点了。


   转载规则


《二零二一年终总结》 韦阳 采用 知识共享署名 4.0 国际许可协议 进行许可。
 上一篇
这道小学六年级的数学题,恕我直言没几个人会做 这道小学六年级的数学题,恕我直言没几个人会做
关注公众号【算法码上来】,每日算法干货马上就来! 今天网上冲浪的时候突然看到一道小学六年级的数学题,如上图所示,求阴影部分的面积。 我下意识就想到了微积分,这不就建立坐标系,求出交点,计算积分就行了嘛。转念一想,小学生哪里会积分,这
2021-12-18
下一篇 
【白话模型量化系列一】矩阵乘法量化 【白话模型量化系列一】矩阵乘法量化
模型量化是模型加速方向一个很重要的方法,主要思想就是用int8数据格式来存储和进行计算。这样做有两点好处: 可以减小模型存储的体积。原本float32存储需要4个字节,现在int8存储只需要1个字节,体积是原来的1/4。 可以加快计算速度
2021-11-25
  目录