CV
教育经历
华东师范大学
硕士 计算机科学与技术 1/105
2018.9 - 2021.6
华东师范大学
本科 计算机科学与技术 1/110
2014.9 - 2018.6
研究方向
机器翻译、模型优化、成分句法分析
工作经历
字节跳动
AI Lab NLP算法工程师
2021.6 - 至今
LightSeq核心开发者之一,这是业界首个集训练、推理于一体的Transformer系列模型加速引擎,GitHub获得2100+ star。
支持主流模型和训练库,支持量化推理,提供了丰富的训练、导出、推理样例。
训练最高提速3.5倍,推理最高提速14倍;量化推理进一步提速1.6倍,并且效果无损。
主要应用于火山翻译的模型训练与部署中,并在公司内外业务中获得广泛应用。
项目地址:https://github.com/bytedance/lightseq
字节跳动
AI Lab NLP算法工程师(实习)
2020.5 - 2021.6
研究Transformer压缩与量化方法,利用层间参数共享、词表分解等方法,结合模型量化,
将Transformer模型参数量压缩至原来的$1/20$,在机器翻译任务上效果几乎无损。
学术成果
LightSeq2: Accelerated Training for Transformer-based Models on GPUs
第二作者 SC 2022
提出了LightSeq2训练加速引擎,支持Transformer、BERT、GPT和ViT等模型结构,
支持PyTorch和TensorFlow,相比PyTorch最高提速3.5倍。
论文地址:https://arxiv.org/abs/2110.05722
LightSeq: A High Performance Inference Library for Transformers
第三作者 NAACL 2021 Industry Track
提出了LightSeq推理加速引擎,支持Transformer、BERT、GPT和ViT等模型结构,
相比TensorFlow最高提速14倍。
论文地址:https://aclanthology.org/2021.naacl-industry.15
A Span-based Linearization for Constituent Trees
第一作者 ACL 2020
提出了一种成分句法树的序列化表示方法,将解码复杂度从 $O(n^3)$ 降低到了 $O(n \log n)$,
解码速度从30句/秒提高到了150句/秒,并且效果无损。
论文地址:https://aclanthology.org/2020.acl-main.299
获奖荣誉
2021 上海市优秀毕业生
2020 国家奖学金(硕士)
2015 国家奖学金
2017 ACM-ICPC全国邀请赛(西安站) 金牌
2016 ACM-ICPC亚洲区域赛(青岛站) 银牌
编程技能
- 编程语言: 熟悉Python、C++、C、CUDA。
- 深度学习框架: 熟悉PyTorch、TensorFlow。
社交链接
- 技术博客:https://godweiyang.com
- GitHub:https://github.com/godweiyang
- 知乎(14000+关注):https://www.zhihu.com/people/godweiyang
- 公众号(9000+关注):算法码上来
联系方式
- 电子邮箱
godweiyang@gmail.com
792321264@qq.com - 微信
godweiyang - QQ技术交流群
864832264