CV
教育背景
- 硕士 华东师范大学 计算机科学与技术
2018/06 - 至今
均分:91.5/100 - 本科 华东师范大学 计算机科学与技术
2014/09 - 2018/06
排名:1/110
研究方向
主要研究机器翻译、模型压缩与加速、成分句法分析、依存句法分析等方向。
实习经历
- 字节跳动AI Lab NLP算法工程师
2020/05 - 至今
主要研究机器翻译模型的压缩与加速。
利用参数共享、词向量分解、量化、蒸馏等模型压缩技术,减小模型的体积,最终部署到移动端上。
最终实现模型体积压缩20倍,同时效果基本无损。
学术成果
A Span-based Linearization for Constituent Trees
Yang Wei, Yuanbin Wu and Man Lan, ACL 2020
提出了一种成分句法树的序列化表示方法。
基于该表示方法,模型的解码复杂度从O(n^3)降低到了O(n log n),
实际解码速度从30句/秒提高到了150句/秒,
同时效果没有任何损失。LightSeq: A High Performance Inference Library for Transformers
Xiaohui Wang, Ying Xiong, Yang Wei, Mingxuan Wang, Lei Li, NAACL 2021 Industry Track
我们提出了LightSeq,一个高效的Transformer系列模型推理库。
LightSeq包括一系列GPU优化技术,以简化Transformer层的计算并减少显存占用。
LightSeq支持使用PyTorch和Tensorflow训练的模型。
标准机器翻译基准上的实验结果表明,与TensorFlow相比,LightSeq实现了高达14倍的加速;与FasterTransformer相比,实现了1.4倍的加速。
获奖情况
2020
- 国家奖学金(硕士)
研二学年
2017
- 金牌
ACM-ICPC全国邀请赛(陕西) - 团体一等奖
中国高校计算机大赛-团体程序设计天梯赛 - 高校一等奖
中国高校计算机大赛-团体程序设计天梯赛 - 特等奖学金
大三学年
2016
- 银牌
ACM-ICPC亚洲区域赛(青岛) - 铜牌
ACM-CCPC总决赛(宁波) - 铜牌
ACM-CCPC(杭州) - 一等奖学金
大二学年
2015
- 铜牌
ACM-ICPC亚洲区域赛(上海) - 铜牌
ACM-ICPC上海大都会赛 - 国家奖学金
大一学年
联系方式
- 电子邮箱
godweiyang@gmail.com
792321264@qq.com - 微信
godweiyang - QQ技术交流群
864832264