关于
字节跳动 | AI Lab | NLP算法工程师
267 文章
6 分类
92 标签
韦阳
267 文章
6 分类
92 标签
韦阳
字节跳动 | AI Lab | NLP算法工程师
欢迎关注微信公众号「算法码上来」。我是godweiyang,字节跳动AI Lab NLP算法工程师,华东师范大学计算机系本硕都是专业第一。秋招斩获了上海三家互联网大厂SSP offer,擅长算法、机器翻译和模型加速。有任何问题都可以随时咨询我。
  文章统计图
  我的项目
Transformer系列模型训练和推理加速引擎,训练加速3倍,推理加速14倍。
深度学习框架接入C++/CUDA详细教程。
我的个性化配置过的博客主题源码,开箱即用。
  我的技能
Algorithm
90%
C++
80%
CUDA
70%
Python
80%
Pytorch
75%
TensorFlow
60%
  我的简历

CV

中文版
English Version

教育经历


华东师范大学

硕士 计算机科学与技术 1/105
2018.9 - 2021.6

华东师范大学

本科 计算机科学与技术 1/110
2014.9 - 2018.6

研究方向


机器翻译、模型优化、成分句法分析

工作经历


字节跳动

AI Lab NLP算法工程师
2021.6 - 至今
LightSeq核心开发者之一,这是业界首个集训练、推理于一体的Transformer系列模型加速引擎,GitHub获得2100+ star。
支持主流模型和训练库,支持量化推理,提供了丰富的训练、导出、推理样例。
训练最高提速3.5倍,推理最高提速14倍;量化推理进一步提速1.6倍,并且效果无损。
主要应用于火山翻译的模型训练与部署中,并在公司内外业务中获得广泛应用。
项目地址:https://github.com/bytedance/lightseq

字节跳动

AI Lab NLP算法工程师(实习)
2020.5 - 2021.6
研究Transformer压缩与量化方法,利用层间参数共享、词表分解等方法,结合模型量化,
将Transformer模型参数量压缩至原来的$1/20$,在机器翻译任务上效果几乎无损。

学术成果


LightSeq2: Accelerated Training for Transformer-based Models on GPUs

第二作者 SC 2022
提出了LightSeq2训练加速引擎,支持Transformer、BERT、GPT和ViT等模型结构,
支持PyTorch和TensorFlow,相比PyTorch最高提速3.5倍。
论文地址:https://arxiv.org/abs/2110.05722

LightSeq: A High Performance Inference Library for Transformers

第三作者 NAACL 2021 Industry Track
提出了LightSeq推理加速引擎,支持Transformer、BERT、GPT和ViT等模型结构,
相比TensorFlow最高提速14倍。
论文地址:https://aclanthology.org/2021.naacl-industry.15

A Span-based Linearization for Constituent Trees

第一作者 ACL 2020
提出了一种成分句法树的序列化表示方法,将解码复杂度从 $O(n^3)$ 降低到了 $O(n \log n)$,
解码速度从30句/秒提高到了150句/秒,并且效果无损。
论文地址:https://aclanthology.org/2020.acl-main.299

获奖荣誉


2021 上海市优秀毕业生
2020 国家奖学金(硕士)
2015 国家奖学金
2017 ACM-ICPC全国邀请赛(西安站) 金牌
2016 ACM-ICPC亚洲区域赛(青岛站) 银牌

编程技能


  • 编程语言: 熟悉Python、C++、C、CUDA。
  • 深度学习框架: 熟悉PyTorch、TensorFlow。

社交链接


联系方式