关于
字节跳动 | AI Lab | NLP算法工程师
266 文章
6 分类
91 标签
韦阳
266 文章
6 分类
91 标签
韦阳
字节跳动 | AI Lab | NLP算法工程师
欢迎关注微信公众号「算法码上来」。我是godweiyang，字节跳动AI Lab NLP算法工程师，华东师范大学计算机系本硕都是专业第一。秋招斩获了上海三家互联网大厂SSP offer，擅长算法、机器翻译和模型加速。有任何问题都可以随时咨询我。
  文章统计图
  我的项目
LightSeq
Transformer系列模型训练和推理加速引擎，训练加速3倍，推理加速14倍。
NN-CUDA-Example
深度学习框架接入C++/CUDA详细教程。
hexo-matery-modified
我的个性化配置过的博客主题源码，开箱即用。
  我的技能
Algorithm
90%
C++
80%
CUDA
70%
Python
80%
Pytorch
75%
TensorFlow
60%
  我的简历

CV

中文版
English Version

教育经历

华东师范大学

硕士 计算机科学与技术 1/105
2018.9 - 2021.6

华东师范大学

本科 计算机科学与技术 1/110
2014.9 - 2018.6

研究方向

机器翻译、模型优化、成分句法分析

工作经历

字节跳动

AI Lab NLP算法工程师
2021.6 - 至今
LightSeq核心开发者之一，这是业界首个集训练、推理于一体的Transformer系列模型加速引擎，GitHub获得2100+ star。
支持主流模型和训练库，支持量化推理，提供了丰富的训练、导出、推理样例。
训练最高提速3.5倍，推理最高提速14倍；量化推理进一步提速1.6倍，并且效果无损。
主要应用于火山翻译的模型训练与部署中，并在公司内外业务中获得广泛应用。
项目地址：https://github.com/bytedance/lightseq

字节跳动

AI Lab NLP算法工程师（实习）
2020.5 - 2021.6
研究Transformer压缩与量化方法，利用层间参数共享、词表分解等方法，结合模型量化，
将Transformer模型参数量压缩至原来的$1/20$，在机器翻译任务上效果几乎无损。

学术成果

LightSeq2: Accelerated Training for Transformer-based Models on GPUs

第二作者 SC 2022
提出了LightSeq2训练加速引擎，支持Transformer、BERT、GPT和ViT等模型结构，
支持PyTorch和TensorFlow，相比PyTorch最高提速3.5倍。
论文地址：https://arxiv.org/abs/2110.05722

LightSeq: A High Performance Inference Library for Transformers

第三作者 NAACL 2021 Industry Track
提出了LightSeq推理加速引擎，支持Transformer、BERT、GPT和ViT等模型结构，
相比TensorFlow最高提速14倍。
论文地址：https://aclanthology.org/2021.naacl-industry.15

A Span-based Linearization for Constituent Trees

第一作者 ACL 2020
提出了一种成分句法树的序列化表示方法，将解码复杂度从 $O(n^3)$ 降低到了 $O(n \log n)$，
解码速度从30句/秒提高到了150句/秒，并且效果无损。
论文地址：https://aclanthology.org/2020.acl-main.299

获奖荣誉

2021 上海市优秀毕业生
2020 国家奖学金（硕士）
2015 国家奖学金
2017 ACM-ICPC全国邀请赛（西安站） 金牌
2016 ACM-ICPC亚洲区域赛（青岛站） 银牌

编程技能

  • 编程语言： 熟悉Python、C++、C、CUDA。
  • 深度学习框架： 熟悉PyTorch、TensorFlow。

社交链接

联系方式