韦阳

📧 i@godweiyang.com · 📱 15221856016 · 🌐 godweiyang.com · 💻 GitHub · 📝 知乎

教育背景

华东师范大学 · 计算机科学与技术 · 硕士 2018.9 – 2021.6

专业排名 1/105

华东师范大学 · 计算机科学与技术 · 学士 2014.9 – 2018.6

专业排名 1/110

工作经历

字节跳动 AI Lab · 算法工程师 2021.7 – 至今

• 大模型训练 （2023.4 – 至今）
  基于 DeepSpeed 和 Megatron 框架进行大模型训练，支持 300 亿参数规模，集成 Flash Attention，支持 finetune。
• AI 绘画 （2023.1 – 2023.3）
  基于 Stable Diffusion 的 AI 绘画项目，集成 Textual Inversion、LoRA、ControlNet 等技术。
• LightSeq 推理/训练加速引擎 （2021.2 – 2022.12）
  开源项目 github.com/bytedance/lightseq，GitHub 2900+ Star。支持 FP32/FP16/INT8 多精度，Transformer 系列模型推理加速最高 14 倍，训练加速最高 3.5 倍。

字节跳动 AI Lab · 研究实习生 2020.5 – 2021.6

• 端侧模型压缩与部署 （2020.5 – 2021.1）
  Transformer 模型压缩，模型大小缩小至原来的 1/20，使用 TFLite + Swift 部署到 iOS 端。

学术论文

LightSeq2: Accelerated Training for Transformer-based Models on GPUs
SC 2022 CCF A
提出 LightSeq2 训练加速引擎，支持 BERT、GPT、ViT 等 Transformer 模型训练加速，相比 PyTorch 和 TensorFlow 最高加速 3.5 倍。
[论文链接]

LightSeq: A High Performance Inference Library for Transformers
NAACL 2021 Industry Track CCF C
提出 LightSeq 推理加速引擎，支持 BERT、GPT、ViT 等 Transformer 模型推理加速，相比 TensorFlow 最高加速 14 倍。
[论文链接]

A Span-based Linearization for Constituent Trees
ACL 2020 CCF A
提出基于 Span 的成分句法树线性化方法，将时间复杂度从 O(n³) 降低到 O(n log n)。
[论文链接]

荣誉奖项

奖项	年份
国家奖学金（研究生）	2021
国家奖学金（本科生）	2020
国家奖学金（本科生）	2015
ACM-ICPC 亚洲区域赛奖牌	2017
ACM-ICPC 亚洲区域赛奖牌	2016

技能 & 其他

类别	内容
编程语言	Python, C++, C, CUDA
框架工具	PyTorch, TensorFlow
个人博客	godweiyang.com
GitHub	github.com/godweiyang
知乎	23,000+ 关注者
微信公众号	算法码上来（11,000+ 关注者）