关于
字节跳动 | AI Lab | NLP算法工程师
241 文章
6 分类
82 标签
韦阳
241 文章
6 分类
82 标签
韦阳
字节跳动 | AI Lab | NLP算法工程师
欢迎关注微信公众号「算法码上来」。我是godweiyang，字节跳动AI Lab NLP算法工程师，华东师范大学计算机系本硕都是专业第一。秋招斩获了上海三家互联网大厂SSP offer，擅长算法、机器翻译和模型加速。有任何问题都可以随时咨询我。
  文章统计图
  我的项目
LightSeq
Transformer类模型训练和推理加速库，训练加速3倍，推理加速10倍。
NN-CUDA-Example
深度学习框架接入C++/CUDA详细教程。
hexo-matery-modified
我的个性化配置过的博客主题源码，即下即用。
  我的技能
Algorithm
90%
C++
80%
Python
80%
Pytorch
75%
Dynet
75%
Java
50%
SQL
50%
HTML
45%
  我的简历

CV

中文版
English Version

教育背景

  • 硕士 华东师范大学 计算机科学与技术
    2018/06 - 至今
    均分：91.5/100
  • 本科 华东师范大学 计算机科学与技术
    2014/09 - 2018/06
    排名：1/110

研究方向

主要研究机器翻译、模型压缩与加速、成分句法分析、依存句法分析等方向。

实习经历

  • 字节跳动AI Lab NLP算法工程师
    2020/05 - 至今
    主要研究机器翻译模型的压缩与加速。
    利用参数共享、词向量分解、量化、蒸馏等模型压缩技术，减小模型的体积，最终部署到移动端上。
    最终实现模型体积压缩20倍，同时效果基本无损。

学术成果

  • A Span-based Linearization for Constituent Trees
    Yang Wei, Yuanbin Wu and Man Lan， ACL 2020
    提出了一种成分句法树的序列化表示方法。
    基于该表示方法，模型的解码复杂度从O(n^3)降低到了O(n log n)，
    实际解码速度从30句/秒提高到了150句/秒，
    同时效果没有任何损失。

  • LightSeq: A High Performance Inference Library for Transformers
    Xiaohui Wang, Ying Xiong, Yang Wei, Mingxuan Wang, Lei Li， NAACL 2021 Industry Track
    我们提出了LightSeq，一个高效的Transformer系列模型推理库。
    LightSeq包括一系列GPU优化技术，以简化Transformer层的计算并减少显存占用。
    LightSeq支持使用PyTorch和Tensorflow训练的模型。
    标准机器翻译基准上的实验结果表明，与TensorFlow相比，LightSeq实现了高达14倍的加速；与FasterTransformer相比，实现了1.4倍的加速。

获奖情况

2020

  • 国家奖学金（硕士）
    研二学年

2017

  • 金牌
    ACM-ICPC全国邀请赛（陕西）
  • 团体一等奖
    中国高校计算机大赛-团体程序设计天梯赛
  • 高校一等奖
    中国高校计算机大赛-团体程序设计天梯赛
  • 特等奖学金
    大三学年

2016

  • 银牌
    ACM-ICPC亚洲区域赛（青岛）
  • 铜牌
    ACM-CCPC总决赛（宁波）
  • 铜牌
    ACM-CCPC（杭州）
  • 一等奖学金
    大二学年

2015

  • 铜牌
    ACM-ICPC亚洲区域赛（上海）
  • 铜牌
    ACM-ICPC上海大都会赛
  • 国家奖学金
    大一学年

联系方式