关于
字节跳动 | AI Lab | NLP算法工程师
241 文章
6 分类
82 标签
韦阳
241 文章
6 分类
82 标签
韦阳
字节跳动 | AI Lab | NLP算法工程师
欢迎关注微信公众号「算法码上来」。我是godweiyang,字节跳动AI Lab NLP算法工程师,华东师范大学计算机系本硕都是专业第一。秋招斩获了上海三家互联网大厂SSP offer,擅长算法、机器翻译和模型加速。有任何问题都可以随时咨询我。
  文章统计图
  我的项目
Transformer类模型训练和推理加速库,训练加速3倍,推理加速10倍。
深度学习框架接入C++/CUDA详细教程。
我的个性化配置过的博客主题源码,即下即用。
  我的技能
Algorithm
90%
C++
80%
Python
80%
Pytorch
75%
Dynet
75%
Java
50%
SQL
50%
HTML
45%
  我的简历

CV

中文版
English Version

教育背景

  • 硕士 华东师范大学 计算机科学与技术
    2018/06 - 至今
    均分:91.5/100
  • 本科 华东师范大学 计算机科学与技术
    2014/09 - 2018/06
    排名:1/110

研究方向

主要研究机器翻译、模型压缩与加速、成分句法分析、依存句法分析等方向。

实习经历

  • 字节跳动AI Lab NLP算法工程师
    2020/05 - 至今
    主要研究机器翻译模型的压缩与加速。
    利用参数共享、词向量分解、量化、蒸馏等模型压缩技术,减小模型的体积,最终部署到移动端上。
    最终实现模型体积压缩20倍,同时效果基本无损。

学术成果

  • A Span-based Linearization for Constituent Trees
    Yang Wei, Yuanbin Wu and Man LanACL 2020
    提出了一种成分句法树的序列化表示方法。
    基于该表示方法,模型的解码复杂度从O(n^3)降低到了O(n log n),
    实际解码速度从30句/秒提高到了150句/秒,
    同时效果没有任何损失。

  • LightSeq: A High Performance Inference Library for Transformers
    Xiaohui Wang, Ying Xiong, Yang Wei, Mingxuan Wang, Lei LiNAACL 2021 Industry Track
    我们提出了LightSeq,一个高效的Transformer系列模型推理库。
    LightSeq包括一系列GPU优化技术,以简化Transformer层的计算并减少显存占用。
    LightSeq支持使用PyTorch和Tensorflow训练的模型。
    标准机器翻译基准上的实验结果表明,与TensorFlow相比,LightSeq实现了高达14倍的加速;与FasterTransformer相比,实现了1.4倍的加速。

获奖情况

2020

  • 国家奖学金(硕士)
    研二学年

2017

  • 金牌
    ACM-ICPC全国邀请赛(陕西)
  • 团体一等奖
    中国高校计算机大赛-团体程序设计天梯赛
  • 高校一等奖
    中国高校计算机大赛-团体程序设计天梯赛
  • 特等奖学金
    大三学年

2016

  • 银牌
    ACM-ICPC亚洲区域赛(青岛)
  • 铜牌
    ACM-CCPC总决赛(宁波)
  • 铜牌
    ACM-CCPC(杭州)
  • 一等奖学金
    大二学年

2015

  • 铜牌
    ACM-ICPC亚洲区域赛(上海)
  • 铜牌
    ACM-ICPC上海大都会赛
  • 国家奖学金
    大一学年

联系方式