历时一年,论文终于被国际顶会接收了

就在昨天,超算领域的国际顶会SC22放榜了,我们组的论文也被接收了,得分44332(4分制):

论文地址:
https://arxiv.org/abs/2110.05722

SC会议是什么?

可能很多同学都没听过SC是什么会议,SC会议全称“高性能计算、网络、存储和分析国际会议”(The International Conference for High Performance Computing, Networking, Storage, and Analysis),是高性能计算,体系结构领域顶级会议,CCF推荐A类会议。SC会议发表难度大,每年录用70篇左右的论文,录用率在25%左右。2022年投稿320篇,录用75篇(6篇修改中),录用率约为23%。SC22将于11月13-18日在美国达拉斯举行。

论文写的啥?

这次中的论文标题是:“LightSeq2: Accelerated Training for Transformer-based Models on GPUs”,这是LightSeq第二期训练引擎相关论文,深入讲解了LightSeq训练引擎中用到的算子融合、显存管理等相关技术。LightSeq支持Transformer、BERT、GPT、ViT等多种模型的训练加速,在机器翻译任务上最高可以加速3倍。详细的技术原理介绍可以看下面的文章:
训练加速3倍!字节跳动推出业界首个NLP模型全流程加速引擎

投稿过程是怎么样的?

去年6月的时候,这篇论文的初稿就已经成型了。当时投了下半年的PPoPP国际顶会,但是评分很低,几乎都是拒绝。总结原因,一是因为这个会议和论文方向不是特别合得来,这个会议更注重分布式并行方向的成果;二是论文是按照NLP领域写作习惯来写的,写的也确实糟糕,所以被认为没有什么创新。

被拒之后请了UCSB的几位老师和学生进行了专业的修改,重新组织了论文的结构。相同的技术用更高级的话术来表达后,论文顿时高大上了起来。SC22的投稿过程非常漫长,从3月份一直持续到了6月份才出结果。而最终的终稿要一直持续到8月份,会议更是在11月才开启,整个过程持续了大半年。

还能公费旅游不?

疫情原因,达拉斯现场是没办法去了,UCSB的几位老师同学可以帮忙去现场观摩观摩。还记得两年前的ACL20也是错过了去西雅图公费旅游的机会,今年又错过了达拉斯。会议可以错过,但愿人不要吧。

我们组是做啥的?

我们组是字节跳动火山翻译团队,那自然就是做机器翻译的啦。而我呢是做模型优化方向的,LightSeq就是我们的主要项目:
https://github.com/bytedance/lightseq

之前也写过一篇我们组的详细介绍:
来字节快两年了,回答一些你们感兴趣的问题

怎么进字节?

内推链接:
https://job.toutiao.com/s/YB9MUpS

也强烈建议加我微信(godweiyang)沟通交流,岗位信息、内推进度等等都可以问我。


   转载规则


《历时一年,论文终于被国际顶会接收了》 韦阳 采用 知识共享署名 4.0 国际许可协议 进行许可。
 上一篇
二零二二年终总结 二零二二年终总结
关注公众号【算法码上来】,每日算法干货马上就来! 写于2022年12月13日 不知不觉,年终总结坚持写了6年了,这几年每年都在12.13发布,因为这天🎂。还记得2017年第一次写的时候才大三,现在竟然都已经工作两年多了。回顾这一年
2022-12-12
下一篇 
手推公式之“层归一化”梯度 手推公式之“层归一化”梯度
昨天推导了一下交叉熵的反向传播梯度,今天再来推导一下层归一化(LayerNorm),这是一种常见的归一化方法。 前向传播假设待归一化的$m$维向量为$x$,均值和标准差分别是$\mu{(x)}$和$\sigma{(x)}$,LayerNor
2022-05-22
  目录