关注公众号【算法码上来】，每日算法干货马上就来！
本文由ChatGPT润色，朱自清文笔
似乎已有半载的光阴，我未曾触笔述事。此半年来，工作路向浑然改变，乃至整个团队亦经历了沧海桑田的变迁。说我忙，其实也未必至于忙，但压力如山，犹如涛涛江水，使我心无余力来挥洒文墨。
简单的说，现时，我已迈离了火山翻译的工作台，但仍旧身在AI Lab之中，将我那一份热忱，在别的领域继续闪耀，犹如夕阳留照，也为曾经的事业散发余晖。
在此，我以一篇文字，作为记念，纪念我在火山翻译的三载光华岁月。
初探世界
疫情初歇，我初涉社会之门，从学校踏入世界的广漠。日复一日的新鲜感充满了我，每天，我都会拍下食堂的餐点分享到朋友圈，那时的饭菜，犹如人间美味，如今却是味同嚼蜡。
记得有一位同事曾如此戏谑：“只有实习生才会每日拍拍吃的”。当时，我不以为然，美食在眼，怎能不晒出来呢？然而两年过去，我已失去了那曾经的热情。
那半年的实习生涯，我主要从事一些探索性的工作，聚焦于Transformer模型的压缩与量化。转正之际，我还开发了一款机器翻译的iOS app，虽然模型大小被压缩至几十兆，但功能尚且简陋。
在此期间，我也有幸深入接触了LightSeq，这个伟大的开源项目。当时，它的star尚只有两三百，只是一个推理加速引擎。我助力它宣传，如今已累积超过2800个star，影响力小有所增。
实习期间，我遇到了我的首位mentor，同样，我也是他的首个实习生。他，技术熟练，人格魅力，是火山翻译中最帅气，最有男子气概，技术最出众的人。他在我身上留下了深刻的烙印，无论是在技术领域，还是在职场经验上，他都给我留下了深刻的影响。那个我深入接触的开源项目LightSeq，也是他一手策划推动的。
光序之路
这一年，我和导师共同开辟了一片崭新的疆域，从无到有，建立起了LightSeq训练加速引擎。在这期间，我叩开了CUDA的大门，初尝探索与发现的乐趣，甚至倾力打造了几篇初探CUDA的入门指南，期待让后继者少踏入一些陷阱。
我发现，写CUDA，与写开源项目的过程，充满了无尽的快乐。这快乐来自于一种难以名状的成就感，是因为我能为开源社区贡献自己的一份力量，为广大的人群带来福祉。这与某些项目大异其趣，那些项目让人只感觉自己在为公司鞠躬尽瘁，而缺少真实的动力。
在这一年，我也圆满的完成了学业，正式成为了字节跳动的一员，所以实际上，我在此的历练时间不过两年有余。
除了技术上的精进，我在宣发方面也并未松懈。我在字节内部社区发布的正能量帖子获得了前所未有的热烈回响，我还有幸登上了CEO的十周年演讲，我的故事甚至被印刷在了春节礼盒上。这一切，都让我对公司产生了强烈的归属感，我与它有了更深的羁绊。
量化的翻涌
这一年，我的心灵主要浸润在量化技术的泉流之中。因为训练与推理的加速引擎，已经磨砺至尽善尽美，而我心中更期盼将量化的秤砣，巧妙地投入到训练与推理的洪流中。春去夏来，我主要灌注心血于量化推理（QAT）的研磨，秋风起，继续逐流推进量化训练的开发。
不绝如缕的努力，如灯塔般的宣传，使得star这一年突破了两千的峭壁，其名声也如晨星般，照亮了黑夜，日渐高涨。在这温暖的光芒下，我心中的兴奋难以言表。
不仅如此，训练的成果，居然得以登上超级计算领域的顶峰——SC大会，这样的机会，在我加入公司时是万万没有想到的。这不是纯粹的研究，也不是简单的开发，这是燃烧的激情与冷静的学术的交融。我同时肩负着工作与学术的双重任务，开源项目与论文发布的双翼搏击，此刻的我，恰如我心所期待的那般。
雕琢新世纪
辞去旧岁，迎来新元年之际，稳定扩散（Stable Diffusion，一种人工智能绘画技术）揭幕而出，颠覆了世界的视界。我在导师的催促之下，奉献于一项神秘的任务，亲手打造并服务于这一业务，而这引领我跨入了AI绘画这一未曾涉足的领域。如同磨砺的矛头，我用了一个季度的时间，走过了从浅显入门到深入领略的艰辛道路，逐渐地，整套流程的操作已然熟练于心。然而，意料之外，业务草木皆兵后的黯然消失让人唏嘘。虽然如此，收获亦非空虚，因我在这个过程中结识了不少领域中的翘楚，领会了很多尖端的技术，这将是我未来探索的宝贵财富。
后来，ChatGPT如猛虎下山，扫过各行各业，各大公司和学校纷纷掀起了自我训练LLM的热潮，连字节跳动也并未例外。我却未能及时把握这个机遇，改行研究计算机视觉（CV），具体的事宜我在此就不多言了，避嫌为妙。简而言之，随着部门的重组，我与相伴三年的火山翻译惜别，因毕竟，机器翻译也必须接纳大模型的洗礼。大模型的兴起，也为公司间的人才流动带来了无尽的可能，熟悉大模型操作的人才，将是炙手可热的宠儿。
如今，心底里的快乐，无疑并非昔日之充沛。然而，这亦是大势所趋，ChatGPT正驱使我们纷纷前行，迎接变革，有所压力，反倒正中其境。
再别漕河泾
这是我在火山翻译度过的三载，一段异常快乐而充实的日子。有人戏谑我们的团队，号称字节中“最没字节味”的一股清流，那是因为我们的工作时间自由度大，工作环境轻松而愉快。然而，我更愿意把这种情形看作字节独特风貌的体现，是在这种环境下，我们才能更从容地创造出惊艳的成果，反倒是若将人们束缚在公司，加班加点，往往只会事与愿违。
火山翻译的使用率正逐渐下降，大家开始更多地选择chatgpt来进行翻译。诚然，后者在准确度和流畅度上还存在一些差距，但火山翻译更多的时候已经成为了我的文本编辑框，帮我整理和消除各种格式。
在不久的将来，大约两个月后，字节可能要迁移到杨浦工区，而我也将告别陪伴我三年的漕河泾。漕河泾虽不在市区，却也已经物涨价跌，房价一路攀升到每平米十万元。记得当年，我为了靠近公司，特地选在9号线沿线的松江泗泾购房，然而在搬迁后，我的通勤时间竟增加了一个小时。
我在思索，或许我应当重新开始，定期更新一些文章。回忆当初写CUDA做模型优化的日子，那些想要分享的观点和想法还有很多，也都颇为有趣。而现在的研究方向，我却在犹豫，毕竟是半路出家，深怕自己班门弄斧。但我想，我还是应当回归初心，写写算法题。这些文章或许能够帮助他人求职，或许有一天，我自己也能再次从中得益。
以下是原文
已经有半年左右没更新过文章了，这半年工作方向有很大变动，甚至整个部门也发生了翻天覆地的变化。说忙也不算忙，但是压力倍增，也没多少心思写文章了。
简单来说，现在已经离开火山翻译了，但还是在AI Lab，继续在其他方向上发挥余热。
谨以此文，纪念我在火山翻译的三年美好时光。
三年经历
2020.5.20 - 2020年末
这半年时间疫情刚结束，第一次从学校迈入社会的大门，每天都充斥着新鲜感。每天都要拍一拍公司食堂的伙食发朋友圈，那时候的饭菜是真好吃，现在已经大不如从前咯。
还记得一位同事当时跟我说：“只有实习生才会每天拍这些吃的”，当时不以为意，觉得这么好吃为啥不秀一秀，果然过了两年已经没有任何拍的动力了。
这半年时间因为是实习，所以主要做一些探索性的工作，聚焦于Transformer模型的压缩与量化，最后实习转正时还做了一个机器翻译的iOS app，模型大小压缩到只有几十兆，不过相当简陋了。
顺带还熟悉了一下LightSeq这个伟大的开源项目，当时star才两三百吧，只有推理加速引擎。帮忙做了一波宣传，现在已经2800多star了，也算是小有影响力了。
实习期间遇到了我的第一个mentor，我也是他的第一个实习生。作为火山翻译最帅最man技术最牛的人，他方方面面影响了我很多，不论是技术，还是职场经验，LightSeq也是他一手策划推动的。
2021年
这一年时间和mentor一起从0到1搭建起了LightSeq训练加速引擎，从0开始学习了CUDA，还写了几篇CUDA入门教程，让后来的人少踩一点坑。
写CUDA还是快乐的，写开源项目也快乐。有一种莫名的成就感，为开源做贡献的成就感，造福很多很多人的成就感。不像有些项目，你做了就感觉纯粹是在给公司打工，没有那么大的动力。
这一年也顺利毕业了，正式转正成为了bytedancer，所以实际上到现在为止我的工龄才刚2年多。
除了技术，在宣发方面我也比较活跃，字节内部社区发的正能量帖子点赞量进入了历史前几，还上了CEO十周年演讲，故事被印刷在了春节礼盒上面，这更让我对公司产生了一种强烈的归属感。
2022年
这一年主要聚焦于量化技术，因为训练和推理加速引擎都开发的差不多了，想更进一步地将量化应用到训练和推理上去。前半年主要开发了量化推理（QAT），后半年继续开发了量化训练，经过一波宣传，star在这一年突破了2000大关，知名度也越来越高。
训练相关成果还发表在了超算领域顶会SC，没想到来公司还能发顶会论文，工作学术两不误。但这又不是那种纯粹的做research，而是做开源项目的同时，顺便发了一篇论文，这才是我想要的状态。
2023年
2022年底，stable diffusion（AI绘画）横空出世，mentor让我去给某业务做相关支持，于是机缘巧合之下从0开始学习了一波AI绘画技术。做了大概三四个月吧，整套流程都搞的差不多了，没想到业务没了，实在是可惜。不过也没白干，认识了不少这方面的大佬，也学到了很多相关技术。
再后来就是chatgpt横扫各个领域了，各大公司和学校都开始了自己训练LLM的旅程，字节肯定也不例外。不过我没赶上NLP这趟车，转而去做CV了，具体就不多说了，保密保密。简而言之，部门重组了，我也离开相伴了三年的火山翻译了，毕竟机器翻译也得拥抱大模型了。同时大模型也带来了机会，公司之间的跳槽与活水肯定也会越来越多，现在国内谁会做大模型那肯定是最吃香的。
简而言之，现在肯定是没有以前快乐的。不过大方向也是如此，chatgpt逼迫着大家追赶进步，有点压力是正常的。
总结
在火山翻译这三年是非常快乐的，有人说过，我们组是字节“最没有字节范”的组之一了，因为上班时间比较自由随意，工作轻松氛围好。但我觉得这反而是字节范的表现之一，这种环境下更容易创造出牛逼的成果出来，把人约束在公司加班反而可能适得其反。
火山翻译用的也越来越少了，现在都直接用chatgpt来翻译，准确度和流畅度还是有差距的。火山翻译网页更多时候是作为文本编辑框来给我消除文本格式用了。
再过两个多月，字节可能就要搬到杨浦工区了，我也即将离开待了三年之久的漕河泾。漕河泾虽说不算市区，但是房价也已经涨到了10万左右一平了。当初为了来公司上班，房子也特地买在了9号线沿线的松江泗泾，没想到搬完工区后通勤一下多了一个小时。
以后会重新定期更新一些文章吧。以前写CUDA做模型优化想写的东西还挺多的，也很有趣。现在做的方向不知道写啥好了，半路出家也不是非常熟悉，怕班门弄斧了。可能还是会回归初心吧，写写算法题，大家找工作也用得到，说不定哪天我自己又用到了呢。
