分类
华东师范大学 | 计算机科学与技术 | 自然语言处理
只用两行代码,我让Transformer推理加速了50倍 只用两行代码,我让Transformer推理加速了50倍
最近有学妹问我,我训了一个Transformer模型,但是预测好慢啊,有啥解决方案吗? 我心想,你又想好,又想快,咋不上天🚀呢? 于是我跟她说,你可以试试lightseq啊,跟闪电⚡️一样快,用了你就可以上天了。 她一脸懵比,light
2021-04-13
熬了几个通宵,我写了份CUDA新手入门代码 熬了几个通宵,我写了份CUDA新手入门代码
在用PyTorch或者TensorFlow搭积木的时候,你是不是也遇到过下面这些情况: 自带的算子及其组合都无法满足你超(bian)常(tai)的计算需求。 自带的算子不可导,需要自己定义反向传播的梯度,例如argmax。 自带的算子太慢
2021-03-28
三分钟教你如何PyTorch自定义反向传播 三分钟教你如何PyTorch自定义反向传播
在前面两篇教程中,我们详细讲解了如何编写cuda算子,并用PyTorch进行调用,并且详细讲述了三种编译cuda算子的方式,具体可以看前面两篇: https://godweiyang.com/2021/03/18/torch-cpp-cud
2021-03-24
详解PyTorch编译并调用自定义CUDA算子的三种方式 详解PyTorch编译并调用自定义CUDA算子的三种方式
在上一篇教程中,我们实现了一个自定义的CUDA算子add2,用来实现两个Tensor的相加。然后用PyTorch调用这个算子,分析对比了一下和PyTorch原生加法的速度差异,并且详细解释了线程同步给统计时间带来的影响。 上一篇教程:htt
2021-03-21
PyTorch自定义CUDA算子教程与运行时间分析 PyTorch自定义CUDA算子教程与运行时间分析
最近因为工作需要,学习了一波CUDA。这里简单记录一下PyTorch自定义CUDA算子的方法,写了一个非常简单的example,再介绍一下正确的PyTorch中CUDA运行时间分析方法。 所有的代码都放在了github上,地址是:https
2021-03-18
教你如何用代码自动群发邮件(邮件轰炸机) 教你如何用代码自动群发邮件(邮件轰炸机)
最近碰到个脑子可能不大正常的人,整天给一堆人群发乱七八糟的邮件,各种喷人、编造谣言和绯闻,看的很是心烦。 于是乎我找了段python代码,给她自动发邮件轰炸一下。 代码很简单,如下所示: #coding: utf-8 import t
2021-01-26
推荐几个不错的CUDA入门教程(非广告) 推荐几个不错的CUDA入门教程(非广告)
最近因为项目需要,入坑了CUDA,又要开始写很久没碰的C++了。对于CUDA编程以及它所需要的GPU、计算机组成、操作系统等基础知识,我基本上都忘光了,因此也翻了不少教程。这里简单整理一下,给同样有入门需求的同学们参考一下。 官方文档及
2021-01-25
Python常用画图代码(折线图、柱状图、饼图) Python常用画图代码(折线图、柱状图、饼图)
简单记录一下最简单常用的三种论文插图的python画图代码,以作备忘。 有很多很牛b的作图教程,我也学不来,就扔给大家自己学吧: 如何在论文中画出漂亮的插图? 折线图代码import numpy as np import matpl
2021-01-20
【LeetCode 327】区间和的个数 【LeetCode 327】区间和的个数
关注公众号【算法码上来】,每日算法干货马上就来! 题目描述给定一个整数数组 $nums$,返回区间和在 $[lower, upper]$ 之间的个数,包含 $lower$ 和 $upper$。区间和 $S(i, j)$ 表示在 $nu
2020-11-07
【分类汇总】110 天以来的题解分类汇总 【分类汇总】110 天以来的题解分类汇总
前言写算法题解也有 110 天了,今天就简单给题目归归类吧。 其实不是很想归类的,主要是有些题目类别太杂,或者多解,或者甚至根本看不出叫啥类别。 因为题目实在太多,所以就不放链接了,只放了标题,大家可以 收藏这篇文章,然后去各大平台(博客、
2020-04-24
【每日算法Day 109】五大解法,带你深入了解完全背包方案数 【每日算法Day 109】五大解法,带你深入了解完全背包方案数
今天这题是完全背包问题 + 背包问题方案数,我一共列举了 5 种解法,层层递进优化。并且从两个角度殊途同归,最终优化到同一个式子。强烈建议掌握,对理解背包问题有很大帮助。 题目链接LeetCode 面试题 08.11. 硬币 题目描述给
2020-04-23
【每日算法Day 108】一道简单的二叉树题目,写法还是挺多的。 【每日算法Day 108】一道简单的二叉树题目,写法还是挺多的。
题目链接LeetCode 199. 二叉树的右视图 题目描述给定一棵二叉树,想象自己站在它的右侧,按照从顶部到底部的顺序,返回从右侧所能看到的节点值。 示例1 输入: [1,2,3,null,5,null,4] 输出: [1,3,4] 解释
2020-04-22
1 / 11