2d 卷积梯度推导与实现
符号说明 $$ \begin{align*} X &: 卷积输入，\text{shape} 为[b,h,w,c_{in}]\\ W &: 卷积核，\text{shape}为[a,a,c_{i...
CUDA
在VSCode中对CUDA和Python代码进行联合调试
在 cmu10414 hw3 的最后实现矩阵乘法的算子的时候靠肉眼和 printf 实在是调不通，研究了一下怎么在 VSCode 中联合调试 CUDA 和 Python 代码，特此记录。 项目准备 原项目中将 CUDA 代码编译为...
Programming Massively Parallel Processors A Hands-on Approach 4th Edition 学习笔记
资源存档 Chapter 1: Introduction 简介 应用程序需求的算力和 CPU 能够提供的算力一直是一对相互促进的矛盾。上世纪八九十年代，通过不断提高单核频率和每个时钟周期执行的活...
CMU 10-414 Assignments 实验笔记
前言 本文记录了完成《CMU 10-414/714 Deep Learning System》配套 Assignments 的过程和对应笔记。共有 6 个 hw，循序渐进地从头实现了一个深度学习框架，并利用搭建 DL 中厂常...
《CMU 10-414 deep learning system》学习笔记
写在最前面 从 2024-04-28 到 2024-09-08，历时四个多月，总算把 DLSys 学完了。这门课的一些收获： 自动微分理论知识和在实践过程中衍生的包括计算图等知识 系...