Notes

本文为 EfficientML Lab 2 实验笔记，包含 K-Means 量化、K-Means QAT、线性量化等内容，难度不大，内容丰富。 Part 1: K-Means Quantization Qustion 1 第一个问题是实现 K-means 量化的核心算法，其...

本文介绍了训练后量化（PTQ）和量化感知训练（QAT）技术，PTQ 通过 Per-Tensor/Channel/Vector 等不同粒度划分量化参数，结合动态范围裁剪（校准集统计或 KL 散度优化）和...

在过去八周时间里，我参加了由飞桨开源社区组织的 飞桨启航计划集训营（第四期），认领并完成 【开源任务】CINN编译器后端Pass改造 系列任务。趁...

实验准备 Python 环境 需要用到如下 Python 环境： PyTorch GPU 版本 jupyter notebook tqdm matplotlib torchprofile 数据集准备 Lab 1 中用到了 CIFAR-10 数据集，可以使用 https://www.cs.toronto.edu/~kriz/cifar-10-python.tar.gz 直接下载，并将整个 cifar-10-batched-py 文件夹解压到 data/cifar10 文件夹内。 Part...

本讲开始介绍量化技术，首先介绍各种数据表示格式，然后介绍了两种量化技术：K-means和线性量化，最后提到了模型压缩的流水线。 数值数据类型 课...

通过本文，你将了解如何在 VSCode 中配置 CMake 项目，包括但不限于语法高亮、代码跳转、CMake 配置、构建、测试。 环境说明 本文使用 WSL Ubuntu 22.04 作为演示环境，VS...

MIT 6.824 Distributed Systems 第三讲学习笔记，简单介绍了存储系统和一致性，主要介绍了 GFS 中的文件读写流程。 存储系统概述 存储系统在分布式系统中相当重要：如果能够建立一...

本讲延续上一讲继续介绍了两种确定剪枝比例的算法：灵敏度分析和强化学习。此外还介绍了为稀疏网络提供支持的硬件加速器，包括 EIE、NVIDIA Tensor...

MIT 6.824 Distributed Systems 第二讲学习笔记，包括 Go 语言和并发编程的简单介绍，以及对 RPC 和故障情况下的 RPC 语义的说明。 Lecture 2: RPC and Threads 为什么选择 Go 语言 对于线程和 RPC 的良好支持...

MIT 6.5940 EfficientML 第三讲学习笔记，主要介绍剪枝的定义、效果和粗细程度，并详细介绍了多种剪枝标准。 Lecture 3: Pruning and sparsity 剪枝和稀疏性 剪枝的动机 在上一讲提到，内存操作的...