第1部分 基础__eol__1 绪论 2__eol__1.1 神经网络技术的发展 2__eol__1.2 神经网络的高效化需求 3__eol__1.3 神经网络的高效化路径 4__eol__1.4 本书主要内容 6__eol__2 基础知识 7__eol__2.1 优化问题 7__eol__2.1.1 优化问题的定义和分类 7__eol__2.1.2 优化方法的分类 9__eol__2.2 卷积神经网络模型 10__eol__2.2.1 基础模块 10__eol__2.2.2 代表性模型介绍 13__eol__2.3 视觉Transformer 模型 15__eol__2.3.1 基础模块 16__eol__2.3.2 模型分类与总结 18__eol__第2部分 高效模型压缩方法论__eol__3 高效模块设计 20__eol__3.1 概述 20__eol__3.2 代表性模型介绍 21__eol__3.2.1 SqueezeNet 21__eol__3.2.2 MobileNet 系列 22__eol__3.2.3 ShuffleNet 系列 24__eol__3.2.4 GhostNet 26__eol__3.2.5 ConvNeXt 27__eol__3.2.6 VoVNet 系列 28__eol__3.2.7 RepVGG 29__eol__3.3 高效模块的5 个设计维度 30__eol__3.4 本章小结 31__eol__4 模型剪枝 32__eol__4.1 模型剪枝的定义和分类 32__eol__4.2 模型敏感度分析方法 34__eol__4.2.1 层内和层间敏感度分析 34__eol__4.2.2 层内敏感度分析指标 35__eol__4.3 结构化剪枝方法 37__eol__4.3.1 基于权重正则的结构化剪枝方法 37__eol__4.3.2 基于搜索的结构化剪枝方法 39__eol__4.3.3 给定资源限制的条件下的结构化剪枝方法 44__eol__4.4 近似低秩分解方法 47__eol__4.5 非结构化剪枝方法 48__eol__4.6 半结构化剪枝方法 51__eol__4.7 针对激活值的剪枝方法 53__eol__4.8 剪枝方法的经验性选择 55__eol__4.8.1 剪枝流程的选择 55__eol__4.8.2 剪枝稀疏模式的选择 56__eol__4.8.3 关于任务性能的经验 56__eol__4.9 Group Lasso 结构化剪枝的实践案例 57__eol__4.10 本章小结 60__eol__5 模型量化 61__eol__5.1 模型量化的定义和分类 61__eol__5.2 模型量化过程和量化推理过程 64__eol__5.3 量化格式和操作 65__eol__5.3.1 均匀量化格式 66__eol__5.3.2 非均匀量化格式 68__eol__5.3.3 三种量化操作 71__eol__5.4 量化参数 73__eol__5.4.1 缩放系数 73__eol__5.4.2 零点位置 74__eol__5.4.3 量化位宽 74__eol__5.5 训练后量化75__eol__5.5.1 训练后量化的流程 75__eol__5.5.2 重参数化 76__eol__5.5.3 缩放系数的选取方法 80__eol__5.5.4 量化值调整 83__eol__5.6 量化感知训练 87__eol__5.6.1 基础与流程 87__eol__5.6.2 调整模型架构的方法 90__eol__5.6.3 量化器设计的技巧 92__eol__5.6.4 常用的训练技巧 97__eol__5.7 混合位宽量化 97__eol__5.7.1 基于敏感度指标的混合位宽量化 97__eol__5.7.2 基于搜索的混合位宽量化 99__eol__5.8 量化方法的经验性选择 100__eol__5.8.1 量化流程的选择 100__eol__5.8.2 数据表示的设计和决定 100__eol__5.8.3 算子的选择与处理和计算图的调整 102__eol__5.8.4 关于任务性能的经验 104__eol__5.9 拓展：低比特推理硬件实现 104__eol__5.9.1 定点计算的硬件效率 104__eol__5.9.2 浮点计算转定点计算的原理 105__eol__5.9.3 非均匀量化格式的计算 111__eol__5.9.4 典型的计算单元和加速器架构 112__eol__5.10 拓展：低比特训练简介 115__eol__5.10.1 应用背景 115__eol__5.10.2 挑战分析 116__eol__5.10.3 相关工作 116__eol__5.11 本章小结 117__eol__6 模型二值化 118__eol__6.1 模型二值化的定义和分类 118__eol__6.2 模型二值化的基础：以XNOR-Net 为例 120__eol__6.3 二值化方式 122__eol__6.3.1 朴素二值化方式 123__eol__6.3.2 间接二值化方式 127__eol__6.4 训练技巧 131__eol__6.4.1 修改损失函数 132__eol__6.4.2 降低梯度估计误差 133__eol__6.4.3 多阶段的训练方法 135__eol__6.4.4 训练经验 136__eol__6.5 架构设计 137__eol__6.5.1 模型架构的调整 138__eol__6.5.2 模型架构搜索 141__eol__6.5.3 集成方法与动态模型 142__eol__6.6 模型二值化在其他任务与架构中的应用 142__eol__6.7 本章小结 144__eol__7 神经网络架构搜索146__eol__7.1 神经网络架构搜索的定义和分类 146__eol__7.2 搜索空间 149__eol__7.2.1 人工设计搜索空间 150__eol__7.2.2 自动设计搜索空间 154__eol__7.2.3 总结 156__eol__7.3 搜索策略 157__eol__7.3.1 基于强化学习的搜索策略 157__eol__7.3.2 基于进化算法的搜索策略 159__eol__7.3.3 随机搜索策略 160__eol__7.3.4 基于架构性能预测器的搜索策略 160__eol__7.3.5 总结 164__eol__7.4 评估策略 165__eol__7.4.1 独立训练策略 166__eol__7.4.2 基于权重共享的单次评估策略 167__eol__7.4.3 基于权重生成的单次评估策略 172__eol__7.4.4 零次评估策略 172__eol__7.5 可微分神经网络架构搜索 175__eol__7.5.1 连续松弛方法 175__eol__7.5.2 优化方法 176__eol__7.5.3 搜索坍缩问题 177__eol__7.5.4 更高效的可微分搜索算法 179__eol__7.6 考虑硬件效率的神经网络架构搜索 180__eol__7.6.1 考虑硬件效率的搜索空间设计 181__eol__7.6.2 硬件效率指标的加速评估方法 182__eol__7.6.3 考虑多种硬件效率目标的搜索策略 184__eol__7.6.4 面向多种硬件设备及约束的神经网络架构搜索方法 186__eol__7.7 本章小结 188__eol__8 知识蒸馏 190__eol__8.1 知识蒸馏的定义和分类 190__eol__8.2 知识类型和知识分量：“学什么” 192__eol__8.2.1 基于响应的知识 192__eol__8.2.2 基于特征的知识 194__eol__8.2.3 基于关系的知识 197__eol__8.3 知识来源：“向谁学” 199__eol__8.3.1 离线蒸馏 199__eol__8.3.2 互学习 199__eol__8.3.3 自蒸馏200__eol__8.4 本章小结 201__eol__第3部分 拓展和前沿__eol__9 相关领域：高效灵活的AI 推理硬件和系统 203__eol__9.1 概述 203__eol__9.2 硬件加速器设计和软硬件协同优化 204__eol__9.2.1 从CPU 到硬件加速器 204__eol__9.2.2 AI 加速器中的软硬件协同优化 206__eol__9.2.3 Roofline 分析模型 207__eol__9.2.4 基于指令集的AI 加速器 210__eol__9.3 神经网络计算资源虚拟化 211__eol__9.3.1 虚拟化的概念 211__eol__9.3.2 AI 加速器的时分复用与空分复用虚拟化 212__eol__9.3.3 相关工作简介 214__eol__9.4 本章小结 215__eol__10 前沿应用：大语言模型的加速和压缩 218__eol__10.1 大语言模型的发展 218__eol__10.2 大语言模型的架构和推理过程 219__eol__10.3 大语言模型的高效性分析 220__eol__10.3.1 效率瓶颈 220__eol__10.3.2 优化路径 221__eol__10.4 典型的大语言模型的压缩方法：量化 223__eol__10.5 本章小结 226__eol__后记 227__eol__参考文献 229