北京
斯坦福 CS336 课程的推理讲义被翻出来逐页拆解，主线只有一句：一切优化 = 减少每步搬运的字节数。这句话听着像口号，落到课程里却是一条能串起架构、算法、系统三层的数学主线。
先看矛盾在哪。自回归生成一次只吐一个 token，算力还没跑满，数据搬运先成了瓶颈，算术强度低、受限于内存带宽（memory-bound）。所以课程把优化手段按性质分了三类，逐条打下来逻辑很清晰。
- 架构层：有损压缩，GQA、量化、剪枝都算这一类，把参数和缓存压小，代价是精度。
- 算法层：无损加速，投机采样是代表，利用验证快于生成的非对称性，不牺牲结果。
- 系统层：经典 OS 思想迁移，连续批处理、分页这些机制搬进推理，目的是提高吞吐。
三层手段看着各干各的，指向却是同一个靶子：KV cache。课程给出的判断相当直接——KV cache 本身就是 Transformer 对推理不友好的结构性根源。它不是一个可以调优的参数，而是架构自带的结构性缺陷。
这也解释了为什么架构层的优化都带着“有损”标签。压小参数、压小缓存，本质上是在跟这个结构性缺陷做交易，用精度换搬运量。算法层和系统层则绕开精度问题，一个靠验证与生成的速度差，一个靠调度机制把吞吐拉起来。
课程最后把目光放到了架构本身。按这条主线推下去，真正的突破可能不在现有 Transformer 上打补丁，而来自 SSM 或线性注意力这类为推理原生设计的架构。KV cache 这个包袱，从一开始就不该背。
对做推理工程的人来说，这套分层的价值在于判断优先级：先看瓶颈是不是内存带宽，再看手里的手段属于有损还是无损，最后才谈调度。顺序反了，调半天可能只是在给结构性缺陷交学费。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
