大模型蒸馏这个话题这两年几乎成了工程团队的必修课。模型越做越大算力成本水涨船高但业务方又想要接近大模型的效果怎么办蒸馏是目前公认最务实的一条路。我自己在多个项目的落地过程中把从离线 Top-K 蒸馏到量化感知部署这条链路上能踩的坑基本都踩了一遍今天把完整的选型思路和实操细节整理出来希望对正在做类似选型的团队有帮助。整条链路的核心就一句话先通过离线 Top-K 蒸馏把大模型的能力压缩到小模型上再通过量化感知训练把压缩后的模型进一步压到低比特精度最终部署到推理引擎上跑起来。两个环节单独拎出来都有大量文章在讲但真正把它们串成一条完整的工程链路中间的坑却很少有人系统聊过。这篇内容适合正在做大模型压缩、推理优化、边缘端部署的算法工程师和平台工程师也适合刚接触蒸馏方向但想了解全貌的读者。1. 先想清楚蒸馏到底解决什么问题1.1 为什么不是直接训练小模型很多人刚接触蒸馏时都会问一个问题如果最终要的是一个小模型为什么不直接用小模型架构去训练非要绕一圈先从大模型蒸馏这个问题的答案其实藏在数据分布的差距里。直接训练一个小模型你只有有限的标注数据可用。而大模型在预训练阶段见过海量的文本它的输出空间里包含了很多标注数据里根本没有覆盖到的模式。蒸馏的本质就是用小模型去学习大模型的输出分布而不是只学习标注数据里的硬标签。大模型的 soft label 里带着它对不同候选答案的置信度分布这种分布信息本身就是一种超强的数据增强。举个例子分类任务里硬标签只会告诉模型这张图是猫但大模型的 soft label 可能会告诉模型有 80% 的可能是猫15% 的可能是狐狸5% 的可能是狗。后者隐含了类别之间的相似度结构。小模型在蒸馏过程中学到的不仅是什么是猫还顺带学到了猫和狐狸在某些特征上相近。这种知识迁移是直接训练小模型无论如何都得不到的。1.2 从离线 Top-K 到量化的完整链路设计蒸馏工程选型的第一步不是急着选模型架构而是先把整条链路画出来。我在实际项目里通常把整条链路拆成四个环节数据准备、蒸馏训练、量化压缩、推理部署。每个环节都有自己的技术选型环环相扣前一步做不好后一步全部报废。离线 Top-K 蒸馏属于训练阶段的核心策略它的作用是筛选出最有价值的学习样本。量化感知部署则是压缩与部署阶段的核心目的是让模型在低比特精度下仍然保持良好的效果。这两者其实是有内在衔接关系的蒸馏做得好小模型的分布和大模型足够接近后续量化时掉点就会明显更小。反过来如果蒸馏阶段就马马虎虎到了量化阶段误差会被进一步放大最后模型根本没法用。我在选型时有一条基本原则任何优化技术如果不能在最终部署阶段降低延迟或减少显存那它就是在给团队增加额外负担。所以蒸馏和量化必须放在一起做选型不能分成两个独立项目来评估。2. 离线 Top-K 蒸馏的工程实现2.1 离线 Top-K 到底是怎么运作的离线 Top-K 是知识蒸馏里一个非常实用的工程技巧。传统的在线蒸馏教师模型和学生模型需要同步训练每个 step 都要跑一遍前向计算显存和算力的消耗翻倍。离线蒸馏则是预先用教师模型把所有训练数据的输出全部算好并缓存下来训练学生模型时直接读取缓存即可。Top-K 的逻辑是对于每个输入样本教师模型会输出一个完整的概率分布我们会保留概率最高的 K 个类别的 logits其余全部置为负无穷或直接丢弃。为什么要这么做因为一个完整的词表可能有三五万个 token完整保留所有 logits 会导致缓存文件极其庞大。以千亿参数模型为例一份 1 亿条的蒸馏数据如果保存全量 logits存储空间轻松上百 GB。只保留 Top-K存储可以压缩到原来的十分之一甚至更低。K 的取值是这里面的关键超参。K 太小比如 K1那就退化成硬标签了soft label 的优势完全丢失。K 太大比如 K100存储压力大而且大量低概率 token 的 logits 本身是噪声对训练没有正向帮助。我实测下来文本生成任务里 K 取 20 到 40 之间比较合适分类任务里 K 取 5 到 10 就够了。注意Top-K 的缓存文件不是简单的 pickle 堆在一起建议直接用内存映射格式存储训练时随机读取效率高很多。这块设计不好后面训练时 IO 会成为瓶颈。2.2 数据准备环节的细节离线 Top-K 蒸馏最容易翻车的点不是模型训练而是数据准备阶段没人重视。教师模型推理产 logits 的过程本质上是一次大规模数据生产任务需要单独做成一条数据流水线来管理。首先要解决的是 prompt 的构造标准。同一个训练样本教师模型和学生模型在训练和推理时必须使用完全一致的 prompt 模板。很多团队在蒸馏训练时发现 loss 降不下去最后排查下来是 prompt 模板不统一教师模型用的模板和学生模型微调时用的模板差了几个空格和换行导致 soft label 对应的条件分布被整体偏移了。其次要解决的是动态和静态 Top-K 的问题。离线蒸馏的场景下教师模型的输出是预先算好的所以 Top-K 只能静态截断。但如果 K 选小了某个样本的 Top-K 之外的 logits 被截断学生模型在这个样本上的学习信号会不完整。我的做法是准备一份验证集在正式产缓存前先用小批量数据跑一遍 logits 分布统计一下每个样本有效 token 数落在什么区间再反推一个合理的 K 值。还有一个容易忽略的细节教师模型的输出需要做长度归一化。不同样本的序列长度不同logits 的绝对值范围也可能不同直接混在一起训练学生模型会无所适从。我在实际项目中会记录每条样本的序列长度训练时按长度分桶同一个 batch 内的样本长度尽量一致。2.3 蒸馏训练的关键超参与调试经验蒸馏训练阶段最核心的超参有三个温度系数、蒸馏损失权重、学习率。温度系数 T 的作用是平滑概率分布。T 越高分布越平缓隐含的类别间相似度结构越明显T 越低分布越尖锐越接近硬标签。我在实践中的经验是T 初始值设在 2 到 4 之间训练到中期逐渐降到 1。如果一开始 T 就很低soft label 的优势出不来如果全程保持高 T学生模型学到的分布过于平滑会在一些难样本上犯迷糊。蒸馏损失权重 λ 决定了 soft label 和 hard label 的贡献比例。常见做法是 L λ * L_soft (1-λ) * L_hard。λ 我一般从 0.5 起步逐步涨到 0.8 左右。前期 hard label 保证模型快速收敛到正确的语义空间后期加大 soft label 的比重让模型精细调整输出分布。学习率这块蒸馏训练和普通微调不太一样。教师模型的输出分布相对平滑梯度信号的绝对值偏小如果学习率太低学生模型学得很慢。但如果学习率太高又容易破坏学生模型原有的预训练表征。我在 Llama 系列模型上做蒸馏时学习率一般设在标准微调的 1.5 到 2 倍优化器用 AdamWwarmup 比例在 3% 到 5% 之间。训练过程中要同时盯着蒸馏 loss 和学生模型在目标任务上的指标两者不完全等价。有时候蒸馏 loss 持续下降但下游任务指标不涨反跌这时候大概率是模型过拟合到教师模型的分布上需要降低 λ 或者增加数据多样性。3. 量化感知部署把蒸馏成果压到最后一公里3.1 量化掉点的问题和蒸馏的关系模型量化是部署环节绕不开的坎。FP16 转 INT8 甚至 INT4显存占用和推理延迟能显著下降但精度损失也如影随形。有意思的是蒸馏做得好的模型在量化时掉点往往更小。原因并不复杂。蒸馏后的模型输出分布和大模型高度接近而大模型的输出分布通常比小模型更平滑、更不容易出现极端置信度。平滑的分布在量化时对数值精度不那么敏感。相反如果一个小模型是在硬标签上直接训练的它的 logits 分布会比较尖锐某些维度上的数值跨度很大一旦量化截断误差就会被放大。所以在蒸馏阶段就应该为量化做好准备。训练时可以在损失函数上额外加一项输出分布的平滑约束比如限制 logits 的最大绝对值范围。这个技巧不复杂但对后续量化很有帮助能让校准阶段的数值范围更集中。3.2 量化感知蒸馏的实操方案量化感知蒸馏通俗讲就是在蒸馏训练的过程中模拟量化误差让模型在训练阶段就适应低精度带来的扰动。技术上有两种主流做法第一种是 QAT 式的量化感知蒸馏。在学生模型的 forward 过程中插入伪量化节点把权重和激活值量化到目标精度再反量化回来然后正常计算蒸馏损失。这样梯度可以在模拟的量化误差下回传模型训练结束后权重直接转成 INT8 推理。第二种是蒸馏感知的 PTQ。先正常完成蒸馏训练然后做训练后量化但在校准阶段使用教师模型的输出作为额外的约束条件。具体做法是在校准时让量化后的学生模型输出的分布尽可能接近教师模型在同一批数据上的输出分布通过调整量化参数来最小化两者之间的 KL 散度。两种方案各有适用场景。QAT 的效果上限更高但训练开销大PTQ 更轻量适合快速迭代场景。我个人的建议是如果你的部署时间窗口很紧先用 PTQ 方案跑一版看掉点情况如果掉点超过 1 到 2 个点再上 QAT。注意量化感知蒸馏选择的 calibration 数据集一定不要和蒸馏训练数据完全重叠。否则量化参数会被校准数据带偏出现校准集上精度很好其他数据上崩盘的情况。我一般会留出 20% 的数据单独做校准用途。3.3 不同量化位宽和工具链的选择对比量化位宽的选择直接影响最终部署效果需要结合硬件支持情况来做决策。INT8 是目前支持最广泛的量化位宽几乎所有的推理框架和 GPU 硬件都支持掉点控制在 1% 以内通常问题不大。如果你的目标硬件是 A 卡、V 卡或国产卡INT8 是最稳妥的选择。INT4 是省显存的利器参数量直接砍半但掉点风险也翻倍。量化感知蒸馏做得好INT4 在某些任务上可以把掉点压到 2% 以内但这个结果严重依赖模型架构和数据分布。对于回答短文本生成、代码补全这类模式比较稳定的任务INT4 可以尝试对于开放域长文本生成、多轮对话这类复杂任务建议保守一点先验证 INT4 的效果再决定是否推广。工具链方面主流的推理引擎对量化格式的支持各有侧重。我把几个我实际用过的工具链的特点和适用场景整理成了一个对比表工具链支持精度量化友好度适用场景TensorRT-LLMINT8/INT4/FP8高量化工具链完善NVIDIA GPU 上的低延迟推理vLLMINT8/INT4中依赖外部量化库高吞吐在线服务llama.cppINT8/INT4/INT3高社区生态好CPU 推理和边缘设备HuggingFace OptimumINT8/INT4中封装程度高快速原型验证这里多说一句TensorRT-LLM 的量化支持确实最成熟但它的编译和部署流程也最复杂工程师需要有较强的 C 和 CUDA 基础。vLLM 胜在高效但因为高度依赖社区生态遇到量化格式不兼容的问题时解决成本可能比较高。llama.cpp 在 CPU 推理场景下几乎没有对手但如果你需要 GPU 上的极致吞吐它不是最优解。4. 常见问题与排查技巧实录4.1 蒸馏训练 loss 不下降排查这是我在做蒸馏时遇到最频繁的问题。loss 不降或者降得很慢我的排查顺序是先检查数据加载环节确认缓存文件里的 logits 是否和当前 batch 的样本一一对应。我在一次项目里发现因为缓存文件使用了多进程写入索引发生了错位导致模型在学错误答案的正确分布loss 自然降不下去。数据没有问题之后检查温度系数和学习率。温度系数过高会让分布过于平滑模型区分度不足学习率如果设置得过低会在前几百步看不到明显下降。我一般建议先跑一个 200 步的小实验观察 loss 曲线的走势如果完全没有下降趋势优先调大学习率。最后一个排查点是模型架构本身的容量。如果你的学生模型選得過小比如只有教师模型参数的 1%那你不要指望它能完全拟合教师模型的分布。这时候需要回到选型层面重新评估学生模型的容量是否符合业务要求。4.2 量化后模型输出显著变差的定位步骤量化后效果变差首先需要定位是权重精度问题还是激活值精度问题。方法很简单先把权重保持 FP16只量化激活值再把激活值保持 FP16只量化权重。分别看看哪边的掉点更明显。如果是激活值敏感优先检查是否有极端离群值。我遇到过很多次模型里某些维度的激活值数值在 100 以上而大部分数值集中在 [-5, 5] 区间这会导致量化 scale 被离群值拉大正常数值的精度被严重压缩。解决方案是在蒸馏训练阶段对激活输出做 clip或者使用 per-token 的动态量化方式。如果是权重敏感检查一下蒸馏训练后权重的数值分布。如果某些层的权重方差特别大建议先做一层 layer-wise 的均衡处理再尝试量化。这个方法在很多 Transformer 模型上都有奇效。4.3 蒸馏模型过拟合到教师模型怎么办蒸馏模型最常见的失败模式是在教师模型的分布上拟合得很好但在真实业务数据上表现不佳。这其实是模型的泛化能力被soft label中的噪声带偏了。遇到这种情况我建议做三件事调低蒸馏损失权重 λ增加 hard label 的占比。调整教师模型输出的温度系数让分布更尖锐一些减少过于模糊的概率信号。在训练数据中适当混入一些没有经过教师模型标注的原始数据用纯硬标签训练。我在实际项目中甚至在极端情况下把 λ 降到了 0.3 以下牺牲了一部分蒸馏蒸馏的效果换来了模型在真实场景里更稳定的表现。蒸馏不是越彻底越好需要根据业务场景做平衡。4.4 部署阶段显存和延迟的实测数据最后分享一组我在一个 7B 模型项目上的实测数据。模型经过蒸馏后压缩到了 1.8B 参数再经过 INT8 量化部署到 GPU 上。以下是具体的效果对比环节模型规模显存占用单请求延迟蒸馏前 FP167B约 14GB约 120ms蒸馏后 FP161.8B约 4.5GB约 45ms蒸馏后 INT81.8B约 2.5GB约 28ms蒸馏后 INT41.8B约 1.5GB约 20ms这项项目里蒸馏压缩和量化的整体组合把原来的部署成本降到了五分之一以内模型效果在业务指标上只降低了 1.5 个百分点完全在可接受范围内。5. 结语大模型蒸馏和量化感知部署不是两个孤立的技术点而是一条需要整体规划的工程链路。离线 Top-K 蒸馏解决的是从大模型到小模型的能力迁移效率问题量化感知部署解决的是小模型在真实硬件上的成本和延迟问题。两者环环相扣好的蒸馏结果是好的量化效果的前提。最后分享一个我个人总结的关键经验每次做蒸馏项目一定要从一开始就定义好最终部署的指标和硬件平台。你要明确目标硬件支持 INT8 还是 INT4推理延迟的目标是多少显存上限是多少。这些指标会反过来决定你蒸馏时的模型规模、K 值选择、温度系数设置、是否要做量化感知训练等一系列决策。等到模型训练完了再考虑部署往往已经来不及了。我在实际踩过几次坑之后现在做蒸馏项目的固定流程是先确定部署硬件和目标指标再确定学生模型架构然后设计数据流水线产出 Top-K 缓存蒸馏训练完成后立刻跑一版 PTQ 验证掉点如果掉点超标再切 QAT 方案。这套流程基本不会出大问题希望对正在踩坑的你有参考价值。 大模型蒸馏到量化部署：离线Top-K与感知训练实战指南
大模型蒸馏这个话题这两年几乎成了工程团队的必修课。模型越做越大算力成本水涨船高但业务方又想要接近大模型的效果怎么办蒸馏是目前公认最务实的一条路。我自己在多个项目的落地过程中把从离线 Top-K 蒸馏到量化感知部署这条链路上能踩的坑基本都踩了一遍今天把完整的选型思路和实操细节整理出来希望对正在做类似选型的团队有帮助。整条链路的核心就一句话先通过离线 Top-K 蒸馏把大模型的能力压缩到小模型上再通过量化感知训练把压缩后的模型进一步压到低比特精度最终部署到推理引擎上跑起来。两个环节单独拎出来都有大量文章在讲但真正把它们串成一条完整的工程链路中间的坑却很少有人系统聊过。这篇内容适合正在做大模型压缩、推理优化、边缘端部署的算法工程师和平台工程师也适合刚接触蒸馏方向但想了解全貌的读者。1. 先想清楚蒸馏到底解决什么问题1.1 为什么不是直接训练小模型很多人刚接触蒸馏时都会问一个问题如果最终要的是一个小模型为什么不直接用小模型架构去训练非要绕一圈先从大模型蒸馏这个问题的答案其实藏在数据分布的差距里。直接训练一个小模型你只有有限的标注数据可用。而大模型在预训练阶段见过海量的文本它的输出空间里包含了很多标注数据里根本没有覆盖到的模式。蒸馏的本质就是用小模型去学习大模型的输出分布而不是只学习标注数据里的硬标签。大模型的 soft label 里带着它对不同候选答案的置信度分布这种分布信息本身就是一种超强的数据增强。举个例子分类任务里硬标签只会告诉模型这张图是猫但大模型的 soft label 可能会告诉模型有 80% 的可能是猫15% 的可能是狐狸5% 的可能是狗。后者隐含了类别之间的相似度结构。小模型在蒸馏过程中学到的不仅是什么是猫还顺带学到了猫和狐狸在某些特征上相近。这种知识迁移是直接训练小模型无论如何都得不到的。1.2 从离线 Top-K 到量化的完整链路设计蒸馏工程选型的第一步不是急着选模型架构而是先把整条链路画出来。我在实际项目里通常把整条链路拆成四个环节数据准备、蒸馏训练、量化压缩、推理部署。每个环节都有自己的技术选型环环相扣前一步做不好后一步全部报废。离线 Top-K 蒸馏属于训练阶段的核心策略它的作用是筛选出最有价值的学习样本。量化感知部署则是压缩与部署阶段的核心目的是让模型在低比特精度下仍然保持良好的效果。这两者其实是有内在衔接关系的蒸馏做得好小模型的分布和大模型足够接近后续量化时掉点就会明显更小。反过来如果蒸馏阶段就马马虎虎到了量化阶段误差会被进一步放大最后模型根本没法用。我在选型时有一条基本原则任何优化技术如果不能在最终部署阶段降低延迟或减少显存那它就是在给团队增加额外负担。所以蒸馏和量化必须放在一起做选型不能分成两个独立项目来评估。2. 离线 Top-K 蒸馏的工程实现2.1 离线 Top-K 到底是怎么运作的离线 Top-K 是知识蒸馏里一个非常实用的工程技巧。传统的在线蒸馏教师模型和学生模型需要同步训练每个 step 都要跑一遍前向计算显存和算力的消耗翻倍。离线蒸馏则是预先用教师模型把所有训练数据的输出全部算好并缓存下来训练学生模型时直接读取缓存即可。Top-K 的逻辑是对于每个输入样本教师模型会输出一个完整的概率分布我们会保留概率最高的 K 个类别的 logits其余全部置为负无穷或直接丢弃。为什么要这么做因为一个完整的词表可能有三五万个 token完整保留所有 logits 会导致缓存文件极其庞大。以千亿参数模型为例一份 1 亿条的蒸馏数据如果保存全量 logits存储空间轻松上百 GB。只保留 Top-K存储可以压缩到原来的十分之一甚至更低。K 的取值是这里面的关键超参。K 太小比如 K1那就退化成硬标签了soft label 的优势完全丢失。K 太大比如 K100存储压力大而且大量低概率 token 的 logits 本身是噪声对训练没有正向帮助。我实测下来文本生成任务里 K 取 20 到 40 之间比较合适分类任务里 K 取 5 到 10 就够了。注意Top-K 的缓存文件不是简单的 pickle 堆在一起建议直接用内存映射格式存储训练时随机读取效率高很多。这块设计不好后面训练时 IO 会成为瓶颈。2.2 数据准备环节的细节离线 Top-K 蒸馏最容易翻车的点不是模型训练而是数据准备阶段没人重视。教师模型推理产 logits 的过程本质上是一次大规模数据生产任务需要单独做成一条数据流水线来管理。首先要解决的是 prompt 的构造标准。同一个训练样本教师模型和学生模型在训练和推理时必须使用完全一致的 prompt 模板。很多团队在蒸馏训练时发现 loss 降不下去最后排查下来是 prompt 模板不统一教师模型用的模板和学生模型微调时用的模板差了几个空格和换行导致 soft label 对应的条件分布被整体偏移了。其次要解决的是动态和静态 Top-K 的问题。离线蒸馏的场景下教师模型的输出是预先算好的所以 Top-K 只能静态截断。但如果 K 选小了某个样本的 Top-K 之外的 logits 被截断学生模型在这个样本上的学习信号会不完整。我的做法是准备一份验证集在正式产缓存前先用小批量数据跑一遍 logits 分布统计一下每个样本有效 token 数落在什么区间再反推一个合理的 K 值。还有一个容易忽略的细节教师模型的输出需要做长度归一化。不同样本的序列长度不同logits 的绝对值范围也可能不同直接混在一起训练学生模型会无所适从。我在实际项目中会记录每条样本的序列长度训练时按长度分桶同一个 batch 内的样本长度尽量一致。2.3 蒸馏训练的关键超参与调试经验蒸馏训练阶段最核心的超参有三个温度系数、蒸馏损失权重、学习率。温度系数 T 的作用是平滑概率分布。T 越高分布越平缓隐含的类别间相似度结构越明显T 越低分布越尖锐越接近硬标签。我在实践中的经验是T 初始值设在 2 到 4 之间训练到中期逐渐降到 1。如果一开始 T 就很低soft label 的优势出不来如果全程保持高 T学生模型学到的分布过于平滑会在一些难样本上犯迷糊。蒸馏损失权重 λ 决定了 soft label 和 hard label 的贡献比例。常见做法是 L λ * L_soft (1-λ) * L_hard。λ 我一般从 0.5 起步逐步涨到 0.8 左右。前期 hard label 保证模型快速收敛到正确的语义空间后期加大 soft label 的比重让模型精细调整输出分布。学习率这块蒸馏训练和普通微调不太一样。教师模型的输出分布相对平滑梯度信号的绝对值偏小如果学习率太低学生模型学得很慢。但如果学习率太高又容易破坏学生模型原有的预训练表征。我在 Llama 系列模型上做蒸馏时学习率一般设在标准微调的 1.5 到 2 倍优化器用 AdamWwarmup 比例在 3% 到 5% 之间。训练过程中要同时盯着蒸馏 loss 和学生模型在目标任务上的指标两者不完全等价。有时候蒸馏 loss 持续下降但下游任务指标不涨反跌这时候大概率是模型过拟合到教师模型的分布上需要降低 λ 或者增加数据多样性。3. 量化感知部署把蒸馏成果压到最后一公里3.1 量化掉点的问题和蒸馏的关系模型量化是部署环节绕不开的坎。FP16 转 INT8 甚至 INT4显存占用和推理延迟能显著下降但精度损失也如影随形。有意思的是蒸馏做得好的模型在量化时掉点往往更小。原因并不复杂。蒸馏后的模型输出分布和大模型高度接近而大模型的输出分布通常比小模型更平滑、更不容易出现极端置信度。平滑的分布在量化时对数值精度不那么敏感。相反如果一个小模型是在硬标签上直接训练的它的 logits 分布会比较尖锐某些维度上的数值跨度很大一旦量化截断误差就会被放大。所以在蒸馏阶段就应该为量化做好准备。训练时可以在损失函数上额外加一项输出分布的平滑约束比如限制 logits 的最大绝对值范围。这个技巧不复杂但对后续量化很有帮助能让校准阶段的数值范围更集中。3.2 量化感知蒸馏的实操方案量化感知蒸馏通俗讲就是在蒸馏训练的过程中模拟量化误差让模型在训练阶段就适应低精度带来的扰动。技术上有两种主流做法第一种是 QAT 式的量化感知蒸馏。在学生模型的 forward 过程中插入伪量化节点把权重和激活值量化到目标精度再反量化回来然后正常计算蒸馏损失。这样梯度可以在模拟的量化误差下回传模型训练结束后权重直接转成 INT8 推理。第二种是蒸馏感知的 PTQ。先正常完成蒸馏训练然后做训练后量化但在校准阶段使用教师模型的输出作为额外的约束条件。具体做法是在校准时让量化后的学生模型输出的分布尽可能接近教师模型在同一批数据上的输出分布通过调整量化参数来最小化两者之间的 KL 散度。两种方案各有适用场景。QAT 的效果上限更高但训练开销大PTQ 更轻量适合快速迭代场景。我个人的建议是如果你的部署时间窗口很紧先用 PTQ 方案跑一版看掉点情况如果掉点超过 1 到 2 个点再上 QAT。注意量化感知蒸馏选择的 calibration 数据集一定不要和蒸馏训练数据完全重叠。否则量化参数会被校准数据带偏出现校准集上精度很好其他数据上崩盘的情况。我一般会留出 20% 的数据单独做校准用途。3.3 不同量化位宽和工具链的选择对比量化位宽的选择直接影响最终部署效果需要结合硬件支持情况来做决策。INT8 是目前支持最广泛的量化位宽几乎所有的推理框架和 GPU 硬件都支持掉点控制在 1% 以内通常问题不大。如果你的目标硬件是 A 卡、V 卡或国产卡INT8 是最稳妥的选择。INT4 是省显存的利器参数量直接砍半但掉点风险也翻倍。量化感知蒸馏做得好INT4 在某些任务上可以把掉点压到 2% 以内但这个结果严重依赖模型架构和数据分布。对于回答短文本生成、代码补全这类模式比较稳定的任务INT4 可以尝试对于开放域长文本生成、多轮对话这类复杂任务建议保守一点先验证 INT4 的效果再决定是否推广。工具链方面主流的推理引擎对量化格式的支持各有侧重。我把几个我实际用过的工具链的特点和适用场景整理成了一个对比表工具链支持精度量化友好度适用场景TensorRT-LLMINT8/INT4/FP8高量化工具链完善NVIDIA GPU 上的低延迟推理vLLMINT8/INT4中依赖外部量化库高吞吐在线服务llama.cppINT8/INT4/INT3高社区生态好CPU 推理和边缘设备HuggingFace OptimumINT8/INT4中封装程度高快速原型验证这里多说一句TensorRT-LLM 的量化支持确实最成熟但它的编译和部署流程也最复杂工程师需要有较强的 C 和 CUDA 基础。vLLM 胜在高效但因为高度依赖社区生态遇到量化格式不兼容的问题时解决成本可能比较高。llama.cpp 在 CPU 推理场景下几乎没有对手但如果你需要 GPU 上的极致吞吐它不是最优解。4. 常见问题与排查技巧实录4.1 蒸馏训练 loss 不下降排查这是我在做蒸馏时遇到最频繁的问题。loss 不降或者降得很慢我的排查顺序是先检查数据加载环节确认缓存文件里的 logits 是否和当前 batch 的样本一一对应。我在一次项目里发现因为缓存文件使用了多进程写入索引发生了错位导致模型在学错误答案的正确分布loss 自然降不下去。数据没有问题之后检查温度系数和学习率。温度系数过高会让分布过于平滑模型区分度不足学习率如果设置得过低会在前几百步看不到明显下降。我一般建议先跑一个 200 步的小实验观察 loss 曲线的走势如果完全没有下降趋势优先调大学习率。最后一个排查点是模型架构本身的容量。如果你的学生模型選得過小比如只有教师模型参数的 1%那你不要指望它能完全拟合教师模型的分布。这时候需要回到选型层面重新评估学生模型的容量是否符合业务要求。4.2 量化后模型输出显著变差的定位步骤量化后效果变差首先需要定位是权重精度问题还是激活值精度问题。方法很简单先把权重保持 FP16只量化激活值再把激活值保持 FP16只量化权重。分别看看哪边的掉点更明显。如果是激活值敏感优先检查是否有极端离群值。我遇到过很多次模型里某些维度的激活值数值在 100 以上而大部分数值集中在 [-5, 5] 区间这会导致量化 scale 被离群值拉大正常数值的精度被严重压缩。解决方案是在蒸馏训练阶段对激活输出做 clip或者使用 per-token 的动态量化方式。如果是权重敏感检查一下蒸馏训练后权重的数值分布。如果某些层的权重方差特别大建议先做一层 layer-wise 的均衡处理再尝试量化。这个方法在很多 Transformer 模型上都有奇效。4.3 蒸馏模型过拟合到教师模型怎么办蒸馏模型最常见的失败模式是在教师模型的分布上拟合得很好但在真实业务数据上表现不佳。这其实是模型的泛化能力被soft label中的噪声带偏了。遇到这种情况我建议做三件事调低蒸馏损失权重 λ增加 hard label 的占比。调整教师模型输出的温度系数让分布更尖锐一些减少过于模糊的概率信号。在训练数据中适当混入一些没有经过教师模型标注的原始数据用纯硬标签训练。我在实际项目中甚至在极端情况下把 λ 降到了 0.3 以下牺牲了一部分蒸馏蒸馏的效果换来了模型在真实场景里更稳定的表现。蒸馏不是越彻底越好需要根据业务场景做平衡。4.4 部署阶段显存和延迟的实测数据最后分享一组我在一个 7B 模型项目上的实测数据。模型经过蒸馏后压缩到了 1.8B 参数再经过 INT8 量化部署到 GPU 上。以下是具体的效果对比环节模型规模显存占用单请求延迟蒸馏前 FP167B约 14GB约 120ms蒸馏后 FP161.8B约 4.5GB约 45ms蒸馏后 INT81.8B约 2.5GB约 28ms蒸馏后 INT41.8B约 1.5GB约 20ms这项项目里蒸馏压缩和量化的整体组合把原来的部署成本降到了五分之一以内模型效果在业务指标上只降低了 1.5 个百分点完全在可接受范围内。5. 结语大模型蒸馏和量化感知部署不是两个孤立的技术点而是一条需要整体规划的工程链路。离线 Top-K 蒸馏解决的是从大模型到小模型的能力迁移效率问题量化感知部署解决的是小模型在真实硬件上的成本和延迟问题。两者环环相扣好的蒸馏结果是好的量化效果的前提。最后分享一个我个人总结的关键经验每次做蒸馏项目一定要从一开始就定义好最终部署的指标和硬件平台。你要明确目标硬件支持 INT8 还是 INT4推理延迟的目标是多少显存上限是多少。这些指标会反过来决定你蒸馏时的模型规模、K 值选择、温度系数设置、是否要做量化感知训练等一系列决策。等到模型训练完了再考虑部署往往已经来不及了。我在实际踩过几次坑之后现在做蒸馏项目的固定流程是先确定部署硬件和目标指标再确定学生模型架构然后设计数据流水线产出 Top-K 缓存蒸馏训练完成后立刻跑一版 PTQ 验证掉点如果掉点超标再切 QAT 方案。这套流程基本不会出大问题希望对正在踩坑的你有参考价值。