
在深度学习、大模型落地、NLP算法面试中学习范式的区分是高频重难点。很多同学容易混淆自监督和无监督的区别、主动学习是不是半监督、弱监督和自训练怎么区分、迁移学习和微调的关联等。本文是对7种核心机器学习范式的梳理。一、前置核心分类逻辑所有机器学习范式核心差异只围绕三个维度标签来源人工标注 / 数据自生成伪标签 / 模型生成伪标签 / 弱 noisy 标签数据使用方式仅标注数据 / 标注无标注混用 / 迭代筛选标注训练目标拟合任务、学习数据分布、迁移通用能力、降低标注成本先记住终极底层区别谁提供监督信号、怎么利用无标注数据、是否迭代扩充标注集。二、七大范式逐一带懂定义核心场景误区1. 有监督学习Supervised Learning核心定义使用人工精准标注的成对数据输入真实标签训练模型让模型学习输入到目标输出的映射关系。核心特点监督信号人工真实标签质量高、无噪声数据全部为标注数据无标注数据不参与训练目标拟合具体下游任务实战场景传统CV图像分类、目标检测NLPPOS词性标注、NER命名实体识别、文本分类大模型SFT有监督微调prompt-response人工标注对优缺点效果精准但标注成本极高海量数据难以落地。2. 自监督学习Self-Supervised Learning, SSL核心定义属于无人工标注的监督学习无需人工标签从原始数据中自动构造伪标签通过预训练任务学习数据底层分布与通用特征。核心特点监督信号数据自身生成伪标签无人工参与数据海量无标注原始数据目标学习通用语义、语法、视觉特征不绑定具体下游任务实战场景LLM基座预训练GPT系列下一个token预测、BERT掩码预测CVMAE图像掩码重构、CLIP图文匹配关键误区自监督 ≠ 无监督学习。无监督是聚类、降维无预测任务自监督是有预测任务、有伪标签的专属范式。3. 半监督学习Semi-Supervised Learning核心定义同时使用少量人工标注数据 大量无标注数据联合训练用少量精准标签引导模型利用无标注数据优化数据分布建模能力。核心特点无标注数据不经过人工标注直接参与训练核心手段模型生成伪标签、一致性正则化等FixMatch、Mean Teacher标注集固定不会人工新增标注样本一句话总结人标少量数据模型自己“自学”大量无标注数据。4. 主动学习Active Learning核心定义一种智能样本筛选策略而非独立学习范式。在标注预算有限时从无标注池中挑选信息量最大、不确定性最高的样本交给人工标注后迭代加入训练集。核心流程少量标注数据训模型 → 筛选高价值无标注样本 → 人工标注 → 扩充训练集迭代训练核心特点无标注样本不会直接训练必须人工打标后才能使用核心目标用最少标注成本最大化模型效果重点面试结论主动学习不属于半监督学习。二者维度不同半监督是数据训练范式主动学习是标注采样策略可组合使用。5. 弱监督学习Weakly Supervised Learning核心定义使用不精准、不完整、有噪声、粗粒度的监督信号训练模型替代昂贵的精准人工标注。弱标签三类形态不完整只有文档级标签无token/像素级标签如文本整体情感无分句标签不精准标签存在错误、噪声粗粒度标签粒度远粗于任务需求实战场景远程监督关系抽取、海量舆情粗分类、无精细标注的工业数据建模。核心区别半监督是“无标签”弱监督是“有标签但标签质量差”。6. 自训练Self-Training核心定义最简单、最经典的半监督实现算法。先用少量标注数据训初始模型再用模型给无标注数据打伪标签筛选高置信度样本并入训练集迭代训练。核心流程标注数据训模型 → 模型给无标注数据打伪标签 → 筛选高置信样本 → 重新训练关键区分自训练是具体算法半监督是范式大类主动学习是人工迭代标数据自训练是模型自动标数据7. 迁移学习Transfer Learning核心定义将模型在源域、源任务上学到的通用知识迁移到目标域、目标任务解决目标任务数据少、训练难的问题。核心逻辑不用从零训练复用预训练基座知识。LLM完整链路迁移学习落地典范源任务自监督预训练海量文本学习通用语言能力迁移到目标任务SFT、NER、POS、文本分类等下游任务微调核心价值大幅降低下游任务数据需求、训练成本、收敛难度。三、核心范式终极对比表面试直接背学习范式监督信号来源无标注数据用法核心目标有监督学习人工精准标签不使用精准拟合下游任务自监督学习数据自动生成伪标签全量使用学习通用数据分布半监督学习少量人工标签模型伪标签直接参与训练利用无标注提升泛化主动学习迭代新增人工标签筛选后人工标注再使用降低标注成本弱监督学习粗粒度/噪声/不完整弱标签一般不使用规避高精度标注成本自训练人工标签模型高置信伪标签模型打标后使用低成本扩充训练数据迁移学习跨任务知识迁移视场景而定复用通用能力适配新任务四、高频易错边界区分面试必问1. 主动学习 vs 半监督学习主动学习找人标数据无标注→人工标注→有标注半监督学习模型自学数据无标注不经过人工直接用伪标签训练结论二者无归属关系可叠加使用。2. 自监督 vs 自训练自监督伪标签数据自生预测下一个token、掩码预测预训练阶段自训练伪标签模型生成下游微调半监督方案3. 半监督 vs 弱监督半监督数据有有标签无标签弱监督数据全部有标签但标签质量差4. SFT、POS、NER 所属范式预训练GPT/BERT自监督学习SFT、POS词性标注、NER命名实体识别有监督学习五、LLM完整训练链路全范式串联自监督预训练学通用知识→迁移学习迁移基座能力→有监督SFT微调对齐人类指令→ 可选半监督/自训练扩充数据/主动学习筛选高质量标注/弱监督处理低成本粗数据→ RLHF强化学习对齐偏好六、全文终极总结有监督人工精准标签任务效果最优、成本最高自监督数据自造伪标签大模型预训练核心半监督/自训练模型利用无标注数据低成本提升泛化能力主动学习智能选样本精准节约标注成本弱监督用劣质标签替代精准标注适配海量低成本数据迁移学习跨任务复用知识是所有微调任务的底层逻辑。