简介这份资源面向计算机、人工智能、数据科学等专业的在校学生与教师提供一套基于Bert实现情感分析与文本分类任务的完整Python项目可作为毕业设计、课程设计或大作业的参考方案。压缩包共43个文件约42.14MB以py源码、json配置、xml与png图表、csv数据集及md说明文档为主涵盖数据爬取、预处理、模型训练、情感分析、主题建模与GUI展示等模块目录划分清晰便于按功能检索学习。项目代码经过功能验证可稳定运行并附有数据集与项目说明方便读者理解Bert在中文情感分类中的落地流程。目前已有398人学习下载适合希望从零搭建文本分类项目、掌握数据清洗与模型训练完整链路的入门进阶者也可在此基础上进行二次开发与功能拓展。1. 拿到「Bert 情感分析 文本分类」源码包先别急着 pip install你从压缩包里解压出来的东西大概率长这样一个bert_sentiment/目录里面躺着train.py、predict.py、config.py旁边一个data/文件夹塞着train.csv、test.csv、vocab.txt再加一份 README。很多人第一反应是直接python train.py然后被ModuleNotFoundError或者CUDA out of memory按在地上摩擦。这个标题背后真正要解决的问题不是「Bert 是什么」而是「我怎么用一份现成的 Python 源码和数据集把 Bert 跑起来做情感分析和文本分类并且知道每一步在干什么」。它适合两类人一是刚学完 Python 基础、想拿一个完整项目练手的入门者二是已经会调 sklearn但没碰过预训练模型、想搞清楚 Bert 微调到底怎么落地的从业者。热搜里「bert 参数下载」「vscode python 环境配置」「python安装教程」这些词恰恰说明卡住大多数人的不是模型本身而是环境和权重这两道门槛。这一章先把整个方案的骨架讲清楚后面几章再一层层拆开。2. 环境、权重、数据跑通 Bert 文本分类前的三件硬事2.1 用 conda 建一个不污染全局的 Python 环境我一般不会在系统 Python 上直接装 torch 和 transformers因为版本冲突是玄学翻车的高发区。源码包里的requirements.txt通常只写了大版本号比如torch1.8、transformers4.0但实际跑起来torch 和 transformers 的版本必须对得上否则BertModel.from_pretrained会报一些看不懂的 key 错误。# 创建独立环境python 版本建议 3.8 到 3.10 conda create -n bert_cls python3.9 -y conda activate bert_cls # 先装 torchCPU 版够跑通有显卡再换 cu 版本 pip install torch1.13.1 --index-url https://download.pytorch.org/whl/cpu # 再装 transformers 和数据处理常用库 pip install transformers4.26.1 pandas scikit-learn numpy tqdm逻辑说明先建环境是为了隔离避免和你机器上已有的项目打架。torch 单独指定 index-url 是因为默认源有时候拉不到对应版本。transformers 锁 4.26 是我踩过坑之后的选择这个版本对 Bert 的 API 稳定BertTokenizer和BertForSequenceClassification的调用方式和网上大多数教程一致。参数上python3.9是兼容性最好的区间3.11 以上有些老源码里的collections.Iterable会直接报错。提示如果你用 vscode装完环境后按CtrlShiftP选Python: Select Interpreter指向bert_cls环境下的 python否则终端里跑通了、编辑器里还是飘红。2.2 Bert 权重从哪来本地加载和在线加载的取舍源码包里如果带了bert-base-chinese/这样的文件夹里面有pytorch_model.bin、config.json、vocab.txt那是最省事的直接本地加载。如果没带就得让 transformers 自己去下。国内网络环境下在线拉权重经常卡住常见做法是提前把权重下好放到项目目录然后代码里写相对路径。from transformers import BertTokenizer, BertForSequenceClassification import torch # 本地权重路径指向解压出来的 bert-base-chinese 文件夹 MODEL_PATH ./bert-base-chinese tokenizer BertTokenizer.from_pretrained(MODEL_PATH) model BertForSequenceClassification.from_pretrained( MODEL_PATH, num_labels2 # 二分类情感分析正面/负面 ) # 确认权重加载成功打印分类头形状 print(model.classifier.weight.shape) # 应该是 torch.Size([2, 768])逻辑说明BertTokenizer负责把中文句子切成 Bert 认识的 tokenBertForSequenceClassification在 Bert 主体后面接了一个线性分类头。num_labels2是情感分析最常见的设置如果是三分类正面/中性/负面就改成 3。打印classifier.weight.shape是为了确认分类头真的按你的类别数初始化了而不是默认的 2 类。参数上MODEL_PATH必须指向包含config.json和vocab.txt的目录少一个都会报错。注意如果源码里写的是bert-base-chinese这种在线名称而你又没网就会卡在下载。把权重文件夹放到项目根目录然后把代码里的名称改成./bert-base-chinese是最稳的后悔药。2.3 数据集长什么样先看列名再写 Dataset情感分析的 CSV 通常两列text和label。文本分类可能是多列比如content和category。别急着套代码先用 pandas 看一眼。import pandas as pd df pd.read_csv(./data/train.csv) print(df.columns.tolist()) print(df.head(3)) print(df[label].value_counts())逻辑说明columns.tolist()告诉你列名到底叫text还是sentence这决定了后面 Dataset 里取哪一列。value_counts()看类别是否均衡如果正面 9000 条、负面 1000 条直接训练模型会偏向多数类准确率虚高。参数上如果列名和源码里写的不一致要么改 CSV 表头要么改源码里的字段名我一般选择改源码因为改数据容易把编码搞乱。from torch.utils.data import Dataset class SentimentDataset(Dataset): def __init__(self, texts, labels, tokenizer, max_len128): self.texts texts self.labels labels self.tokenizer tokenizer self.max_len max_len def __len__(self): return len(self.texts) def __getitem__(self, idx): encoding self.tokenizer( self.texts[idx], max_lengthself.max_len, paddingmax_length, truncationTrue, return_tensorspt ) return { input_ids: encoding[input_ids].squeeze(0), attention_mask: encoding[attention_mask].squeeze(0), labels: torch.tensor(self.labels[idx], dtypetorch.long) }逻辑说明max_length128是中文短文本的常用值超过 128 个 token 的句子会被截断。paddingmax_length保证一个 batch 里所有样本长度一致不然 collate 会报错。truncationTrue是必须的否则长文本会直接抛异常。参数上如果你的文本平均长度超过 200把max_len调到 256但显存占用会翻倍自己权衡。3. 训练脚本怎么改从 DataLoader 到 optimizer 的逐行拆解3.1 DataLoader 的 batch_size 和 shuffle 怎么定from torch.utils.data import DataLoader train_dataset SentimentDataset( textsdf[text].tolist(), labelsdf[label].tolist(), tokenizertokenizer, max_len128 ) train_loader DataLoader( train_dataset, batch_size16, shuffleTrue, num_workers0 )逻辑说明batch_size16是 8G 显存下跑 bert-base 的安全值显存大可以上 32。shuffleTrue只在训练集开验证集和测试集必须关掉否则评估结果没有意义。num_workers0在 Windows 上最稳Linux 可以设 2 或 4 加速数据加载。参数上如果你发现 GPU 利用率很低、大部分时间在等数据就把num_workers调大如果报BrokenPipeError就调回 0。3.2 优化器和学习率Bert 微调不能用默认 1e-3from transformers import AdamW from torch.optim import lr_scheduler EPOCHS 3 LR 2e-5 optimizer AdamW(model.parameters(), lrLR) total_steps len(train_loader) * EPOCHS scheduler lr_scheduler.LinearLR( optimizer, start_factor1.0, end_factor0.0, total_iterstotal_steps )逻辑说明Bert 微调的学习率要比从头训练小两个数量级2e-5是经典值5e-5是上限再大就容易把预训练权重冲垮表现为 loss 震荡不下降。AdamW比普通Adam多了权重衰减的正确实现是 transformers 里的标配。LinearLR让学习率从初始值线性降到 0训练后期更稳。参数上EPOCHS3对大多数情感分析任务够用超过 5 轮基本过拟合验证集 loss 会先降后升。3.3 训练循环里必须打印的三个量device torch.device(cuda if torch.cuda.is_available() else cpu) model.to(device) for epoch in range(EPOCHS): model.train() total_loss 0 for batch in train_loader: input_ids batch[input_ids].to(device) attention_mask batch[attention_mask].to(device) labels batch[labels].to(device) optimizer.zero_grad() outputs model( input_idsinput_ids, attention_maskattention_mask, labelslabels ) loss outputs.loss loss.backward() optimizer.step() scheduler.step() total_loss loss.item() avg_loss total_loss / len(train_loader) print(fEpoch {epoch1} | train_loss{avg_loss:.4f} | lr{scheduler.get_last_lr()[0]:.2e})逻辑说明model.train()开启 dropout 和 batch norm 的训练模式忘了写会导致结果异常。optimizer.zero_grad()必须在 backward 之前否则梯度会累加。scheduler.step()每个 batch 调一次配合LinearLR实现逐步降学习率。打印train_loss和当前lr是为了判断训练是否正常loss 不降说明学习率太大或数据有问题loss 降得太快可能是标签泄漏。参数上attention_mask必须传给模型否则 padding 位置也会参与注意力计算效果会掉。4. 避坑与排查Bert 文本分类最常见的 5 个翻车现场4.1 报错CUDA out of memory但显存明明够现象batch_size 设成 8 还是 OOMnvidia-smi 看显存占用不高。原因PyTorch 缓存分配器没有及时释放或者上一次训练的残留进程还占着显存。解决先torch.cuda.empty_cache()再检查有没有僵尸进程nvidia-smi看 PID 然后 kill。如果还不行把max_len从 128 降到 64显存占用直接减半。4.2 验证集准确率 99%测试集只有 60%现象训练时验证集表现极好一换测试集就崩。原因训练集和验证集是从同一批数据随机切的分布太像而测试集是另一批来源。解决切分时用train_test_split的stratify参数保证类别比例并且尽量让测试集来自不同时间段或不同渠道。如果测试集实在差太多说明数据本身有分布偏移不是模型的问题。4.3 中文分词后全是[UNK]现象tokenizer.tokenize(这个产品很好用)返回一堆[UNK]。原因加载的vocab.txt是英文 Bert 的不是中文的。解决确认MODEL_PATH下的vocab.txt里有中文字符bert-base-chinese的 vocab 大小是 21128英文的是 30522。参数上中文 Bert 的vocab_size必须和config.json里的vocab_size一致不一致会报 embedding 维度错误。4.4 loss 一直是 0.693模型什么都没学到现象二分类的 loss 卡在 0.693 不动准确率 50%。原因num_labels设成了 1或者标签全是 0。解决检查model.config.num_labels是不是 2检查df[label].unique()是不是只有一类。如果标签是 0/1 但被读成了字符串torch.tensor会报错需要先astype(int)。4.5 预测时每次结果都不一样现象同一条文本model.predict()两次结果不同。原因忘了model.eval()dropout 还在起作用。解决预测前加model.eval()并且用with torch.no_grad():包住推理过程既关 dropout 又省显存。参数上torch.no_grad()不影响结果只是不计算梯度推理速度会快 20% 左右。5. 从跑通到用好让 Bert 情感分析真正能上线的两个技巧5.1 用pipeline做快速验证但别用它上生产transformers 提供了一个极简的pipeline接口三行代码就能做情感分析from transformers import pipeline clf pipeline(sentiment-analysis, model./bert-base-chinese, tokenizer./bert-base-chinese) print(clf(这个电影太好看了))逻辑说明pipeline自动处理了 tokenize、推理、softmax 和标签映射适合快速验证权重有没有加载对。但它默认的max_length是 512而且不支持批量推理生产环境 QPS 一高就崩。参数上pipeline的device0可以指定 GPUbatch_size32可以开批量但需要自己包一层。5.2 用torch.jit或 ONNX 导出把推理速度提上去如果要把模型部署成 APIPyTorch 原生推理的 overhead 不小。我一般会导出 ONNXimport torch.onnx model.eval() dummy_input torch.randint(0, 21128, (1, 128)).to(device) dummy_mask torch.ones((1, 128)).to(device) torch.onnx.export( model, (dummy_input, dummy_mask), bert_sentiment.onnx, input_names[input_ids, attention_mask], output_names[logits], dynamic_axes{input_ids: {0: batch}, attention_mask: {0: batch}}, opset_version11 )逻辑说明dummy_input是模拟一个 batch 的输入dynamic_axes让导出的模型支持变长 batch。opset_version11是兼容性最好的版本。导出后用onnxruntime推理CPU 上也能比原生 PyTorch 快 2 到 3 倍。参数上dummy_input的第二个维度必须和训练时的max_len一致否则导出的模型输入形状对不上。5.3 一个我踩过的坑别在训练脚本里做数据增强我试过在 Dataset 里对文本做同义词替换增强结果验证集准确率反而掉了 5 个点。原因是 Bert 的 tokenizer 对替换后的词切分方式变了模型看到的分布和预训练时不一致。后来改成只在数据量极少少于 500 条时才做增强并且用回译而不是同义词替换才稳住。这个习惯我一直保留先跑通 baseline再考虑增强别一上来就加花活。希望帮到你。本文还有配套的精品资源点击获取 Bert情感分析实战：从源码包到部署的完整指南
简介这份资源面向计算机、人工智能、数据科学等专业的在校学生与教师提供一套基于Bert实现情感分析与文本分类任务的完整Python项目可作为毕业设计、课程设计或大作业的参考方案。压缩包共43个文件约42.14MB以py源码、json配置、xml与png图表、csv数据集及md说明文档为主涵盖数据爬取、预处理、模型训练、情感分析、主题建模与GUI展示等模块目录划分清晰便于按功能检索学习。项目代码经过功能验证可稳定运行并附有数据集与项目说明方便读者理解Bert在中文情感分类中的落地流程。目前已有398人学习下载适合希望从零搭建文本分类项目、掌握数据清洗与模型训练完整链路的入门进阶者也可在此基础上进行二次开发与功能拓展。1. 拿到「Bert 情感分析 文本分类」源码包先别急着 pip install你从压缩包里解压出来的东西大概率长这样一个bert_sentiment/目录里面躺着train.py、predict.py、config.py旁边一个data/文件夹塞着train.csv、test.csv、vocab.txt再加一份 README。很多人第一反应是直接python train.py然后被ModuleNotFoundError或者CUDA out of memory按在地上摩擦。这个标题背后真正要解决的问题不是「Bert 是什么」而是「我怎么用一份现成的 Python 源码和数据集把 Bert 跑起来做情感分析和文本分类并且知道每一步在干什么」。它适合两类人一是刚学完 Python 基础、想拿一个完整项目练手的入门者二是已经会调 sklearn但没碰过预训练模型、想搞清楚 Bert 微调到底怎么落地的从业者。热搜里「bert 参数下载」「vscode python 环境配置」「python安装教程」这些词恰恰说明卡住大多数人的不是模型本身而是环境和权重这两道门槛。这一章先把整个方案的骨架讲清楚后面几章再一层层拆开。2. 环境、权重、数据跑通 Bert 文本分类前的三件硬事2.1 用 conda 建一个不污染全局的 Python 环境我一般不会在系统 Python 上直接装 torch 和 transformers因为版本冲突是玄学翻车的高发区。源码包里的requirements.txt通常只写了大版本号比如torch1.8、transformers4.0但实际跑起来torch 和 transformers 的版本必须对得上否则BertModel.from_pretrained会报一些看不懂的 key 错误。# 创建独立环境python 版本建议 3.8 到 3.10 conda create -n bert_cls python3.9 -y conda activate bert_cls # 先装 torchCPU 版够跑通有显卡再换 cu 版本 pip install torch1.13.1 --index-url https://download.pytorch.org/whl/cpu # 再装 transformers 和数据处理常用库 pip install transformers4.26.1 pandas scikit-learn numpy tqdm逻辑说明先建环境是为了隔离避免和你机器上已有的项目打架。torch 单独指定 index-url 是因为默认源有时候拉不到对应版本。transformers 锁 4.26 是我踩过坑之后的选择这个版本对 Bert 的 API 稳定BertTokenizer和BertForSequenceClassification的调用方式和网上大多数教程一致。参数上python3.9是兼容性最好的区间3.11 以上有些老源码里的collections.Iterable会直接报错。提示如果你用 vscode装完环境后按CtrlShiftP选Python: Select Interpreter指向bert_cls环境下的 python否则终端里跑通了、编辑器里还是飘红。2.2 Bert 权重从哪来本地加载和在线加载的取舍源码包里如果带了bert-base-chinese/这样的文件夹里面有pytorch_model.bin、config.json、vocab.txt那是最省事的直接本地加载。如果没带就得让 transformers 自己去下。国内网络环境下在线拉权重经常卡住常见做法是提前把权重下好放到项目目录然后代码里写相对路径。from transformers import BertTokenizer, BertForSequenceClassification import torch # 本地权重路径指向解压出来的 bert-base-chinese 文件夹 MODEL_PATH ./bert-base-chinese tokenizer BertTokenizer.from_pretrained(MODEL_PATH) model BertForSequenceClassification.from_pretrained( MODEL_PATH, num_labels2 # 二分类情感分析正面/负面 ) # 确认权重加载成功打印分类头形状 print(model.classifier.weight.shape) # 应该是 torch.Size([2, 768])逻辑说明BertTokenizer负责把中文句子切成 Bert 认识的 tokenBertForSequenceClassification在 Bert 主体后面接了一个线性分类头。num_labels2是情感分析最常见的设置如果是三分类正面/中性/负面就改成 3。打印classifier.weight.shape是为了确认分类头真的按你的类别数初始化了而不是默认的 2 类。参数上MODEL_PATH必须指向包含config.json和vocab.txt的目录少一个都会报错。注意如果源码里写的是bert-base-chinese这种在线名称而你又没网就会卡在下载。把权重文件夹放到项目根目录然后把代码里的名称改成./bert-base-chinese是最稳的后悔药。2.3 数据集长什么样先看列名再写 Dataset情感分析的 CSV 通常两列text和label。文本分类可能是多列比如content和category。别急着套代码先用 pandas 看一眼。import pandas as pd df pd.read_csv(./data/train.csv) print(df.columns.tolist()) print(df.head(3)) print(df[label].value_counts())逻辑说明columns.tolist()告诉你列名到底叫text还是sentence这决定了后面 Dataset 里取哪一列。value_counts()看类别是否均衡如果正面 9000 条、负面 1000 条直接训练模型会偏向多数类准确率虚高。参数上如果列名和源码里写的不一致要么改 CSV 表头要么改源码里的字段名我一般选择改源码因为改数据容易把编码搞乱。from torch.utils.data import Dataset class SentimentDataset(Dataset): def __init__(self, texts, labels, tokenizer, max_len128): self.texts texts self.labels labels self.tokenizer tokenizer self.max_len max_len def __len__(self): return len(self.texts) def __getitem__(self, idx): encoding self.tokenizer( self.texts[idx], max_lengthself.max_len, paddingmax_length, truncationTrue, return_tensorspt ) return { input_ids: encoding[input_ids].squeeze(0), attention_mask: encoding[attention_mask].squeeze(0), labels: torch.tensor(self.labels[idx], dtypetorch.long) }逻辑说明max_length128是中文短文本的常用值超过 128 个 token 的句子会被截断。paddingmax_length保证一个 batch 里所有样本长度一致不然 collate 会报错。truncationTrue是必须的否则长文本会直接抛异常。参数上如果你的文本平均长度超过 200把max_len调到 256但显存占用会翻倍自己权衡。3. 训练脚本怎么改从 DataLoader 到 optimizer 的逐行拆解3.1 DataLoader 的 batch_size 和 shuffle 怎么定from torch.utils.data import DataLoader train_dataset SentimentDataset( textsdf[text].tolist(), labelsdf[label].tolist(), tokenizertokenizer, max_len128 ) train_loader DataLoader( train_dataset, batch_size16, shuffleTrue, num_workers0 )逻辑说明batch_size16是 8G 显存下跑 bert-base 的安全值显存大可以上 32。shuffleTrue只在训练集开验证集和测试集必须关掉否则评估结果没有意义。num_workers0在 Windows 上最稳Linux 可以设 2 或 4 加速数据加载。参数上如果你发现 GPU 利用率很低、大部分时间在等数据就把num_workers调大如果报BrokenPipeError就调回 0。3.2 优化器和学习率Bert 微调不能用默认 1e-3from transformers import AdamW from torch.optim import lr_scheduler EPOCHS 3 LR 2e-5 optimizer AdamW(model.parameters(), lrLR) total_steps len(train_loader) * EPOCHS scheduler lr_scheduler.LinearLR( optimizer, start_factor1.0, end_factor0.0, total_iterstotal_steps )逻辑说明Bert 微调的学习率要比从头训练小两个数量级2e-5是经典值5e-5是上限再大就容易把预训练权重冲垮表现为 loss 震荡不下降。AdamW比普通Adam多了权重衰减的正确实现是 transformers 里的标配。LinearLR让学习率从初始值线性降到 0训练后期更稳。参数上EPOCHS3对大多数情感分析任务够用超过 5 轮基本过拟合验证集 loss 会先降后升。3.3 训练循环里必须打印的三个量device torch.device(cuda if torch.cuda.is_available() else cpu) model.to(device) for epoch in range(EPOCHS): model.train() total_loss 0 for batch in train_loader: input_ids batch[input_ids].to(device) attention_mask batch[attention_mask].to(device) labels batch[labels].to(device) optimizer.zero_grad() outputs model( input_idsinput_ids, attention_maskattention_mask, labelslabels ) loss outputs.loss loss.backward() optimizer.step() scheduler.step() total_loss loss.item() avg_loss total_loss / len(train_loader) print(fEpoch {epoch1} | train_loss{avg_loss:.4f} | lr{scheduler.get_last_lr()[0]:.2e})逻辑说明model.train()开启 dropout 和 batch norm 的训练模式忘了写会导致结果异常。optimizer.zero_grad()必须在 backward 之前否则梯度会累加。scheduler.step()每个 batch 调一次配合LinearLR实现逐步降学习率。打印train_loss和当前lr是为了判断训练是否正常loss 不降说明学习率太大或数据有问题loss 降得太快可能是标签泄漏。参数上attention_mask必须传给模型否则 padding 位置也会参与注意力计算效果会掉。4. 避坑与排查Bert 文本分类最常见的 5 个翻车现场4.1 报错CUDA out of memory但显存明明够现象batch_size 设成 8 还是 OOMnvidia-smi 看显存占用不高。原因PyTorch 缓存分配器没有及时释放或者上一次训练的残留进程还占着显存。解决先torch.cuda.empty_cache()再检查有没有僵尸进程nvidia-smi看 PID 然后 kill。如果还不行把max_len从 128 降到 64显存占用直接减半。4.2 验证集准确率 99%测试集只有 60%现象训练时验证集表现极好一换测试集就崩。原因训练集和验证集是从同一批数据随机切的分布太像而测试集是另一批来源。解决切分时用train_test_split的stratify参数保证类别比例并且尽量让测试集来自不同时间段或不同渠道。如果测试集实在差太多说明数据本身有分布偏移不是模型的问题。4.3 中文分词后全是[UNK]现象tokenizer.tokenize(这个产品很好用)返回一堆[UNK]。原因加载的vocab.txt是英文 Bert 的不是中文的。解决确认MODEL_PATH下的vocab.txt里有中文字符bert-base-chinese的 vocab 大小是 21128英文的是 30522。参数上中文 Bert 的vocab_size必须和config.json里的vocab_size一致不一致会报 embedding 维度错误。4.4 loss 一直是 0.693模型什么都没学到现象二分类的 loss 卡在 0.693 不动准确率 50%。原因num_labels设成了 1或者标签全是 0。解决检查model.config.num_labels是不是 2检查df[label].unique()是不是只有一类。如果标签是 0/1 但被读成了字符串torch.tensor会报错需要先astype(int)。4.5 预测时每次结果都不一样现象同一条文本model.predict()两次结果不同。原因忘了model.eval()dropout 还在起作用。解决预测前加model.eval()并且用with torch.no_grad():包住推理过程既关 dropout 又省显存。参数上torch.no_grad()不影响结果只是不计算梯度推理速度会快 20% 左右。5. 从跑通到用好让 Bert 情感分析真正能上线的两个技巧5.1 用pipeline做快速验证但别用它上生产transformers 提供了一个极简的pipeline接口三行代码就能做情感分析from transformers import pipeline clf pipeline(sentiment-analysis, model./bert-base-chinese, tokenizer./bert-base-chinese) print(clf(这个电影太好看了))逻辑说明pipeline自动处理了 tokenize、推理、softmax 和标签映射适合快速验证权重有没有加载对。但它默认的max_length是 512而且不支持批量推理生产环境 QPS 一高就崩。参数上pipeline的device0可以指定 GPUbatch_size32可以开批量但需要自己包一层。5.2 用torch.jit或 ONNX 导出把推理速度提上去如果要把模型部署成 APIPyTorch 原生推理的 overhead 不小。我一般会导出 ONNXimport torch.onnx model.eval() dummy_input torch.randint(0, 21128, (1, 128)).to(device) dummy_mask torch.ones((1, 128)).to(device) torch.onnx.export( model, (dummy_input, dummy_mask), bert_sentiment.onnx, input_names[input_ids, attention_mask], output_names[logits], dynamic_axes{input_ids: {0: batch}, attention_mask: {0: batch}}, opset_version11 )逻辑说明dummy_input是模拟一个 batch 的输入dynamic_axes让导出的模型支持变长 batch。opset_version11是兼容性最好的版本。导出后用onnxruntime推理CPU 上也能比原生 PyTorch 快 2 到 3 倍。参数上dummy_input的第二个维度必须和训练时的max_len一致否则导出的模型输入形状对不上。5.3 一个我踩过的坑别在训练脚本里做数据增强我试过在 Dataset 里对文本做同义词替换增强结果验证集准确率反而掉了 5 个点。原因是 Bert 的 tokenizer 对替换后的词切分方式变了模型看到的分布和预训练时不一致。后来改成只在数据量极少少于 500 条时才做增强并且用回译而不是同义词替换才稳住。这个习惯我一直保留先跑通 baseline再考虑增强别一上来就加花活。希望帮到你。本文还有配套的精品资源点击获取