简介这是一套基于Python机器学习实现的高分毕业设计项目聚焦电商淘宝商品评论情感分析评审分为97分面向计算机相关专业的学生与从业者可直接用于毕业设计、期末课程设计或课程大作业。项目覆盖完整分析链路使用Selenium模拟真实登录抓取淘宝评论对评论文本进行去除标点、去除‘666’‘好好好’等无意义词的数据清洗再通过jieba精确模式分词并构造词典完成词汇向量化最后对比SVM与传统LSTM分类模型的训练效果。压缩包共43个文件整体大小约66.68MB类型上以14个Python源码文件为核心配合7个CSV数据集、4个NumPy向量文件、3个Pickle模型文件、2个H5模型权重以及Excel标注数据等代码与数据分离、目录清晰且经过严格调试运行无误。项目还附带GUI交互界面和训练好的词向量模型、分类模型可快速输出情感判断结果。目前已有382人学习下载对希望快速上手情感分析项目、参考完整毕设代码结构或进行模型对比实验的同学非常有帮助。1. 从一条差评到高分项目电商淘宝商品评论情感分析到底在做什么一条商品评论“质量一般发货倒是挺快的”到底是好评还是差评如果按星级打分它可能是三颗星但按文本情感倾向它包含“中性偏负”与“物流正面”两种粒度。毕业设计里最常见的做法是把这个问题定义成一个有监督文本分类任务给定一条评论文本预测其情感极性正面、负面、中性或更细的星级。围绕这个定义展开的完整链路——数据获取、清洗、标注、文本向量化、机器学习模型训练、评估与可视化——恰好覆盖了 Python 基础语法、pandas 数据处理、scikit-learn 机器学习建模、jieba 中文分词、Flask Web 展示等多个高频考核点这也是电商淘宝商品评论情感分析成为经久不衰的 Python 毕业设计选题的原因。这篇博文不假设你手里已经有那份“高分项目源码包”而是从拿到标题到自己能独立复现一套可答辩、可扩展、可讲清楚原理的完整方案。2. 情感分析的技术脉络与毕设选型理由词典法 vs 机器学习法2.1 语义倾向等级与任务定义评论极性判断不过是分类问题把评论“面料摸起来很舒服但是袖子有点短”扔给一个没有背景知识的人他会先判断局部情感面料舒服是正面袖子短是负面。如果限定任务只需要一个整体结论那么这条评论更可能被标成中性或负面偏中性。这里就引出了情感分析任务的天花板粒度。按建模粒度可以把情感分析分成三个层级。文档级Document-level整条评论只有一个情感标签适合商品评价、影评粗粒度分析。句子级Sentence-level把评论按标点拆成多个子句分别判断情感适合短文本舆情分析。方面级Aspect-level识别“面料”“袖子”等评价对象再对每个对象分别判断情感这是目前工业界的常用做法之一。毕业设计选用文档级或句子级最容易出成果。原因很简单方面级需要额外的方面抽取与观点配对步骤把问题从一个分类任务扩展成了序列标注任务数据标注成本和算法复杂度都会明显上升。机器学习解决这个问题的基本思路是把文本变成向量再把向量交给分类器学习“特征到情感标签”的映射。公式化表达就是 $y f(\mathbf{x})$其中 $\mathbf{x}$ 是文本的向量表示$y \in {0, 1, 2}$负、中、正。这本质上和识别垃圾邮件没有区别只是文本预处理和特征提取的侧重点不同。2.2 基于词典的情感分析与基于机器学习的情感分析两条路线的对比在做技术选型时很多应届生第一反应是“用情感词典打分”——把评论里的每个词与一个预置的情感词典匹配命中正面词加分、负面词减分最后按总分判断极性。这条路线的优点是不需要标注数据拿到词典就能跑缺点是严重依赖词典覆盖度遇到“绝绝子”“踩雷”“种草机”这种电商新词和口语化表达很容易失分。基于机器学习的路线与之形成鲜明对比维度词典法机器学习法数据需求情感词典无需标注需要已标注语料通常 3000 条新词处理词典未收录则失效TF-IDF 按出现频率捕获但低频词权重不稳领域迁移换领域需换词典换领域需重新标注部分数据可解释性分值直观依赖模型逻辑回归和决策树可解释性尚可扩展性难扩展多分类可直接扩展到 5 星级预测适合场景无标注数据的冷启动毕设要展示算法功底和企业落地可行性从毕设评审的角度看机器学习的路线有更清晰的“建模—训练—评估”叙事结构。评审老师往往更关注你是否理解损失函数、为什么用 TF-IDF、怎么解决样本不均衡这些问题在词典法体系内几乎无法展开。因此即使选题名字没有强调机器学习主流也建议走“机器学习为主、词典法作为对比基线”的方案这样一章讲对比实验一章讲模型优化论文体量立刻充实起来。2.3 为什么电商评论适合走机器学习路线数据可得性与 Python 生态电商淘宝评论有几个其他文本领域不具备的优势。一是短文本居多多数评论在 20 到 60 个字符之间分词和向量化的计算开销小模型训练在普通笔记本上秒级完成不需要 GPU。二是标签天然可弱监督标注评论的星级评分可以当作情感标签的近似值用“4 星以上为正面、2 星以下为负面、3 星为中性”这种映射规则批量构造训练集再人工抽检修正。三是 Python 生态里 scikit-learn、jieba、pandas、Flask 都是成熟到可以闭眼用的工具链任何一个环节出问题都能在 Stack Overflow 或 CSDN 上找到现成答案。3. 数据从哪来淘宝商品评论爬取、去重与人工标注3.1 电商评论数据获取的可行路径开放数据集、爬虫接口与合规边界首先明确一点淘宝 Web 端评论接口的请求参数与响应结构随时可能变化而且需要登录态。常见的做法并不是对淘宝发起大规模爬虫而是退而求其次选择“抓取少量评论 公开语料补足”的组合策略。推荐三个数据来源阿里天池的“淘宝穿衣搭配推荐”等公开数据集但不是每个都带评论文本需要先下载后筛选。京东、苏宁等平台评论区有相对宽松的访问策略商品评论接口的结构与淘宝类似可以互相参考。自己爬取但控制在千条量级仅用于演示与科研学习。我在做类似项目时常用的策略是用 Selenium 模拟浏览器打开商品详情页滚动加载全部评论再解析 HTML 获取评论内容。这种方式比直接请求 API 稳定得多代价是速度慢、容易被滑块验证拦截。下面的示例展示一个最小可用的抓取骨架。import time import random from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.chrome.options import Options def fetch_comments(url, max_comments100): options Options() options.add_argument(--disable-blink-featuresAutomationControlled) options.add_experimental_option(excludeSwitches, [enable-automation]) driver webdriver.Chrome(optionsoptions) driver.get(url) time.sleep(random.uniform(3, 6)) # 模拟人类访问减少被识别风险 comments [] try: # 淘宝评论列表的选择器会变这里给出最通用的 class 定位 nodes driver.find_elements(By.CSS_SELECTOR, div.tb-rev-item div.tb-rev-content) for node in nodes: text node.text.strip() if text and not text.startswith(此用户没有填写评论): comments.append(text) if len(comments) max_comments: break finally: driver.quit() return comments这段代码有三个要注意的细节。disable-blink-featuresAutomationControlled是关闭自动化控制特征Selenium 驱动的 Chrome 默认会在navigator.webdriver属性上留下标记电商平台的前端 JS 能检测到并触发滑块验证time.sleep(random.uniform(3, 6))给页面渲染留出时间也让请求节奏接近真人CSS 选择器部分则是最脆弱的一环页面改版后需要重新用开发者工具定位评论节点。如果你的爬虫被识别优先尝试用移动端 User-Agent、加入 Cookie 登录态或者改用 Playwright 的 stealth 插件而不要盲目调低 sleep 时间。3.2 数据清洗与去重把“好评好评好评”变成可用语料在把数据交给模型之前清洗这一步决定了最终模型准确率的上限。常见的处理流程按顺序包括import pandas as pd import re def clean_comment(text: str) - str: # 去掉 HTML 标签、 用户、表情符号占位符、多余空白 text re.sub(r[^], , text) text re.sub(r\w, , text) text re.sub(r\[.*?\], , text) # 淘宝评论中的表情占位如 [开心] text re.sub(r\s, , text).strip() return text df pd.read_csv(raw_comments.csv) df[clean_text] df[comment].astype(str).apply(clean_comment) # 清洗后过滤空字符串和过短文本长度小于 2 的评论没有建模价值 df df[df[clean_text].str.len() 2] # 精确去重很多用户直接复制默认好评导致重复文本占比极高 df df.drop_duplicates(subset[clean_text]) print(f清洗后剩余样本量: {len(df)})清洗逻辑分几步是有原因的。HTML 标签出现在从某些页面直接导出的数据中用户属于噪音[开心]这类表情占位符对情感判断有用但 TF-IDF 很难为其分配合理的向量表示除非你显式把表情映射为“正面/负面”的伪词。精确去重这一步要特别留意电商评论里“好评”二字重复出现几百次如果不做去重朴素贝叶斯会被这种高频重复文本带偏产生严重的类别不平衡假象。3.3 标注策略星级映射、人工修正与一致性检验清洗完成后如果评论数据本身带用户星级最简单的标注方案是阈值映射评分为 4 到 5 星的视为正面记为 2评分为 3 星的视为中性记为 1评分为 1 到 2 星的视为负面记为 0。但是这种映射存在明显的噪音很多用户给三星只是因为写得懒而不是态度中立。我会建议在完成初步映射后人工抽检 200 条左右与标签有冲突的样本按“文本内容优先于星级”原则修正标签。带评判分一致性检验Cohen‘s Kappa是毕设答辩时的高频加分点如果时间和人力允许可以找一个同学分别标注同一批 100 条评论。from sklearn.metrics import cohen_kappa_score tagger_a [] # 你标注的结果0/1/2 tagger_b [] # 同学标注的结果0/1/2 kappa cohen_kappa_score(tagger_a, tagger_b) print(f标注一致性 Kappa {kappa:.3f}) # Kappa 大于 0.6 说明标注规则可复用大于 0.8 说明高度一致这一步的作用不仅是评估数据质量还可以在论文里作为“数据可靠性”的依据写一段避免评审质疑标签是否主观。4. 特征工程与模型训练从 jieba 分词到 Python 机器学习分类器4.1 文本向量化选型TF-IDF 与 Word2Vec 的取舍拿到分词后的文本最核心的问题就是如何把它们表示成数字。机器学习模型无法直接吃字符串向量化的质量决定了分类器性能的上限。TF-IDF 是词频乘逆文档频率。它的直观含义是一个词在某条评论里出现得多但在整个语料里很少出现那么这个词对区分这条评论的类别很有价值。例如“掉色”在语料里只出现在少量差评中它的 IDF 值会很大而“感觉”在正负评论里都有区分度低权重就小。scikit-learn 的TfidfVectorizer已经把分词、过滤停用词与权重计算整合在一个接口里搭配 jieba 使用是毕业设计最常见的组合。Word2Vec 的思路则完全不同它把每个词映射到低维稠密向量语义相近的词在向量空间中距离相近。然而 Word2Vec 训练需要大规模语料以几千条评论训练出的词向量质量很差且得到向量后还需要对句内词向量做平均池化其中“不了解相同词在不同语境下的消歧”这一点并不比 TF-IDF 有优势。毕设里把 Word2Vec 作为“对比实验”更有价值作为主模型的特征则容易吃力不讨好。4.2 训练三个基线分类器朴素贝叶斯、逻辑回归与线性 SVM这里给出完整可运行的训练脚本它直接输出分类报告与 ROC 曲线所需数据。import jieba import pandas as pd from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.naive_bayes import MultinomialNB from sklearn.linear_model import LogisticRegression from sklearn.svm import LinearSVC from sklearn.model_selection import train_test_split from sklearn.metrics import classification_report # 1. jieba 分词 空格连接TfidfVectorizer 的 token_pattern 需要空格分词 def cut_words(text: str) - str: return .join(jieba.cut(text)) df pd.read_csv(labeled_comments.csv) df[cut_text] df[clean_text].apply(cut_words) # 2. 向量化max_features 限制维度避免小语料上维数灾难 vectorizer TfidfVectorizer(max_features5000, ngram_range(1, 2)) X vectorizer.fit_transform(df[cut_text]) y df[label].values # 0/1/2 X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, random_state42, stratifyy ) models { 朴素贝叶斯: MultinomialNB(alpha1.0), 逻辑回归: LogisticRegression(max_iter1000, C1.0), 线性SVM: LinearSVC(max_iter1000, C1.0), } for name, model in models.items(): model.fit(X_train, y_train) y_pred model.predict(X_test) print(f {name} ) print(classification_report(y_test, y_pred, target_names[负面, 中性, 正面]))这段代码有三处参数值得展开。ngram_range(1, 2)表示同时使用单个词和相邻双词作为特征比如“不 好吃”切分后“好吃”是单词特征“不 好吃”是双词特征后者能捕获否定结构显著提升“不怎么样”这类表达的识别率维度膨胀在max_features5000的约束下可控。stratifyy在划分训练集和测试集时保证各类别比例与原数据集一致这个参数在类别不平衡时尤其重要——如果不加恰好在划分时把大量负面样本分到测试集训练集里负面样本变少模型评估结果就会剧烈波动。C1.0是正则化强度的倒数C 越大越容易过拟合C 越小越平滑电商短文本任务一般从 1.0 起步如果训练集 F1 远高于测试集再把 C 调小一个量级。4.3 评估指标怎么读准确率虚高与 F1 的陷阱很多毕设只报 accuracy这里给一个反例假设 80% 的评论是正面模型全部预测为正面准确率是 80%看上去很高但负面评论一条也没识别出来。因此分类报告要优先看每个类别的 precision、recall 和 F1-score。其中负面评论的 recall 更值得关注——它代表差评被漏报的概率在真实电商场景里漏报一堆差评系统价值就大打折扣。我一般会额外输出一个混淆矩阵并保存下来放在论文里做可视化的素材。import matplotlib.pyplot as plt import seaborn as sns from sklearn.metrics import confusion_matrix cm confusion_matrix(y_test, models[逻辑回归].predict(X_test)) sns.heatmap(cm, annotTrue, fmtd, cmapBlues, xticklabels[负面, 中性, 正面], yticklabels[负面, 中性, 正面]) plt.xlabel(预测标签) plt.ylabel(真实标签) plt.tight_layout() plt.savefig(confusion_matrix.png, dpi150)注意热力图的读法主对角线上的数字是正确分类的样本数。如果“中性”这一列在“负面”真实标签那一行有明显非零值说明模型倾向于把负面误判为中性通常原因是训练集里中性样本的文本表达与负面高度重叠比如“一般”“还行吧”这类模糊词。处理手段有两种要么给中性类增加权重class_weightbalanced要么干脆把三分类任务退化为正负二分类在答辩时主动说明这一取舍的理由。5. 把模型变成能演示的系统Flask 接口、置信度阈值与答辩加分技巧5.1 用 Flask 封装情感分析 Demo模型训练完只是一个.pkl文件它既不能让人直观感受项目价值在毕业答辩现场也谈不上任何演示效果。一个最常见且可靠的封装方式是用 Flask 提供一个 HTTP 接口网页端输入商品评论后端返回情感标签和置信度。import joblib from flask import Flask, request, jsonify app Flask(__name__) vectorizer joblib.load(tfidf_vec.pkl) model joblib.load(lr_model.pkl) label_map {0: 负面, 1: 中性, 2: 正面} app.route(/predict, methods[POST]) def predict(): data request.get_json() text data.get(comment, ) cut_text .join(jieba.cut(text)) features vectorizer.transform([cut_text]) proba model.predict_proba(features)[0] pred_idx int(model.predict(features)[0]) confidence float(max(proba)) return jsonify({ label: label_map[pred_idx], confidence: round(confidence, 4), proba: {label_map[i]: round(float(p), 4) for i, p in enumerate(proba)}, }) if __name__ __main__: app.run(host0.0.0.0, port5000)这里有一个关键实现细节必须在训练脚本里用joblib.dump(vectorizer, tfidf_vec.pkl)把向量化器连同模型一起保存因为预测阶段必须使用与训练阶段完全相同的词表与 IDF 权重。很多新手只保存了模型预测时重新构建TfidfVectorizer结果特征维度不一致直接报错。predict_proba对逻辑回归返回的是各类别概率但LinearSVC没有这个方法所以我的 Web 服务里选择了逻辑回归作为线上模型这也从侧面说明选型不只看 F1还要考虑部署阶段的接口能力。5.2 一个答辩加分的小技巧置信度阈值与失败样本展示演示环节最容易暴露的问题是模型对某些极度口语化的文本给出高置信度但错误的判断。比如“垃圾东西再也不来了”这个句子逻辑回归的置信度可能高达 0.96 且预测正确但“牛啊牛啊”这种反讽表达模型很可能以 0.7 的置信度判成正面。针对这种情况我会在系统里增加一个简单的逻辑当置信度低于某个阈值比如 0.6时前端页面额外显示“该结果置信度较低仅供参考”的提示。if confidence 0.6: result[warning] 低置信度预测建议查看原始评论上下文这个小设计的意义在于它向评委传递一个信息——你理解模型的不确定性而不是把模型输出当作绝对真理。更进一步的做法是在答辩 PPT 里准备 3 个典型的失败案例每个案例配一句“为什么错”的解释例如“训练语料中缺少反讽表达导致 TF-IDF 特征无法区分字面正面与真实负面”。在表达上要避免使用“由于数据量不足我们后续会改进”这种弱结论更好的说法是“当前的 jieba 分词对网络新词的切分错误率较高比如‘绝绝子’被切成‘绝绝’和‘子’导致特征无法与情感词典对齐这是可改进的方向”。5.3 用置信度校准评估线上可用性可靠性曲线另一个值得加入论文的进阶验证方法是可靠性曲线Reliability Diagram它衡量的是“模型说 80% 置信度的时候真实正确率是否接近 80%”。逻辑回归的 softmax 概率在类别不均衡时往往偏向高频类所以这个验证可以暴露校准问题并引出校准策略如 Platt Scaling。把这一段写进论文的“实验与分析”章节比堆砌多个模型的准确率对比要立体得多也更触发答辩老师对你模型评估能力的认可。本文还有配套的精品资源点击获取 从零实现电商评论情感分析：基于机器学习与TF-IDF的完整方案
简介这是一套基于Python机器学习实现的高分毕业设计项目聚焦电商淘宝商品评论情感分析评审分为97分面向计算机相关专业的学生与从业者可直接用于毕业设计、期末课程设计或课程大作业。项目覆盖完整分析链路使用Selenium模拟真实登录抓取淘宝评论对评论文本进行去除标点、去除‘666’‘好好好’等无意义词的数据清洗再通过jieba精确模式分词并构造词典完成词汇向量化最后对比SVM与传统LSTM分类模型的训练效果。压缩包共43个文件整体大小约66.68MB类型上以14个Python源码文件为核心配合7个CSV数据集、4个NumPy向量文件、3个Pickle模型文件、2个H5模型权重以及Excel标注数据等代码与数据分离、目录清晰且经过严格调试运行无误。项目还附带GUI交互界面和训练好的词向量模型、分类模型可快速输出情感判断结果。目前已有382人学习下载对希望快速上手情感分析项目、参考完整毕设代码结构或进行模型对比实验的同学非常有帮助。1. 从一条差评到高分项目电商淘宝商品评论情感分析到底在做什么一条商品评论“质量一般发货倒是挺快的”到底是好评还是差评如果按星级打分它可能是三颗星但按文本情感倾向它包含“中性偏负”与“物流正面”两种粒度。毕业设计里最常见的做法是把这个问题定义成一个有监督文本分类任务给定一条评论文本预测其情感极性正面、负面、中性或更细的星级。围绕这个定义展开的完整链路——数据获取、清洗、标注、文本向量化、机器学习模型训练、评估与可视化——恰好覆盖了 Python 基础语法、pandas 数据处理、scikit-learn 机器学习建模、jieba 中文分词、Flask Web 展示等多个高频考核点这也是电商淘宝商品评论情感分析成为经久不衰的 Python 毕业设计选题的原因。这篇博文不假设你手里已经有那份“高分项目源码包”而是从拿到标题到自己能独立复现一套可答辩、可扩展、可讲清楚原理的完整方案。2. 情感分析的技术脉络与毕设选型理由词典法 vs 机器学习法2.1 语义倾向等级与任务定义评论极性判断不过是分类问题把评论“面料摸起来很舒服但是袖子有点短”扔给一个没有背景知识的人他会先判断局部情感面料舒服是正面袖子短是负面。如果限定任务只需要一个整体结论那么这条评论更可能被标成中性或负面偏中性。这里就引出了情感分析任务的天花板粒度。按建模粒度可以把情感分析分成三个层级。文档级Document-level整条评论只有一个情感标签适合商品评价、影评粗粒度分析。句子级Sentence-level把评论按标点拆成多个子句分别判断情感适合短文本舆情分析。方面级Aspect-level识别“面料”“袖子”等评价对象再对每个对象分别判断情感这是目前工业界的常用做法之一。毕业设计选用文档级或句子级最容易出成果。原因很简单方面级需要额外的方面抽取与观点配对步骤把问题从一个分类任务扩展成了序列标注任务数据标注成本和算法复杂度都会明显上升。机器学习解决这个问题的基本思路是把文本变成向量再把向量交给分类器学习“特征到情感标签”的映射。公式化表达就是 $y f(\mathbf{x})$其中 $\mathbf{x}$ 是文本的向量表示$y \in {0, 1, 2}$负、中、正。这本质上和识别垃圾邮件没有区别只是文本预处理和特征提取的侧重点不同。2.2 基于词典的情感分析与基于机器学习的情感分析两条路线的对比在做技术选型时很多应届生第一反应是“用情感词典打分”——把评论里的每个词与一个预置的情感词典匹配命中正面词加分、负面词减分最后按总分判断极性。这条路线的优点是不需要标注数据拿到词典就能跑缺点是严重依赖词典覆盖度遇到“绝绝子”“踩雷”“种草机”这种电商新词和口语化表达很容易失分。基于机器学习的路线与之形成鲜明对比维度词典法机器学习法数据需求情感词典无需标注需要已标注语料通常 3000 条新词处理词典未收录则失效TF-IDF 按出现频率捕获但低频词权重不稳领域迁移换领域需换词典换领域需重新标注部分数据可解释性分值直观依赖模型逻辑回归和决策树可解释性尚可扩展性难扩展多分类可直接扩展到 5 星级预测适合场景无标注数据的冷启动毕设要展示算法功底和企业落地可行性从毕设评审的角度看机器学习的路线有更清晰的“建模—训练—评估”叙事结构。评审老师往往更关注你是否理解损失函数、为什么用 TF-IDF、怎么解决样本不均衡这些问题在词典法体系内几乎无法展开。因此即使选题名字没有强调机器学习主流也建议走“机器学习为主、词典法作为对比基线”的方案这样一章讲对比实验一章讲模型优化论文体量立刻充实起来。2.3 为什么电商评论适合走机器学习路线数据可得性与 Python 生态电商淘宝评论有几个其他文本领域不具备的优势。一是短文本居多多数评论在 20 到 60 个字符之间分词和向量化的计算开销小模型训练在普通笔记本上秒级完成不需要 GPU。二是标签天然可弱监督标注评论的星级评分可以当作情感标签的近似值用“4 星以上为正面、2 星以下为负面、3 星为中性”这种映射规则批量构造训练集再人工抽检修正。三是 Python 生态里 scikit-learn、jieba、pandas、Flask 都是成熟到可以闭眼用的工具链任何一个环节出问题都能在 Stack Overflow 或 CSDN 上找到现成答案。3. 数据从哪来淘宝商品评论爬取、去重与人工标注3.1 电商评论数据获取的可行路径开放数据集、爬虫接口与合规边界首先明确一点淘宝 Web 端评论接口的请求参数与响应结构随时可能变化而且需要登录态。常见的做法并不是对淘宝发起大规模爬虫而是退而求其次选择“抓取少量评论 公开语料补足”的组合策略。推荐三个数据来源阿里天池的“淘宝穿衣搭配推荐”等公开数据集但不是每个都带评论文本需要先下载后筛选。京东、苏宁等平台评论区有相对宽松的访问策略商品评论接口的结构与淘宝类似可以互相参考。自己爬取但控制在千条量级仅用于演示与科研学习。我在做类似项目时常用的策略是用 Selenium 模拟浏览器打开商品详情页滚动加载全部评论再解析 HTML 获取评论内容。这种方式比直接请求 API 稳定得多代价是速度慢、容易被滑块验证拦截。下面的示例展示一个最小可用的抓取骨架。import time import random from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.chrome.options import Options def fetch_comments(url, max_comments100): options Options() options.add_argument(--disable-blink-featuresAutomationControlled) options.add_experimental_option(excludeSwitches, [enable-automation]) driver webdriver.Chrome(optionsoptions) driver.get(url) time.sleep(random.uniform(3, 6)) # 模拟人类访问减少被识别风险 comments [] try: # 淘宝评论列表的选择器会变这里给出最通用的 class 定位 nodes driver.find_elements(By.CSS_SELECTOR, div.tb-rev-item div.tb-rev-content) for node in nodes: text node.text.strip() if text and not text.startswith(此用户没有填写评论): comments.append(text) if len(comments) max_comments: break finally: driver.quit() return comments这段代码有三个要注意的细节。disable-blink-featuresAutomationControlled是关闭自动化控制特征Selenium 驱动的 Chrome 默认会在navigator.webdriver属性上留下标记电商平台的前端 JS 能检测到并触发滑块验证time.sleep(random.uniform(3, 6))给页面渲染留出时间也让请求节奏接近真人CSS 选择器部分则是最脆弱的一环页面改版后需要重新用开发者工具定位评论节点。如果你的爬虫被识别优先尝试用移动端 User-Agent、加入 Cookie 登录态或者改用 Playwright 的 stealth 插件而不要盲目调低 sleep 时间。3.2 数据清洗与去重把“好评好评好评”变成可用语料在把数据交给模型之前清洗这一步决定了最终模型准确率的上限。常见的处理流程按顺序包括import pandas as pd import re def clean_comment(text: str) - str: # 去掉 HTML 标签、 用户、表情符号占位符、多余空白 text re.sub(r[^], , text) text re.sub(r\w, , text) text re.sub(r\[.*?\], , text) # 淘宝评论中的表情占位如 [开心] text re.sub(r\s, , text).strip() return text df pd.read_csv(raw_comments.csv) df[clean_text] df[comment].astype(str).apply(clean_comment) # 清洗后过滤空字符串和过短文本长度小于 2 的评论没有建模价值 df df[df[clean_text].str.len() 2] # 精确去重很多用户直接复制默认好评导致重复文本占比极高 df df.drop_duplicates(subset[clean_text]) print(f清洗后剩余样本量: {len(df)})清洗逻辑分几步是有原因的。HTML 标签出现在从某些页面直接导出的数据中用户属于噪音[开心]这类表情占位符对情感判断有用但 TF-IDF 很难为其分配合理的向量表示除非你显式把表情映射为“正面/负面”的伪词。精确去重这一步要特别留意电商评论里“好评”二字重复出现几百次如果不做去重朴素贝叶斯会被这种高频重复文本带偏产生严重的类别不平衡假象。3.3 标注策略星级映射、人工修正与一致性检验清洗完成后如果评论数据本身带用户星级最简单的标注方案是阈值映射评分为 4 到 5 星的视为正面记为 2评分为 3 星的视为中性记为 1评分为 1 到 2 星的视为负面记为 0。但是这种映射存在明显的噪音很多用户给三星只是因为写得懒而不是态度中立。我会建议在完成初步映射后人工抽检 200 条左右与标签有冲突的样本按“文本内容优先于星级”原则修正标签。带评判分一致性检验Cohen‘s Kappa是毕设答辩时的高频加分点如果时间和人力允许可以找一个同学分别标注同一批 100 条评论。from sklearn.metrics import cohen_kappa_score tagger_a [] # 你标注的结果0/1/2 tagger_b [] # 同学标注的结果0/1/2 kappa cohen_kappa_score(tagger_a, tagger_b) print(f标注一致性 Kappa {kappa:.3f}) # Kappa 大于 0.6 说明标注规则可复用大于 0.8 说明高度一致这一步的作用不仅是评估数据质量还可以在论文里作为“数据可靠性”的依据写一段避免评审质疑标签是否主观。4. 特征工程与模型训练从 jieba 分词到 Python 机器学习分类器4.1 文本向量化选型TF-IDF 与 Word2Vec 的取舍拿到分词后的文本最核心的问题就是如何把它们表示成数字。机器学习模型无法直接吃字符串向量化的质量决定了分类器性能的上限。TF-IDF 是词频乘逆文档频率。它的直观含义是一个词在某条评论里出现得多但在整个语料里很少出现那么这个词对区分这条评论的类别很有价值。例如“掉色”在语料里只出现在少量差评中它的 IDF 值会很大而“感觉”在正负评论里都有区分度低权重就小。scikit-learn 的TfidfVectorizer已经把分词、过滤停用词与权重计算整合在一个接口里搭配 jieba 使用是毕业设计最常见的组合。Word2Vec 的思路则完全不同它把每个词映射到低维稠密向量语义相近的词在向量空间中距离相近。然而 Word2Vec 训练需要大规模语料以几千条评论训练出的词向量质量很差且得到向量后还需要对句内词向量做平均池化其中“不了解相同词在不同语境下的消歧”这一点并不比 TF-IDF 有优势。毕设里把 Word2Vec 作为“对比实验”更有价值作为主模型的特征则容易吃力不讨好。4.2 训练三个基线分类器朴素贝叶斯、逻辑回归与线性 SVM这里给出完整可运行的训练脚本它直接输出分类报告与 ROC 曲线所需数据。import jieba import pandas as pd from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.naive_bayes import MultinomialNB from sklearn.linear_model import LogisticRegression from sklearn.svm import LinearSVC from sklearn.model_selection import train_test_split from sklearn.metrics import classification_report # 1. jieba 分词 空格连接TfidfVectorizer 的 token_pattern 需要空格分词 def cut_words(text: str) - str: return .join(jieba.cut(text)) df pd.read_csv(labeled_comments.csv) df[cut_text] df[clean_text].apply(cut_words) # 2. 向量化max_features 限制维度避免小语料上维数灾难 vectorizer TfidfVectorizer(max_features5000, ngram_range(1, 2)) X vectorizer.fit_transform(df[cut_text]) y df[label].values # 0/1/2 X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, random_state42, stratifyy ) models { 朴素贝叶斯: MultinomialNB(alpha1.0), 逻辑回归: LogisticRegression(max_iter1000, C1.0), 线性SVM: LinearSVC(max_iter1000, C1.0), } for name, model in models.items(): model.fit(X_train, y_train) y_pred model.predict(X_test) print(f {name} ) print(classification_report(y_test, y_pred, target_names[负面, 中性, 正面]))这段代码有三处参数值得展开。ngram_range(1, 2)表示同时使用单个词和相邻双词作为特征比如“不 好吃”切分后“好吃”是单词特征“不 好吃”是双词特征后者能捕获否定结构显著提升“不怎么样”这类表达的识别率维度膨胀在max_features5000的约束下可控。stratifyy在划分训练集和测试集时保证各类别比例与原数据集一致这个参数在类别不平衡时尤其重要——如果不加恰好在划分时把大量负面样本分到测试集训练集里负面样本变少模型评估结果就会剧烈波动。C1.0是正则化强度的倒数C 越大越容易过拟合C 越小越平滑电商短文本任务一般从 1.0 起步如果训练集 F1 远高于测试集再把 C 调小一个量级。4.3 评估指标怎么读准确率虚高与 F1 的陷阱很多毕设只报 accuracy这里给一个反例假设 80% 的评论是正面模型全部预测为正面准确率是 80%看上去很高但负面评论一条也没识别出来。因此分类报告要优先看每个类别的 precision、recall 和 F1-score。其中负面评论的 recall 更值得关注——它代表差评被漏报的概率在真实电商场景里漏报一堆差评系统价值就大打折扣。我一般会额外输出一个混淆矩阵并保存下来放在论文里做可视化的素材。import matplotlib.pyplot as plt import seaborn as sns from sklearn.metrics import confusion_matrix cm confusion_matrix(y_test, models[逻辑回归].predict(X_test)) sns.heatmap(cm, annotTrue, fmtd, cmapBlues, xticklabels[负面, 中性, 正面], yticklabels[负面, 中性, 正面]) plt.xlabel(预测标签) plt.ylabel(真实标签) plt.tight_layout() plt.savefig(confusion_matrix.png, dpi150)注意热力图的读法主对角线上的数字是正确分类的样本数。如果“中性”这一列在“负面”真实标签那一行有明显非零值说明模型倾向于把负面误判为中性通常原因是训练集里中性样本的文本表达与负面高度重叠比如“一般”“还行吧”这类模糊词。处理手段有两种要么给中性类增加权重class_weightbalanced要么干脆把三分类任务退化为正负二分类在答辩时主动说明这一取舍的理由。5. 把模型变成能演示的系统Flask 接口、置信度阈值与答辩加分技巧5.1 用 Flask 封装情感分析 Demo模型训练完只是一个.pkl文件它既不能让人直观感受项目价值在毕业答辩现场也谈不上任何演示效果。一个最常见且可靠的封装方式是用 Flask 提供一个 HTTP 接口网页端输入商品评论后端返回情感标签和置信度。import joblib from flask import Flask, request, jsonify app Flask(__name__) vectorizer joblib.load(tfidf_vec.pkl) model joblib.load(lr_model.pkl) label_map {0: 负面, 1: 中性, 2: 正面} app.route(/predict, methods[POST]) def predict(): data request.get_json() text data.get(comment, ) cut_text .join(jieba.cut(text)) features vectorizer.transform([cut_text]) proba model.predict_proba(features)[0] pred_idx int(model.predict(features)[0]) confidence float(max(proba)) return jsonify({ label: label_map[pred_idx], confidence: round(confidence, 4), proba: {label_map[i]: round(float(p), 4) for i, p in enumerate(proba)}, }) if __name__ __main__: app.run(host0.0.0.0, port5000)这里有一个关键实现细节必须在训练脚本里用joblib.dump(vectorizer, tfidf_vec.pkl)把向量化器连同模型一起保存因为预测阶段必须使用与训练阶段完全相同的词表与 IDF 权重。很多新手只保存了模型预测时重新构建TfidfVectorizer结果特征维度不一致直接报错。predict_proba对逻辑回归返回的是各类别概率但LinearSVC没有这个方法所以我的 Web 服务里选择了逻辑回归作为线上模型这也从侧面说明选型不只看 F1还要考虑部署阶段的接口能力。5.2 一个答辩加分的小技巧置信度阈值与失败样本展示演示环节最容易暴露的问题是模型对某些极度口语化的文本给出高置信度但错误的判断。比如“垃圾东西再也不来了”这个句子逻辑回归的置信度可能高达 0.96 且预测正确但“牛啊牛啊”这种反讽表达模型很可能以 0.7 的置信度判成正面。针对这种情况我会在系统里增加一个简单的逻辑当置信度低于某个阈值比如 0.6时前端页面额外显示“该结果置信度较低仅供参考”的提示。if confidence 0.6: result[warning] 低置信度预测建议查看原始评论上下文这个小设计的意义在于它向评委传递一个信息——你理解模型的不确定性而不是把模型输出当作绝对真理。更进一步的做法是在答辩 PPT 里准备 3 个典型的失败案例每个案例配一句“为什么错”的解释例如“训练语料中缺少反讽表达导致 TF-IDF 特征无法区分字面正面与真实负面”。在表达上要避免使用“由于数据量不足我们后续会改进”这种弱结论更好的说法是“当前的 jieba 分词对网络新词的切分错误率较高比如‘绝绝子’被切成‘绝绝’和‘子’导致特征无法与情感词典对齐这是可改进的方向”。5.3 用置信度校准评估线上可用性可靠性曲线另一个值得加入论文的进阶验证方法是可靠性曲线Reliability Diagram它衡量的是“模型说 80% 置信度的时候真实正确率是否接近 80%”。逻辑回归的 softmax 概率在类别不均衡时往往偏向高频类所以这个验证可以暴露校准问题并引出校准策略如 Platt Scaling。把这一段写进论文的“实验与分析”章节比堆砌多个模型的准确率对比要立体得多也更触发答辩老师对你模型评估能力的认可。本文还有配套的精品资源点击获取