NLP这块我断断续续折腾了两三年从最开始拿NLTK一行行跑示例代码到后来用Spacy搭完整的中文文本处理管线中间踩过的坑比写过的代码还多。今天这篇就把NLTK和Spacy这两大Python NLP库的入门路线捋一遍从环境搭建到核心功能实操再到常见问题的排查尽量把我实际用下来的经验都写进去。无论是准备做文本分类、关键词提取、情感分析还是单纯想入门自然语言处理这篇文章都能让你少走不少弯路。先说清楚一件事NLTK和Spacy不是二选一的关系而是互补关系。NLTK更像一个学术工具箱什么都有一点适合学习算法原理、跑实验对比Spacy则是奔着生产环境去的速度快、接口统一、模型预训练质量高。入门阶段我的建议是两个都装上先用NLTK理解NLP的基本概念再用Spacy做实际项目。下面我会把这两条线分别展开讲清楚工具选型、环境搭建、核心操作和避坑经验。1. 先搞清楚NLTK和Spacy到底是什么关系1.1 NLTK的前世今生学术派的传家宝NLTKNatural Language Toolkit是宾夕法尼亚大学计算机与信息科学系开发的一套开源工具库从上世纪90年代末就开始维护了。它最大的特点就是“全”——分词、词性标注、句法分析、文本分类、情感分析、语义推理几乎所有NLP经典算法和数据集都有对应的实现。NLTK的设计思路偏学术它把很多算法用纯Python写出来代码可读性极强特别适合拿来学习算法内部原理。比如你想搞明白朴素贝叶斯分类器是怎么一步步计算的直接读NLTK的源码就能看懂。这在工业级库里是做不到的因为人家为了性能做了大量优化和封装。但NLTK的短板也很明显性能一般纯Python实现的算法在大规模文本上跑起来比较吃力API风格偏老派不同功能之间的调用方式不太统一预处理管线的默认配置也不够工程化很多细节需要自己调。1.2 Spacy的定位工业界的效率担当Spacy是另一个路线它从一开始就是奔着“让NLP技术真正落到生产环境”去的。核心代码用Cython编写性能和C语言级别的库直接对标在英文文本上Spacy的处理速度比NLTK快几十倍不止。Spacy最大的优势是它的“一站式Pipeline”设计。加载一个模型之后分词、词性标注、依存句法分析、命名实体识别、词向量映射这些操作会自动按顺序跑完而且每个结果都用统一的对象结构来承载。你只需要一行代码就能拿到一个处理结果对象所有分析信息都挂在上面写起来非常顺手。Spacy的预训练模型质量也相当高。官方提供的英文模型基于CNN或Transformer架构训练在命名实体识别、依存句法分析等任务上的准确率都处于开源工具的前列。对于中文Spacy也提供了基于预训练Bert的中文模型虽然体量比英文模型大不少但效果确实能打。1.3 到底该选哪一个如果你要做一个实际的项目比如新闻文本分类、客服工单自动打标、简历信息抽取我会毫不犹豫推荐Spacy。速度、稳定性、可扩展性都是为生产场景设计的。如果你是在校学生、研究人员或者想深入理解NLP算法背后的数学原理那NLTK更适合你毕竟它有完整的算法实现和文档能让你看清楚每一步在做什么。提示我的经验是不要在一个项目里混用两个库做同一件事。比如别用NLTK做分词、再用Spacy做词性标注这样会导致数据结构不一致后续处理很别扭。要么全部走NLTK要么全部走Spacy在一个管线上保持一致。入门阶段建议先用NLTK跑通“分词 → 停用词过滤 → 词频统计 → 简单分类”这条经典链路理解NLP的基本流程然后用Spacy重新实现一遍同样的任务感受一下两者的巨大差异。这样你对“为什么工业界都用Spacy”这个问题会有非常直观的体感。2. 环境搭建与基础准备含踩坑记录2.1 安装Anaconda和创建独立环境NLP相关的库依赖关系比较乱尤其是numpy、scipy这些科学计算库的版本很容易互相打架。我的建议是一开始就用Anaconda管理Python环境不要用系统自带的Python或者裸装Python。安装Anaconda之后先创建一个独立的虚拟环境把NLP相关的东西都隔离在里面conda create -n nlp python3.9 conda activate nlp提示Python版本不要追新。目前NLTK和Spacy对Python 3.8-3.10的支持最稳定3.11以上部分依赖可能编译出错。我周边好几个朋友就是用了Python 3.12装Spacy模型的时候报了一堆错。2.2 安装NLTK和Spacy激活环境之后直接通过pip安装两个库pip install nltk spacySpacy还需要单独下载预训练模型。英文模型和中文模型是分开的# 下载英文小型模型 python -m spacy download en_core_web_sm # 下载中文模型 python -m spacy download zh_core_web_sm这里有个细节要提醒一下模型下载的本质上是一个pip包如果你的网络环境访问国外源比较慢建议先配置国内镜像源再执行下载否则容易卡住或者超时。配置方式是在用户目录下创建或修改pip.confLinux/macOS或pip.iniWindows[global] index-url https://pypi.tuna.tsinghua.edu.cn/simple2.3 NLTK数据下载慢的终极解决方案NLTK最让人头疼的问题就是数据下载。你执行nltk.download()的时候它默认从https://raw.githubusercontent.com/nltk/nltk_data/拉取数据这在某些网络环境下慢到怀疑人生甚至直接卡死。搜索结果里“nltk下载慢”这个热词高居不下说明大家都被这个问题折磨过。这里分享一个我验证过很多次的方法。NLTK支持从本地路径加载数据所以思路就是想办法把数据打包下下来然后手动指定路径。第一步找到NLTK的数据目录。不同系统位置不太一样WindowsC:\Users\你的用户名\AppData\Roaming\nltk_dataLinux/macOS/usr/share/nltk_data或~/nltk_data第二步直接访问NLTK数据仓库把需要的压缩包手工下载下来。下载后解压到上述目录中对应的子目录下即可。比如我需要停用词表stopwords就把压缩包里的stopwords文件夹放到nltk_data/corpora/目录下。第三步验证是否能正常加载import nltk nltk.data.path.append(/你的路径/nltk_data) from nltk.corpus import stopwords print(stopwords.fileids())注意如果输出里能看到english和chinese等停用词列表文件就说明路径配置成功了。这个方法实测下来稳定性很高比反复重试nltk.download()靠谱得多。如果你不想手动下载压缩包还有另一个更省事的办法直接在命令行里指定数据包下载配置延时重试import nltk nltk.download(punkt, download_dir/你的路径/nltk_data)这一步如果还是慢那就老老实实用上面的本地解压方案吧。3. NLTK核心实操从分词到词性标注3.1 分词Tokenization实操分词是NLP里最基础也最关键的一步。我们拿到一篇文本不能直接丢给算法得先把文本拆成一个个“词”Token。英文分词相对简单因为单词之间有空格中文分词就要复杂得多因为词与词之间没有天然的分隔符。NLTK里英文分词最常用的方法是word_tokenizeimport nltk from nltk.tokenize import word_tokenize, sent_tokenize text Natural Language Processing is fascinating. I use NLTK and Spacy every day. # 分句 sentences sent_tokenize(text) print(sentences) # [Natural Language Processing is fascinating., I use NLTK and Spacy every day.] # 分词 tokens word_tokenize(text) print(tokens) # [Natural, Language, Processing, is, fascinating, ., I, use, NLTK, and, Spacy, every, day, .]如果你处理的是中文文本NLTK内置的word_tokenize就不太够用了需要加载带中文分词模型的数据包punkt然后使用sent_tokenize配合中文标点来分句再将句子按字切分。但说实话NLTK的中文分词能力很弱更多是演示性质。真实场景下处理中文我后面会详细讲Spacy的方案那才是能上生产的做法。3.2 停用词过滤与词频统计分完词之后文本里会有一堆“的”“了”“是”“and”“the”“is”这些没有实际语义的虚词。它们会干扰后续的分析所以要先过滤掉。NLTK内置了多语种的停用词表加载方式如下from nltk.corpus import stopwords from nltk.tokenize import word_tokenize text This is a simple example to demonstrate how to remove stopwords from a sentence. tokens word_tokenize(text) stop_words set(stopwords.words(english)) filtered_tokens [w for w in tokens if w.lower() not in stop_words and w.isalpha()] print(filtered_tokens) # [simple, example, demonstrate, remove, stopwords, sentence]注意我加了w.isalpha()这个条件作用是只保留纯字母的token把标点符号和数字过滤掉。这个细节在实战中非常有用比如处理新闻标题时如果不加这一步标点符号会变成干扰词。词频统计可以用NLTK的FreqDist类一行代码搞定from nltk.probability import FreqDist freq_dist FreqDist(filtered_tokens) print(freq_dist.most_common(5)) # [(simple, 1), (example, 1), ...]FreqDist返回的是带频次的单词列表按出现次数从高到低排序。这可以用来快速生成词云、提取关键词或者做简单的文本特征工程。3.3 词性标注与命名实体识别词性标注Part-of-Speech Tagging是给每个词标注它在句子中的语法角色比如名词、动词、形容词等。NLTK里调用pos_tag就能实现from nltk import pos_tag from nltk.tokenize import word_tokenize text Apple is looking at buying U.K. startup for $1 billion tokens word_tokenize(text) tagged pos_tag(tokens) for word, tag in tagged: print(f{word}: {tag})运行结果里每个词后面会跟一个标签比如NN代表普通名词、VBZ代表第三人称单数动词、NNP代表专有名词。这些都是宾州树库Penn Treebank的标签体系做NLP的话最好熟悉一下常见的那几个。命名实体识别NER是NLP里很实用的功能它能从文本中找出人名、地名、组织名、时间、金额等实体。NLTK自带了一个基于分类器的NER实现from nltk import ne_chunk chunked ne_chunk(tagged) print(chunked)不过说实话NLTK的NER效果比较一般尤其是对小规模文本和多语言文本识别准确率偏低。真正要拿NER去做项目比如从新闻里抽取公司名、人名我更推荐用Spacy的NER效果和速度都强很多。NLTK的NER适合理解原理不适合上生产。3.4 实战小项目新闻文本关键词提取把上面的知识点串起来我们做一个小的新闻关键词提取器。完整的NLTK版实现如下import nltk from nltk.corpus import stopwords from nltk.tokenize import word_tokenize, sent_tokenize from nltk.probability import FreqDist import string def extract_keywords(text, top_n10): # 1. 分句 sentences sent_tokenize(text) # 2. 分词并标准化 stop_words set(stopwords.words(english) list(string.punctuation)) words [] for sent in sentences: tokens word_tokenize(sent.lower()) filtered [w for w in tokens if w not in stop_words and w.isalpha()] words.extend(filtered) # 3. 词频统计 freq FreqDist(words) # 4. 取前N个高频词 return [word for word, count in freq.most_common(top_n)] news_text Natural language processing (NLP) is a subfield of linguistics, computer science, and artificial intelligence concerned with the interactions between computers and human language. It is used to apply machine learning algorithms to text and speech. keywords extract_keywords(news_text, top_n10) print(keywords)这个流程是所有文本分析的基础分句 → 分词 → 过滤停用词 → 统计 → 提取。理解了这条链路后面无论做情感分析、文本分类还是话题建模都是在它的基础上加复杂度。实操心得我最初做这类功能的时候会忽略词形还原Lemmatization这一步。比如“running”和“run”会被当成两个词统计导致词频结果失真。NLTK里的WordNetLemmatizer可以解决这个问题建议在过滤之后加一步from nltk.stem import WordNetLemmatizer lemmatizer WordNetLemmatizer() lemmatized [lemmatizer.lemmatize(w) for w in filtered]注意lemmatize默认是把词当名词来处理如果词是动词需要显式指定posv参数否则还原效果不对。4. Spacy核心实操工业级文本处理管线4.1 Spacy的基本使用流程Spacy的用法和NLTK有本质的区别。NLTK是你需要哪个功能就调用哪个函数像去超市买菜一样一个一个挑Spacy则是直接加载整个模型管线把文本倒进去所有分析结果一次性拿回来。import spacy # 加载英文模型 nlp spacy.load(en_core_web_sm) # 处理文本 doc nlp(Apple is looking at buying U.K. startup for $1 billion) # 直接从doc上取结果 for token in doc: print(f文本: {token.text}, 词性: {token.pos_}, 依存关系: {token.dep_}, 中心词: {token.head.text}) print(---- 实体识别 ----) for ent in doc.ents: print(f实体: {ent.text}, 类型: {ent.label_})跑起来之后你会瞬间感受到差距。NLTK里需要分别调用word_tokenize、pos_tag、ne_chunk才能拿到的东西在Spacy里处理完一次文本就全有了。而且输出结果是格式化好的Python对象可以直接通过属性访问不用自己去解析那些嵌套的树状结构。doc对象是整个Spacy管线的核心它的内部像一个大箱子里面装了词元token、句子sents、实体ents、名词短语noun_chunks等所有处理结果。整个模型是流式的文本进去之后分词、词性标注、依存分析、NER、词向量映射会按顺序自动执行这种“管线式”设计是Spacy能在工业界站稳脚跟的关键原因之一。4.2 词向量与相似度计算词向量Word Vector是NLP中的重要工具它把词语映射成向量让计算机能计算词语之间的语义相似度。Spacy提供了开箱即用的词向量和文本相似度计算功能。4.2.1 使用带词向量的模型en_core_web_sm这个小型模型体积小、速度快但它是不带真正词向量的它的token.vector属性返回的是一个无法体现语义差异的短向量。如果需要计算相似度建议使用中等模型或大型模型python -m spacy download en_core_web_md4.2.2 计算词与词、句与句之间的相似度import spacy nlp spacy.load(en_core_web_md) doc1 nlp(I like cats) doc2 nlp(I love dogs) # 计算两个文档句子的相似度 print(doc1.similarity(doc2)) # 输出类似 0.875 # 计算词与词的相似度 cat nlp(cat)[0] dog nlp(dog)[0] car nlp(car)[0] print(cat.similarity(dog)) # 输出较高比如 0.7 print(cat.similarity(car)) # 输出较低比如 0.3左右这条链路的底层逻辑是Spacy对每个词取预训练词向量然后对句子中的词向量取平均值得到句子向量最后利用余弦相似度衡量向量之间的相似程度。理解这个逻辑很重要因为句子向量取平均这个方案有个天然缺陷它会丢失语序信息和上下文语义。比如“猫追狗”和“狗追猫”这两个句子词向量取平均后是完全一样的。实操心得如果你要做的是语义搜索、文本去重这类任务句子相似度可以作为粗排的初筛手段但不要只依赖它。更好的做法是使用Spacy支持的自定义Transformer模型比如en_core_web_trf它能利用BERT这类预训练模型生成带上下文信息的句子向量效果会好很多代价就是推理速度慢、体积大。4.3 依存句法分析让机器理解句子结构依存句法分析Dependency Parsing是Spacy很值得说的功能。它用一棵树来表示句子成分之间的关系比如“主谓关系”、“动宾关系”、“修饰关系”。这在NLP应用里非常有用比如信息抽取时需要知道“谁对谁做了什么”。import spacy nlp spacy.load(en_core_web_sm) doc nlp(The quick brown fox jumps over the lazy dog) for token in doc: print(f{token.text:10s} - {token.dep_:10s} - {token.head.text})输出结果会显示每个词以及它依赖于哪个中心词。比如fox是句子主语它的中心词是jumpsquick、brown是修饰fox的形容词它们的中心词是fox。这个结构信息可以用来做关系抽取找出哪些词修饰哪个人名或公司名从而提取出更精准的信息。Spacy还提供了可视化工具displacy可以直接在Jupyter Notebook或者浏览器里生成依存关系图from spacy import displacy doc nlp(Apple is looking at buying U.K. startup for $1 billion) displacy.render(doc, styledep, jupyterTrue)对于刚入门的朋友图形化展示能帮你更快理解依存关系是怎么一回事强烈建议跑一下看看。4.4 自定义管道组件扩展Spacy的功能Spacy的管线是可以扩展的。如果你要给每一段文本加上自定义分析结果比如识别特定的领域术语、给文本打标签可以写一个自定义组件然后把它加入nlp的管道中。假设我们现在要给新闻文本做“是否包含技术关键词”的判断import spacy nlp spacy.load(en_core_web_sm) tech_keywords {artificial intelligence, machine learning, neural network, nlp} def tech_detector(doc): text doc.text.lower() doc._.is_tech_related any(kw in text for kw in tech_keywords) return doc # 注册自定义属性 from spacy.tokens import Doc Doc.set_extension(is_tech_related, defaultFalse) # 将自定义组件添加到管道中 nlp.add_pipe(tech_detector, lastTrue) # 测试 doc1 nlp(This is an article about machine learning.) doc2 nlp(The weather is nice today.) print(doc1._.is_tech_related) # True print(doc2._.is_tech_related) # False这个特性的价值在于它让你不需要修改Spacy源码就能把领域知识嵌入到标准处理流程中。我在实际项目里写过不少这种组件比如识别特定产品型号、标注敏感信息、判断文本的语言种类等。整个流程保持Spacy的原生结构后续维护起来非常方便。5. 常见问题与排查技巧实录5.1 NLTK数据下载失败的完整解决路径NLTK数据下载慢或失败可以说是我见过最多人问的问题。除了前面提到的本地解压方案还有两种补救方法。第一种使用nltk.download()的时候用download_dir参数指定一个不受权限限制的目录import nltk nltk.download(all, download_dir/home/user/nltk_data)然后在代码里用nltk.data.path.append()添加这个路径。第二种手动从网上获取数据包并解压。有个小技巧是NLTK数据包的文件名都是固定的包结构你手动下载后一定要保持目录层级正确比如punkt的数据必须放在tokenizers/punkt/目录下stopwords的数据必须放在corpora/stopwords/目录下。放错位置会导致加载时找不到文件。5.2 Spacy中文模型的使用与性能优化Spacy的中文模型zh_core_web_sm是建立在预训练语言模型之上的它支持中文分词、词性标注、依存分析、NER等功能。第一次加载时你会发现模型体积比较大内存占用也不小这在处理大数据量时要特别留意。如果你处理的是中文长文本我不建议一次把整篇文章塞给nlp()。spacy处理文本的长度和速度大体上是线性关系但长文本中的某些分析比如依存分析、实体识别会明显变慢。我通常的做法是先对长文本切句可以用sentencizer组件然后逐句进行处理这样不管是内存占用还是出错之后的排查都会更容易。另外Spacy对GPU的支持是通过spacy-transformers库实现的。如果你的机器有NVIDIA显卡并且安装了适配的CUDA版本可以通过以下方式启用GPU加速import spacy spacy.prefer_gpu() nlp spacy.load(zh_core_web_trf)不过说句实话如果你处理的文本量在几十万条以内CPU跑小型模型完全够用没必要一开始就上GPU徒增环境配置的复杂度。5.3 两个库切换时最容易踩的坑我在实际工作中经常要同时参考NLTK和Spacy的处理结果切换过程中踩过不少坑整理成一张速查表给你参考对比维度NLTKSpacy分词入口word_tokenize(text)doc nlp(text)之后遍历doc词性标注pos_tag(tokens)token.pos_、token.tag_命名实体ne_chunk(tagged)doc.ents停用词stopwords.words(english)nlp.Defaults.stop_words词形还原WordNetLemmatizer().lemmatize(w)token.lemma_句法分析nltk.RegexpParser需自己定义规则token.dep_、token.head相似度计算需要额外装库如gensimdoc.similarity(doc2)处理速度较慢快几十倍一个最容易出错的点NLTK的pos_tag是不分大小写的处理结果的但Spacy的token.pos_和token.tag_是两个不同的属性前者是粗粒度词性如NOUN、VERB后者是细粒度标签如NN、VBZ。如果你从NLTK迁移过来需要在代码里明确你用的是哪种标签体系否则很容易在后续规则编写时出错。5.4 内存与性能优化应对大规模文本入门阶段处理的都是几千字的小文本性能问题不明显。但一旦进入实战比如要做几万篇新闻的批量处理性能问题立刻凸显。对于NLTK瓶颈主要在纯Python循环和词形还原上。WordNetLemmatizer 每次调用都要查词库非常耗时。优化思路有两个一是对重复出现的词做缓存只对去重后的词集合做词形还原二是用stems替代lemmas虽然精度低一点但速度快得多。对于Spacy大部分功能已经用Cython优化过了真正的瓶颈在于大模型推理。我的经验是批量处理时尽量用nlp.pipe()而不是逐个调用nlp()。pipe()内部做了并行优化能显著提升吞吐量。import spacy nlp spacy.load(en_core_web_sm) texts [这里是文本1, 这里是文本2, 这里是文本3] # 错误示范循环逐个处理 # docs [nlp(text) for text in texts] # 正确示范批量处理 for doc in nlp.pipe(texts, batch_size50): print(doc.text, len(doc))如果不需要词向量或实体识别可以在加载模型后动态移除对应组件减少计算量nlp spacy.load(en_core_web_sm, disable[ner, parser])我见过不少人一上来就把所有功能都开着结果处理一篇长文要好几秒而实际需求只需要分词和词性标注。按需禁用组件处理速度可以直接提升数倍。6. 从入门到实战的三条进阶建议6.1 用真实数据练习别只跑官方示例官方文档和入门教程里用的都是短小的示例句子跑起来很顺但现实中的文本远没有那么“友好”。我的建议是入门阶段就去找真实的数据来练手。比如抓一些新闻标题、豆瓣影评、电商评论甚至你自己的聊天记录导出都可以拿来跑分词和实体识别。我第一次做新闻关键词提取时用的是网上公开的新闻数据集结果发现文本里有一堆HTML标签、多余的空白符、乱码符号NLTK和Spacy的处理结果都惨不忍睹。后来才意识到文本清洗是NLP项目里占比最大的工作量。没有任何一个库能替你解决脏数据的问题必须自己在管线的入口加上清洗逻辑比如用正则去掉网页标签、统一编码格式、处理中文全半角符号。6.2 中文处理要单独调优虽然我们这篇文章主要用英文示例但很多读者最终要处理的是中文文本。NLTK对中文的支持比较弱几乎只能做到分字级别谈不上真正的分词。Spacy的中文模型效果好很多但它内置的分词器在某些垂直领域比如医疗、金融的词边界识别上仍然不够精准。我处理中文文本的推荐方案是在Spacy管线的分词环节接入一个领域词典或者自定义分词器。Spacy允许你通过自定义tokenizer来实现这一点也可以在nlp.pipe()之前先对文本做一次词典匹配把领域词汇用特殊标记占位避免被错误切分。6.3 后续可以这样扩展把NLTK和Spacy掌握扎实之后你可以沿着这几个方向继续深入基于Spacy抽取的实体和依赖关系做定制化的信息抽取系统比如从简历中提取姓名、电话、邮箱、工作经历。利用Spacy的词向量和相似度计算做文档聚类、重复内容检测、问答系统的初步检索。把NLTK的文本分类能力与Spacy的特征提取能力结合用Spacy生成文本特征喂给scikit-learn的分类模型。学习spacy-transformers用预训练语言模型如BERT的中文版本替换默认的文本编码器提升语义理解的上限。我个人在实际操作中的体会是NLP入门的门槛其实不高真正难的是把一个个孤立的工具串成一个能解决问题的系统。NLTK帮你理解了“每个模块在做什么”Spacy帮你理解了“怎么把这些模块高效地组合起来”。把这两套工具吃透后面再学HuggingFace Transformers、LangChain这些更上层的框架时你会发现自己已经有了非常扎实的地基看什么文档都不慌。 NLTK与Spacy实战指南：从入门到工业级NLP应用
NLP这块我断断续续折腾了两三年从最开始拿NLTK一行行跑示例代码到后来用Spacy搭完整的中文文本处理管线中间踩过的坑比写过的代码还多。今天这篇就把NLTK和Spacy这两大Python NLP库的入门路线捋一遍从环境搭建到核心功能实操再到常见问题的排查尽量把我实际用下来的经验都写进去。无论是准备做文本分类、关键词提取、情感分析还是单纯想入门自然语言处理这篇文章都能让你少走不少弯路。先说清楚一件事NLTK和Spacy不是二选一的关系而是互补关系。NLTK更像一个学术工具箱什么都有一点适合学习算法原理、跑实验对比Spacy则是奔着生产环境去的速度快、接口统一、模型预训练质量高。入门阶段我的建议是两个都装上先用NLTK理解NLP的基本概念再用Spacy做实际项目。下面我会把这两条线分别展开讲清楚工具选型、环境搭建、核心操作和避坑经验。1. 先搞清楚NLTK和Spacy到底是什么关系1.1 NLTK的前世今生学术派的传家宝NLTKNatural Language Toolkit是宾夕法尼亚大学计算机与信息科学系开发的一套开源工具库从上世纪90年代末就开始维护了。它最大的特点就是“全”——分词、词性标注、句法分析、文本分类、情感分析、语义推理几乎所有NLP经典算法和数据集都有对应的实现。NLTK的设计思路偏学术它把很多算法用纯Python写出来代码可读性极强特别适合拿来学习算法内部原理。比如你想搞明白朴素贝叶斯分类器是怎么一步步计算的直接读NLTK的源码就能看懂。这在工业级库里是做不到的因为人家为了性能做了大量优化和封装。但NLTK的短板也很明显性能一般纯Python实现的算法在大规模文本上跑起来比较吃力API风格偏老派不同功能之间的调用方式不太统一预处理管线的默认配置也不够工程化很多细节需要自己调。1.2 Spacy的定位工业界的效率担当Spacy是另一个路线它从一开始就是奔着“让NLP技术真正落到生产环境”去的。核心代码用Cython编写性能和C语言级别的库直接对标在英文文本上Spacy的处理速度比NLTK快几十倍不止。Spacy最大的优势是它的“一站式Pipeline”设计。加载一个模型之后分词、词性标注、依存句法分析、命名实体识别、词向量映射这些操作会自动按顺序跑完而且每个结果都用统一的对象结构来承载。你只需要一行代码就能拿到一个处理结果对象所有分析信息都挂在上面写起来非常顺手。Spacy的预训练模型质量也相当高。官方提供的英文模型基于CNN或Transformer架构训练在命名实体识别、依存句法分析等任务上的准确率都处于开源工具的前列。对于中文Spacy也提供了基于预训练Bert的中文模型虽然体量比英文模型大不少但效果确实能打。1.3 到底该选哪一个如果你要做一个实际的项目比如新闻文本分类、客服工单自动打标、简历信息抽取我会毫不犹豫推荐Spacy。速度、稳定性、可扩展性都是为生产场景设计的。如果你是在校学生、研究人员或者想深入理解NLP算法背后的数学原理那NLTK更适合你毕竟它有完整的算法实现和文档能让你看清楚每一步在做什么。提示我的经验是不要在一个项目里混用两个库做同一件事。比如别用NLTK做分词、再用Spacy做词性标注这样会导致数据结构不一致后续处理很别扭。要么全部走NLTK要么全部走Spacy在一个管线上保持一致。入门阶段建议先用NLTK跑通“分词 → 停用词过滤 → 词频统计 → 简单分类”这条经典链路理解NLP的基本流程然后用Spacy重新实现一遍同样的任务感受一下两者的巨大差异。这样你对“为什么工业界都用Spacy”这个问题会有非常直观的体感。2. 环境搭建与基础准备含踩坑记录2.1 安装Anaconda和创建独立环境NLP相关的库依赖关系比较乱尤其是numpy、scipy这些科学计算库的版本很容易互相打架。我的建议是一开始就用Anaconda管理Python环境不要用系统自带的Python或者裸装Python。安装Anaconda之后先创建一个独立的虚拟环境把NLP相关的东西都隔离在里面conda create -n nlp python3.9 conda activate nlp提示Python版本不要追新。目前NLTK和Spacy对Python 3.8-3.10的支持最稳定3.11以上部分依赖可能编译出错。我周边好几个朋友就是用了Python 3.12装Spacy模型的时候报了一堆错。2.2 安装NLTK和Spacy激活环境之后直接通过pip安装两个库pip install nltk spacySpacy还需要单独下载预训练模型。英文模型和中文模型是分开的# 下载英文小型模型 python -m spacy download en_core_web_sm # 下载中文模型 python -m spacy download zh_core_web_sm这里有个细节要提醒一下模型下载的本质上是一个pip包如果你的网络环境访问国外源比较慢建议先配置国内镜像源再执行下载否则容易卡住或者超时。配置方式是在用户目录下创建或修改pip.confLinux/macOS或pip.iniWindows[global] index-url https://pypi.tuna.tsinghua.edu.cn/simple2.3 NLTK数据下载慢的终极解决方案NLTK最让人头疼的问题就是数据下载。你执行nltk.download()的时候它默认从https://raw.githubusercontent.com/nltk/nltk_data/拉取数据这在某些网络环境下慢到怀疑人生甚至直接卡死。搜索结果里“nltk下载慢”这个热词高居不下说明大家都被这个问题折磨过。这里分享一个我验证过很多次的方法。NLTK支持从本地路径加载数据所以思路就是想办法把数据打包下下来然后手动指定路径。第一步找到NLTK的数据目录。不同系统位置不太一样WindowsC:\Users\你的用户名\AppData\Roaming\nltk_dataLinux/macOS/usr/share/nltk_data或~/nltk_data第二步直接访问NLTK数据仓库把需要的压缩包手工下载下来。下载后解压到上述目录中对应的子目录下即可。比如我需要停用词表stopwords就把压缩包里的stopwords文件夹放到nltk_data/corpora/目录下。第三步验证是否能正常加载import nltk nltk.data.path.append(/你的路径/nltk_data) from nltk.corpus import stopwords print(stopwords.fileids())注意如果输出里能看到english和chinese等停用词列表文件就说明路径配置成功了。这个方法实测下来稳定性很高比反复重试nltk.download()靠谱得多。如果你不想手动下载压缩包还有另一个更省事的办法直接在命令行里指定数据包下载配置延时重试import nltk nltk.download(punkt, download_dir/你的路径/nltk_data)这一步如果还是慢那就老老实实用上面的本地解压方案吧。3. NLTK核心实操从分词到词性标注3.1 分词Tokenization实操分词是NLP里最基础也最关键的一步。我们拿到一篇文本不能直接丢给算法得先把文本拆成一个个“词”Token。英文分词相对简单因为单词之间有空格中文分词就要复杂得多因为词与词之间没有天然的分隔符。NLTK里英文分词最常用的方法是word_tokenizeimport nltk from nltk.tokenize import word_tokenize, sent_tokenize text Natural Language Processing is fascinating. I use NLTK and Spacy every day. # 分句 sentences sent_tokenize(text) print(sentences) # [Natural Language Processing is fascinating., I use NLTK and Spacy every day.] # 分词 tokens word_tokenize(text) print(tokens) # [Natural, Language, Processing, is, fascinating, ., I, use, NLTK, and, Spacy, every, day, .]如果你处理的是中文文本NLTK内置的word_tokenize就不太够用了需要加载带中文分词模型的数据包punkt然后使用sent_tokenize配合中文标点来分句再将句子按字切分。但说实话NLTK的中文分词能力很弱更多是演示性质。真实场景下处理中文我后面会详细讲Spacy的方案那才是能上生产的做法。3.2 停用词过滤与词频统计分完词之后文本里会有一堆“的”“了”“是”“and”“the”“is”这些没有实际语义的虚词。它们会干扰后续的分析所以要先过滤掉。NLTK内置了多语种的停用词表加载方式如下from nltk.corpus import stopwords from nltk.tokenize import word_tokenize text This is a simple example to demonstrate how to remove stopwords from a sentence. tokens word_tokenize(text) stop_words set(stopwords.words(english)) filtered_tokens [w for w in tokens if w.lower() not in stop_words and w.isalpha()] print(filtered_tokens) # [simple, example, demonstrate, remove, stopwords, sentence]注意我加了w.isalpha()这个条件作用是只保留纯字母的token把标点符号和数字过滤掉。这个细节在实战中非常有用比如处理新闻标题时如果不加这一步标点符号会变成干扰词。词频统计可以用NLTK的FreqDist类一行代码搞定from nltk.probability import FreqDist freq_dist FreqDist(filtered_tokens) print(freq_dist.most_common(5)) # [(simple, 1), (example, 1), ...]FreqDist返回的是带频次的单词列表按出现次数从高到低排序。这可以用来快速生成词云、提取关键词或者做简单的文本特征工程。3.3 词性标注与命名实体识别词性标注Part-of-Speech Tagging是给每个词标注它在句子中的语法角色比如名词、动词、形容词等。NLTK里调用pos_tag就能实现from nltk import pos_tag from nltk.tokenize import word_tokenize text Apple is looking at buying U.K. startup for $1 billion tokens word_tokenize(text) tagged pos_tag(tokens) for word, tag in tagged: print(f{word}: {tag})运行结果里每个词后面会跟一个标签比如NN代表普通名词、VBZ代表第三人称单数动词、NNP代表专有名词。这些都是宾州树库Penn Treebank的标签体系做NLP的话最好熟悉一下常见的那几个。命名实体识别NER是NLP里很实用的功能它能从文本中找出人名、地名、组织名、时间、金额等实体。NLTK自带了一个基于分类器的NER实现from nltk import ne_chunk chunked ne_chunk(tagged) print(chunked)不过说实话NLTK的NER效果比较一般尤其是对小规模文本和多语言文本识别准确率偏低。真正要拿NER去做项目比如从新闻里抽取公司名、人名我更推荐用Spacy的NER效果和速度都强很多。NLTK的NER适合理解原理不适合上生产。3.4 实战小项目新闻文本关键词提取把上面的知识点串起来我们做一个小的新闻关键词提取器。完整的NLTK版实现如下import nltk from nltk.corpus import stopwords from nltk.tokenize import word_tokenize, sent_tokenize from nltk.probability import FreqDist import string def extract_keywords(text, top_n10): # 1. 分句 sentences sent_tokenize(text) # 2. 分词并标准化 stop_words set(stopwords.words(english) list(string.punctuation)) words [] for sent in sentences: tokens word_tokenize(sent.lower()) filtered [w for w in tokens if w not in stop_words and w.isalpha()] words.extend(filtered) # 3. 词频统计 freq FreqDist(words) # 4. 取前N个高频词 return [word for word, count in freq.most_common(top_n)] news_text Natural language processing (NLP) is a subfield of linguistics, computer science, and artificial intelligence concerned with the interactions between computers and human language. It is used to apply machine learning algorithms to text and speech. keywords extract_keywords(news_text, top_n10) print(keywords)这个流程是所有文本分析的基础分句 → 分词 → 过滤停用词 → 统计 → 提取。理解了这条链路后面无论做情感分析、文本分类还是话题建模都是在它的基础上加复杂度。实操心得我最初做这类功能的时候会忽略词形还原Lemmatization这一步。比如“running”和“run”会被当成两个词统计导致词频结果失真。NLTK里的WordNetLemmatizer可以解决这个问题建议在过滤之后加一步from nltk.stem import WordNetLemmatizer lemmatizer WordNetLemmatizer() lemmatized [lemmatizer.lemmatize(w) for w in filtered]注意lemmatize默认是把词当名词来处理如果词是动词需要显式指定posv参数否则还原效果不对。4. Spacy核心实操工业级文本处理管线4.1 Spacy的基本使用流程Spacy的用法和NLTK有本质的区别。NLTK是你需要哪个功能就调用哪个函数像去超市买菜一样一个一个挑Spacy则是直接加载整个模型管线把文本倒进去所有分析结果一次性拿回来。import spacy # 加载英文模型 nlp spacy.load(en_core_web_sm) # 处理文本 doc nlp(Apple is looking at buying U.K. startup for $1 billion) # 直接从doc上取结果 for token in doc: print(f文本: {token.text}, 词性: {token.pos_}, 依存关系: {token.dep_}, 中心词: {token.head.text}) print(---- 实体识别 ----) for ent in doc.ents: print(f实体: {ent.text}, 类型: {ent.label_})跑起来之后你会瞬间感受到差距。NLTK里需要分别调用word_tokenize、pos_tag、ne_chunk才能拿到的东西在Spacy里处理完一次文本就全有了。而且输出结果是格式化好的Python对象可以直接通过属性访问不用自己去解析那些嵌套的树状结构。doc对象是整个Spacy管线的核心它的内部像一个大箱子里面装了词元token、句子sents、实体ents、名词短语noun_chunks等所有处理结果。整个模型是流式的文本进去之后分词、词性标注、依存分析、NER、词向量映射会按顺序自动执行这种“管线式”设计是Spacy能在工业界站稳脚跟的关键原因之一。4.2 词向量与相似度计算词向量Word Vector是NLP中的重要工具它把词语映射成向量让计算机能计算词语之间的语义相似度。Spacy提供了开箱即用的词向量和文本相似度计算功能。4.2.1 使用带词向量的模型en_core_web_sm这个小型模型体积小、速度快但它是不带真正词向量的它的token.vector属性返回的是一个无法体现语义差异的短向量。如果需要计算相似度建议使用中等模型或大型模型python -m spacy download en_core_web_md4.2.2 计算词与词、句与句之间的相似度import spacy nlp spacy.load(en_core_web_md) doc1 nlp(I like cats) doc2 nlp(I love dogs) # 计算两个文档句子的相似度 print(doc1.similarity(doc2)) # 输出类似 0.875 # 计算词与词的相似度 cat nlp(cat)[0] dog nlp(dog)[0] car nlp(car)[0] print(cat.similarity(dog)) # 输出较高比如 0.7 print(cat.similarity(car)) # 输出较低比如 0.3左右这条链路的底层逻辑是Spacy对每个词取预训练词向量然后对句子中的词向量取平均值得到句子向量最后利用余弦相似度衡量向量之间的相似程度。理解这个逻辑很重要因为句子向量取平均这个方案有个天然缺陷它会丢失语序信息和上下文语义。比如“猫追狗”和“狗追猫”这两个句子词向量取平均后是完全一样的。实操心得如果你要做的是语义搜索、文本去重这类任务句子相似度可以作为粗排的初筛手段但不要只依赖它。更好的做法是使用Spacy支持的自定义Transformer模型比如en_core_web_trf它能利用BERT这类预训练模型生成带上下文信息的句子向量效果会好很多代价就是推理速度慢、体积大。4.3 依存句法分析让机器理解句子结构依存句法分析Dependency Parsing是Spacy很值得说的功能。它用一棵树来表示句子成分之间的关系比如“主谓关系”、“动宾关系”、“修饰关系”。这在NLP应用里非常有用比如信息抽取时需要知道“谁对谁做了什么”。import spacy nlp spacy.load(en_core_web_sm) doc nlp(The quick brown fox jumps over the lazy dog) for token in doc: print(f{token.text:10s} - {token.dep_:10s} - {token.head.text})输出结果会显示每个词以及它依赖于哪个中心词。比如fox是句子主语它的中心词是jumpsquick、brown是修饰fox的形容词它们的中心词是fox。这个结构信息可以用来做关系抽取找出哪些词修饰哪个人名或公司名从而提取出更精准的信息。Spacy还提供了可视化工具displacy可以直接在Jupyter Notebook或者浏览器里生成依存关系图from spacy import displacy doc nlp(Apple is looking at buying U.K. startup for $1 billion) displacy.render(doc, styledep, jupyterTrue)对于刚入门的朋友图形化展示能帮你更快理解依存关系是怎么一回事强烈建议跑一下看看。4.4 自定义管道组件扩展Spacy的功能Spacy的管线是可以扩展的。如果你要给每一段文本加上自定义分析结果比如识别特定的领域术语、给文本打标签可以写一个自定义组件然后把它加入nlp的管道中。假设我们现在要给新闻文本做“是否包含技术关键词”的判断import spacy nlp spacy.load(en_core_web_sm) tech_keywords {artificial intelligence, machine learning, neural network, nlp} def tech_detector(doc): text doc.text.lower() doc._.is_tech_related any(kw in text for kw in tech_keywords) return doc # 注册自定义属性 from spacy.tokens import Doc Doc.set_extension(is_tech_related, defaultFalse) # 将自定义组件添加到管道中 nlp.add_pipe(tech_detector, lastTrue) # 测试 doc1 nlp(This is an article about machine learning.) doc2 nlp(The weather is nice today.) print(doc1._.is_tech_related) # True print(doc2._.is_tech_related) # False这个特性的价值在于它让你不需要修改Spacy源码就能把领域知识嵌入到标准处理流程中。我在实际项目里写过不少这种组件比如识别特定产品型号、标注敏感信息、判断文本的语言种类等。整个流程保持Spacy的原生结构后续维护起来非常方便。5. 常见问题与排查技巧实录5.1 NLTK数据下载失败的完整解决路径NLTK数据下载慢或失败可以说是我见过最多人问的问题。除了前面提到的本地解压方案还有两种补救方法。第一种使用nltk.download()的时候用download_dir参数指定一个不受权限限制的目录import nltk nltk.download(all, download_dir/home/user/nltk_data)然后在代码里用nltk.data.path.append()添加这个路径。第二种手动从网上获取数据包并解压。有个小技巧是NLTK数据包的文件名都是固定的包结构你手动下载后一定要保持目录层级正确比如punkt的数据必须放在tokenizers/punkt/目录下stopwords的数据必须放在corpora/stopwords/目录下。放错位置会导致加载时找不到文件。5.2 Spacy中文模型的使用与性能优化Spacy的中文模型zh_core_web_sm是建立在预训练语言模型之上的它支持中文分词、词性标注、依存分析、NER等功能。第一次加载时你会发现模型体积比较大内存占用也不小这在处理大数据量时要特别留意。如果你处理的是中文长文本我不建议一次把整篇文章塞给nlp()。spacy处理文本的长度和速度大体上是线性关系但长文本中的某些分析比如依存分析、实体识别会明显变慢。我通常的做法是先对长文本切句可以用sentencizer组件然后逐句进行处理这样不管是内存占用还是出错之后的排查都会更容易。另外Spacy对GPU的支持是通过spacy-transformers库实现的。如果你的机器有NVIDIA显卡并且安装了适配的CUDA版本可以通过以下方式启用GPU加速import spacy spacy.prefer_gpu() nlp spacy.load(zh_core_web_trf)不过说句实话如果你处理的文本量在几十万条以内CPU跑小型模型完全够用没必要一开始就上GPU徒增环境配置的复杂度。5.3 两个库切换时最容易踩的坑我在实际工作中经常要同时参考NLTK和Spacy的处理结果切换过程中踩过不少坑整理成一张速查表给你参考对比维度NLTKSpacy分词入口word_tokenize(text)doc nlp(text)之后遍历doc词性标注pos_tag(tokens)token.pos_、token.tag_命名实体ne_chunk(tagged)doc.ents停用词stopwords.words(english)nlp.Defaults.stop_words词形还原WordNetLemmatizer().lemmatize(w)token.lemma_句法分析nltk.RegexpParser需自己定义规则token.dep_、token.head相似度计算需要额外装库如gensimdoc.similarity(doc2)处理速度较慢快几十倍一个最容易出错的点NLTK的pos_tag是不分大小写的处理结果的但Spacy的token.pos_和token.tag_是两个不同的属性前者是粗粒度词性如NOUN、VERB后者是细粒度标签如NN、VBZ。如果你从NLTK迁移过来需要在代码里明确你用的是哪种标签体系否则很容易在后续规则编写时出错。5.4 内存与性能优化应对大规模文本入门阶段处理的都是几千字的小文本性能问题不明显。但一旦进入实战比如要做几万篇新闻的批量处理性能问题立刻凸显。对于NLTK瓶颈主要在纯Python循环和词形还原上。WordNetLemmatizer 每次调用都要查词库非常耗时。优化思路有两个一是对重复出现的词做缓存只对去重后的词集合做词形还原二是用stems替代lemmas虽然精度低一点但速度快得多。对于Spacy大部分功能已经用Cython优化过了真正的瓶颈在于大模型推理。我的经验是批量处理时尽量用nlp.pipe()而不是逐个调用nlp()。pipe()内部做了并行优化能显著提升吞吐量。import spacy nlp spacy.load(en_core_web_sm) texts [这里是文本1, 这里是文本2, 这里是文本3] # 错误示范循环逐个处理 # docs [nlp(text) for text in texts] # 正确示范批量处理 for doc in nlp.pipe(texts, batch_size50): print(doc.text, len(doc))如果不需要词向量或实体识别可以在加载模型后动态移除对应组件减少计算量nlp spacy.load(en_core_web_sm, disable[ner, parser])我见过不少人一上来就把所有功能都开着结果处理一篇长文要好几秒而实际需求只需要分词和词性标注。按需禁用组件处理速度可以直接提升数倍。6. 从入门到实战的三条进阶建议6.1 用真实数据练习别只跑官方示例官方文档和入门教程里用的都是短小的示例句子跑起来很顺但现实中的文本远没有那么“友好”。我的建议是入门阶段就去找真实的数据来练手。比如抓一些新闻标题、豆瓣影评、电商评论甚至你自己的聊天记录导出都可以拿来跑分词和实体识别。我第一次做新闻关键词提取时用的是网上公开的新闻数据集结果发现文本里有一堆HTML标签、多余的空白符、乱码符号NLTK和Spacy的处理结果都惨不忍睹。后来才意识到文本清洗是NLP项目里占比最大的工作量。没有任何一个库能替你解决脏数据的问题必须自己在管线的入口加上清洗逻辑比如用正则去掉网页标签、统一编码格式、处理中文全半角符号。6.2 中文处理要单独调优虽然我们这篇文章主要用英文示例但很多读者最终要处理的是中文文本。NLTK对中文的支持比较弱几乎只能做到分字级别谈不上真正的分词。Spacy的中文模型效果好很多但它内置的分词器在某些垂直领域比如医疗、金融的词边界识别上仍然不够精准。我处理中文文本的推荐方案是在Spacy管线的分词环节接入一个领域词典或者自定义分词器。Spacy允许你通过自定义tokenizer来实现这一点也可以在nlp.pipe()之前先对文本做一次词典匹配把领域词汇用特殊标记占位避免被错误切分。6.3 后续可以这样扩展把NLTK和Spacy掌握扎实之后你可以沿着这几个方向继续深入基于Spacy抽取的实体和依赖关系做定制化的信息抽取系统比如从简历中提取姓名、电话、邮箱、工作经历。利用Spacy的词向量和相似度计算做文档聚类、重复内容检测、问答系统的初步检索。把NLTK的文本分类能力与Spacy的特征提取能力结合用Spacy生成文本特征喂给scikit-learn的分类模型。学习spacy-transformers用预训练语言模型如BERT的中文版本替换默认的文本编码器提升语义理解的上限。我个人在实际操作中的体会是NLP入门的门槛其实不高真正难的是把一个个孤立的工具串成一个能解决问题的系统。NLTK帮你理解了“每个模块在做什么”Spacy帮你理解了“怎么把这些模块高效地组合起来”。把这两套工具吃透后面再学HuggingFace Transformers、LangChain这些更上层的框架时你会发现自己已经有了非常扎实的地基看什么文档都不慌。