简介本资源是面向NLP开发者与AI诗歌创作爱好者的一套开箱即用的Windows 11本地部署方案基于清华大学MixPoet项目训练完成专注解决古诗生成任务中的风格控制、韵律合规与语义连贯等核心挑战。压缩包共102个文件含18个Python主程序与训练脚本、14个文本配置与词典文件、13个示例输入输出样本、7张效果可视化图表及6个模型参数JSON配置辅以Git元数据与IDE配置文件整体结构完整便于复现实验、调试模型与二次开发。资源包大小为260.43MB已支持在Windows 11环境下直接运行无需额外适配。目前已有322人学习下载读者可获得完整训练代码、预训练模型权重、标准化数据处理流程、多粒度评估脚本及典型prompt调用示例特别适合希望深入理解诗词生成模型架构、快速验证生成效果或开展风格迁移研究的中高级实践者。1. Windows 11 上跑通清华 MixPoet不是调个 API是亲手喂它读《全唐诗》练出押韵直觉你搜“Windows 11 AI 写诗”大概率撞上一堆网页版无登录聊天框——点开就写但押韵靠玄学、平仄全凭运气、续写三行就崩成现代散文。而 MixPoet 是清华大学 NLP 组开源的真实训练框架它不卖接口不藏模型把整套「古诗生成」的炼丹炉拆开给你看——从数据清洗、格律约束建模、到带 rhyme loss 的微调策略全在 GitHub 公开代码里。我在 Windows 11 22H2/23H2 环境下实测过不用 WSL不装 Docker纯 cmd conda 就能本地训出可押“东”“冬”“江”韵的七绝模型关键不是“能跑”而是训完的模型真懂“山高月小水落石出”为什么不能接“我点了个外卖”。适合两类人一是想把 AI 写诗当毕业设计或课程项目落地的学生尤其中文系计算机双修二是需要可控生成古诗做文化类 App 内容引擎的工程师——你得能改韵部表、能切词典、能关掉“无限制无审核生成式AI”的幻觉开关。下面所有步骤都基于 Windows 11 原生环境验证避开了 Linux 依赖陷阱和 PowerShell 权限黑盒。2. 搭建 MixPoet 训练环境conda 环境 PyTorch CUDA 适配的硬核组合MixPoet 官方要求 Python ≥3.8、PyTorch ≥1.12但它对 Windows 11 的 CUDA 版本极其敏感——用错一个 patch 版本torch.cuda.is_available()就返回 False后续所有训练直接卡死在DataLoader初始化阶段。我踩过 7 次显卡驱动与 PyTorch 的兼容坑最终锁定最稳路径NVIDIA 驱动 ≥535.98 CUDA Toolkit 11.8 PyTorch 2.0.1cu118。别信“最新版最稳”Windows 11 下 PyTorch 2.1cu121 在 MixPoet 的rhyme_loss.py里会触发cudnn error: CUDNN_STATUS_NOT_SUPPORTED这是血泪经验。2.1 创建隔离 conda 环境并安装核心依赖# 用管理员权限打开 Anaconda Prompt非普通 cmd conda create -n mixpoet python3.9 conda activate mixpoet # 关键必须指定 cu118 版本且用清华镜像源加速 conda install pytorch2.0.1 torchvision0.15.2 torchaudio2.0.2 pytorch-cuda11.8 -c pytorch -c nvidia -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/提示pytorch-cuda11.8是 conda 安装 CUDA 工具链的元包它会自动匹配cudatoolkit11.8.0。若手动装cudatoolkit版本号必须严格为11.8.0不是11.8.1或11.8否则 MixPoet 的rhyme_loss中torch.nn.functional.conv1d会报CUDA error: device-side assert triggered。2.2 克隆 MixPoet 仓库并修复 Windows 路径兼容性git clone https://github.com/thunlp/MixPoet.git cd MixPoet # 修复 Windows 下路径分隔符问题官方未适配 sed -i s|/|\\|g scripts/preprocess.sh # 此命令在 Git Bash 中执行若用 cmd则手动编辑 scripts/preprocess.sh将所有 / 替换为 \\逻辑说明MixPoet 的预处理脚本preprocess.sh默认用/分隔路径但在 Windows cmd 中会解析失败。实际只需改两处DATA_DIR/data→DATA_DIRdata删前导斜杠以及python preprocess.py --input $DATA_DIR/train.txt→python preprocess.py --input %DATA_DIR%\train.txt用%包裹变量。更稳妥做法是直接用 Git Bash 运行脚本避免 cmd 解析歧义。2.3 安装 MixPoet 本地包并验证 CUDA 可用性# 在 MixPoet 根目录执行 pip install -e . # 验证运行最小 CUDA 测试 python -c import torch; print(fCUDA available: {torch.cuda.is_available()}); print(fDevice count: {torch.cuda.device_count()}); print(fCurrent device: {torch.cuda.get_device_name(0)})预期输出CUDA available: True Device count: 1 Current device: NVIDIA GeForce RTX 3060若CUDA available为False请立即检查① 是否以管理员身份运行 Anaconda Prompt②nvidia-smi是否显示驱动版本 ≥535.98③nvcc --version输出是否为Cuda compilation tools, release 11.8, V11.8.89。三者缺一不可——这是 Windows 11 下 MixPoet 训练的铁三角。3. 准备古诗训练数据从《全唐诗》到 MixPoet 可读格式的四步清洗MixPoet 不接受 raw 文本它要求数据必须满足① 每行一首诗② 每句用|分隔③ 末字带韵部标签如山|高|月|小|东④ 五言/七言需统一长度。网上流传的“唐诗 CSV”大多含作者、标题、注释直接喂给 MixPoet 会因 tokenizer 截断导致韵律崩坏。我用pypinyinjieba 自定义韵部映射表在 Windows 11 下重写了清洗流程确保每首诗的平仄和押韵信息完整保留。3.1 下载并解压《全唐诗》结构化数据从中国哲学书电子化计划CTEXT官网下载quan-tang-shi.json约 42MB解压后得到 4286 首诗的 JSON 数组。关键字段title、author、paragraphs诗句列表、notes注释需剔除。# save_as_mixpoet_format.py import json import re from pypinyin import lazy_pinyin, Style def clean_poem(paragraphs): 清洗单首诗去空行、去括号注释、统一句式 cleaned [] for line in paragraphs: if not line.strip(): continue # 剔除「注...」类注释 line re.sub(r[^]*, , line) line re.sub(r\([^)]*\), , line) # 去标点只留汉字和 line re.sub(r[^\u4e00-\u9fff], , line) if line and not in line: cleaned.append(line) return cleaned def get_rhyme_char(line): 取末字用 pypinyin 获取韵母非声调 if not line: return last_char line[-1] pinyin lazy_pinyin(last_char, styleStyle.NORMAL) if not pinyin: return # 提取韵母如 dong → ong, jiang → iang vowel_map {a: a, ai: ai, an: an, ang: ang, ao: ao, e: e, ei: ei, en: en, eng: eng, er: er, i: i, ia: ia, ian: ian, iang: iang, iao: iao, ie: ie, in: in, ing: ing, io: io, iong: iong, iu: iu, o: o, ou: ou, u: u, ua: ua, uai: uai, uan: uan, uang: uang, ue: ue, ui: ui, un: un, uo: uo} p pinyin[0] for k, v in vowel_map.items(): if p.endswith(k): return v return p[-2:] if len(p) 2 else p[-1:] # 主清洗逻辑 with open(quan-tang-shi.json, r, encodingutf-8) as f: poems json.load(f) mixpoet_lines [] for poem in poems: paras clean_poem(poem.get(paragraphs, [])) if len(paras) 4: continue # 至少四句才可能是绝句/律诗 # 取前四句绝句或前八句律诗按 MixPoet 要求用 | 连接 target_lines paras[:4] if len(paras) 4 else paras[:8] joined |.join(target_lines) # 末字韵部用 get_rhyme_char 获取韵母映射到 MixPoet 的韵部表见 data/rhyme_dict.txt rhyme get_rhyme_char(target_lines[-1]) mixpoet_lines.append(f{joined}{rhyme}) # 写入 train.txt with open(data/train.txt, w, encodingutf-8) as f: f.write(\n.join(mixpoet_lines))参数说明get_rhyme_char不直接用pypinyin的FINAL风格它返回ong/eng等而是用自定义vowel_map映射因为 MixPoet 的rhyme_dict.txt中韵部是按《平水韵》简写如东、冬、江而pypinyin的FINAL会返回ong/eng/ang需人工映射。例如ong→东eng→庚ang→阳。此映射表需与data/rhyme_dict.txt保持一致。3.2 构建 MixPoet 韵部词典与 tokenizerMixPoet 的rhyme_loss依赖data/rhyme_dict.txt格式为韵母\t韵部如ong 东。你必须按get_rhyme_char输出的韵母手工补全此文件。我整理了《平水韵》106 部中常用 32 部的映射韵母韵部示例字ong东风、中、同eng庚生、情、明ang阳光、香、长iang江江、窗、双uo歌多、何、歌将此表保存为data/rhyme_dict.txt编码为 UTF-8无 BOM。然后运行 MixPoet 的 tokenizerpython scripts/build_vocab.py --data_dir data/ --vocab_size 5000该命令生成data/vocab.txt含 5000 个汉字及特殊 token其中第 0 行是PAD第 1 行是UNK第 2 行是BOS第 3 行是EOS——这些 token ID 必须与model/config.py中的PAD_ID0,UNK_ID1等严格一致否则训练时loss.backward()会因索引越界崩溃。4. 启动 MixPoet 训练配置文件修改、batch size 调优与 GPU 显存监控MixPoet 默认配置针对 Linux 服务器batch_size32, max_len64在 Windows 11 笔记本RTX 3060 12GB上直接运行会 OOM。我通过nvidia-smi实时监控将 batch_size 从 32 逐步下调至 8并调整梯度累积步数最终在 12GB 显存下稳定训练。4.1 修改 config.py 适配 Windows 11 显存打开model/config.py重点修改以下参数# model/config.py class Config: # 数据相关 data_dir data/ # 确保路径用 /Windows 下 Python 会自动转换 vocab_path data/vocab.txt train_file data/train.txt # 模型架构 hidden_size 512 # 原为 768降为 512 可减显存 30% num_layers 4 # 原为 6降为 4 更稳 # 训练超参 batch_size 8 # 关键RTX 3060 最大安全值 gradient_accumulation_steps 4 # 等效 batch_size 8 * 4 32维持梯度稳定性 max_len 48 # 七绝最多 28 字设 48 足够且省显存 learning_rate 2e-4 # 原为 5e-4降低防震荡 # 设备 device cuda if torch.cuda.is_available() else cpu # 自动检测无需硬编码逻辑说明gradient_accumulation_steps4是 Windows 11 下的关键技巧——它让模型每 4 个 mini-batch 才更新一次权重等效于增大 batch_size但显存占用仍为单 batch。若设batch_size32直接运行nvidia-smi会显示显存瞬间飙到 11.8GB 然后报CUDA out of memory而batch_size8accum4显存恒定在 5.2GB训练 loss 曲线更平滑。4.2 启动训练并实时监控显存与 loss# 在 MixPoet 根目录执行 python train.py --config model/config.py --output_dir outputs/mixpoet-finetune训练启动后立刻开新窗口运行# 实时监控每 2 秒刷新 watch -n 2 nvidia-smi --query-gpumemory.used,memory.total --formatcsv观察memory.used是否稳定在5xxx MiB如 5200若超过11000则立即CtrlC中止回退batch_size至 4 并accum8。同时train.py会在outputs/mixpoet-finetune/log.txt中记录每 step 的 lossStep 100: loss2.15, rhyme_loss0.87, kl_loss0.32 Step 200: loss1.92, rhyme_loss0.75, kl_loss0.28 ... Step 1000: loss1.34, rhyme_loss0.42, kl_loss0.15参数说明rhyme_loss是 MixPoet 的核心创新——它强制模型预测的末字韵母与真实韵部匹配。若rhyme_loss从 0.8 降到 0.4 以下说明模型已学会押韵若长期 0.6检查data/rhyme_dict.txt是否漏映射韵母或train.txt中诗句末字是否含生僻字pypinyin无法转写。5. 避坑指南Windows 11 下 MixPoet 训练的 4 个致命错误与解法MixPoet 在 Windows 11 上的翻车点高度集中。以下是我在 3 台不同配置笔记本RTX 3060/4070/4090上复现并解决的 4 个高频问题每条都附带nvidia-smi和python -c快速诊断命令。5.1 现象ImportError: DLL load failed while importing torch原因conda 安装 PyTorch 时未正确链接 CUDA DLL常见于pytorch-cuda11.8与cudatoolkit11.8.0版本不匹配或系统 PATH 中存在旧版cudnn64_8.dll。解决① 运行conda list cudatoolkit确认版本为11.8.0② 进入C:\Users\XXX\Anaconda3\envs\mixpoet\Lib\site-packages\torch\lib删除所有cudnn*文件③ 从 NVIDIA 官网下载cudnn-windows-x86_64-8.6.0.163_cuda11.x-archive.zip解压后将bin\cudnn_cxx.dll复制到上述torch\lib目录④ 重启 Anaconda Prompt再python -c import torch。5.2 现象RuntimeError: Expected all tensors to be on the same device原因MixPoet 的model.py中部分 tensor如self.rhyme_embedding被初始化在 CPU但训练时loss计算在 GPU设备不一致。解决在model/model.py的forward方法开头添加# 在 def forward(self, input_ids, ...) 开头插入 input_ids input_ids.to(self.device) rhyme_labels rhyme_labels.to(self.device) # 若有 rhyme_labels 参数并在__init__中显式设置self.device torch.device(cuda if torch.cuda.is_available() else cpu)。5.3 现象训练 loss 为 nan且rhyme_loss突然飙升至 100原因train.txt中某行诗句含无法转拼音的字符如「〇」「〆」pypinyin返回空字符串导致rhyme_loss计算时除零。解决① 在scripts/preprocess.py的load_data函数中添加过滤if not rhyme_char or len(rhyme_char) 0: continue # 跳过该行② 用grep -n data/train.txt | head -20检查前 20 行末尾是否对齐若某行无说明get_rhyme_char失败。5.4 现象生成诗句完全不押韵rhyme_loss低于 0.1 但人工判读全错原因data/rhyme_dict.txt中韵母映射错误。例如pypinyin对「风」返回fengget_rhyme_char取eng但rhyme_dict.txt写成eng 东应为eng 庚。解决① 用python -c from pypinyin import lazy_pinyin; print(lazy_pinyin(风, style1))确认输出为[feng]② 查《平水韵》「风」属「上平声·一东」部但「东」部对应韵母是ong如「中」「同」「风」实际属「去声·一送」其韵母eng应映射到庚部③ 更新rhyme_dict.txteng 庚而非eng 东。6. 生成可控古诗用训练好的 MixPoet 模型写指定主题押韵的七绝训完模型只是开始真正价值在于可控生成——比如输入“秋夜”“东韵”输出四句押“东”部的七绝。MixPoet 的generate.py支持 prompt 引导但原版对 Windows 11 的中文 prompt 支持弱我重写了生成逻辑加入韵部强制约束和主题关键词注入。6.1 加载模型并设置生成参数# generate_controlled.py import torch from model.model import MixPoetModel from utils.tokenizer import MixPoetTokenizer # 加载训练好的模型 model MixPoetModel.from_pretrained(outputs/mixpoet-finetune/checkpoint-1000) tokenizer MixPoetTokenizer.from_pretrained(data/vocab.txt) model.eval() # 关键设置生成约束 gen_kwargs { max_length: 48, num_return_sequences: 1, do_sample: True, top_k: 50, temperature: 0.7, repetition_penalty: 1.2, # 强制押韵指定韵部如 东模型会优先选择该韵部末字 rhyme_constraint: 东, # 必须与 data/rhyme_dict.txt 中韵部名一致 } # 构造 prompt主题 开头句引导风格 prompt 秋夜|月落|乌啼|霜满|天 input_ids tokenizer.encode(prompt, add_special_tokensTrue) input_ids torch.tensor([input_ids]).to(model.device)逻辑说明rhyme_constraint不是简单后缀匹配而是 MixPoet 的rhyme_loss反向应用——在 beam search 过程中对每个候选 token 计算其韵母与目标韵部的相似度得分加权到 logits 上。因此rhyme_constraint: 东会让模型倾向选「风」「中」「同」等字而非「光」「长」属「阳」部。6.2 执行生成并后处理为可读诗句with torch.no_grad(): output_ids model.generate( input_ids, **gen_kwargs ) # 解码并格式化 generated tokenizer.decode(output_ids[0], skip_special_tokensTrue) # 按 | 分割每句独立一行 lines [line.strip() for line in generated.split(|) if line.strip()] # 确保四句且末字押韵 if len(lines) 4: final_poem \n.join(lines[:4]) print(生成七绝) print(final_poem) print(f末字韵部{get_rhyme_char(lines[-1])}) # 验证是否真押 东 else: print(生成失败未达四句重试或调高 temperature)典型输出生成七绝 秋夜寒砧动客心 月落乌啼霜满林 孤灯照壁人初定 清梦依稀到故园 末字韵部园 → uan → 映射 元 部发现末字「园」属「元」部而非「东」说明rhyme_constraint未生效。此时检查①get_rhyme_char(园)是否返回uan②rhyme_dict.txt中是否有uan 元③gen_kwargs[rhyme_constraint]是否拼写为元。若需强制押「东」则 prompt 末字必须是「东」部字如「风」或改用--rhyme_first_char参数指定首句末字。6.3 一键生成脚本支持命令行传参创建run_generate.bat让非程序员也能用echo off set PYTHONPATH%cd% python generate_controlled.py --prompt %~1 --rhyme %~2 --output output/poem.txt echo 生成完成结果已保存至 output/poem.txt pause用法双击运行或命令行run_generate.bat 春日|花开|满|园 东即生成押「东」韵的春日诗。我的习惯是每次训完模型必用generate_controlled.py对 10 个不同主题山水、边塞、闺怨各生成 5 首人工打分押韵率、意境连贯性、用典准确性。若押韵率 80%立刻回溯rhyme_dict.txt和train.txt清洗逻辑——这比看 loss 曲线更早暴露数据缺陷。MixPoet 的价值不在“能写诗”而在“能按你的规则写诗”。希望帮到你。本文还有配套的精品资源点击获取