人工智能语音音频深度学习NLP【免费下载链接】espnetEnd-to-End Speech Processing Toolkit项目地址https://gitcode.com/gh_mirrors/es/espnet点击查看免费下载IndicSpeech 是 ESPnet2 中面向印度语言的 TTS文本转语音recipe位于 egs2/indic_speech/tts1以 IIIT Hyderabad CVIT 实验室发布的 IndicSpeech 语料为基础实际使用其中的印地语Hindi子集进行单说话人语音合成建模。读完本文你将掌握如何运行该 recipe 的完整 9 阶段流水线数据下载、音素化、特征 dump、Tacotron2 训练、解码与客观评估如何通过conf/train.yaml与conf/tuning/下的配置文件切换模型Tacotron2 / Transformer / Conformer-FastSpeech2以及如何按模板流程训练 FastSpeech / FastSpeech2 这类需要教师模型时长信息的非自回归模型。本文以 egs2/indic_speech/tts1/README.md 为主体骨架结合该 recipe 目录下的真实脚本与配置文件展开recipe 的通用流程、FastSpeech 训练方法与 FAQ 以 egs2/TEMPLATE/tts1/README.md 为准。一、Recipe 概览为谁准备、解决什么问题egs2/indic_speech/tts1是 ESPnet2 TTS 体系中针对IndicSpeech 语料的标准 recipe。IndicSpeech 是面向印度语言的 TTS 数据集而本 recipe 实际落地到印地语子集Hindi_TTS_dataset见 local/data.sh 中的spkHindi_TTS_dataset以及 run.sh 中的--lang hi。作为 ESPnet2 的标准 recipe 入口该 README 有意保持精简核心操作指引How to run、FastSpeech 训练、FastSpeech2 训练、FAQ统一委托给模板文档 egs2/TEMPLATE/tts1/README.md而语料相关的差异化逻辑数据准备、G2P 策略、默认训练/解码配置则沉淀在 recipe 自身的脚本与配置中。这种短 README 模板文档 recipe 脚本的组织方式是 ESPnet2 在数十个语料 recipe 间保持一致性、避免重复维护的做法也意味着阅读本文时应把 egs2/TEMPLATE/tts1/README.md 与 recipe 本地文件对照使用。二、Recipe 目录结构速览进入 egs2/indic_speech/tts1 后你会看到以下关键文件路径作用run.sh主入口脚本封装默认参数并调用tts.shtts.shESPnet2 标准 TTS 流水线脚本来自模板按--stage/--stop-stage驱动各阶段db.sh语料路径配置INDIC_SPEECHdownloads表示可自动下载cmd.sh作业调度后端local / stdout / sge / pbs / slurm / ssh / jhupath.sh环境变量依赖 tools 安装的 ESPnet2 环境local/data.sh语料下载、数据划分、音素化等数据准备逻辑local/data_prep.py解析语料标注并生成 Kaldi 风格数据目录conf/train.yaml默认训练配置Tacotron2conf/decode.yaml默认解码配置conf/tuning/调优配置train_conformer_fastspeech2.yaml、train_tacotron2.yaml、train_transformer.yaml、decode_fastspeech.yaml、decode_tacotron2.yamlconf/queue.conf、conf/slurm.conf、conf/pbs.conf调度器参数模板pyscripts/、steps/、utils/与模板共享的 Python/Shell 工具链其中run.sh与local/data.sh是体现本语料差异化的核心文件后续章节逐一展开。三、快速开始一条命令跑通默认 Tacotron2按照模板 egs2/TEMPLATE/tts1/README.md 的 How to run 流程在 recipe 目录下执行# 1. 进入 recipe 目录 cd egs2/indic_speech/tts1 # 2.可选修改语料下载目录 # 默认 INDIC_SPEECHdownloadsrecipe 会自动下载语料 vim db.sh # 3.可选若使用作业调度系统修改 cmd.sh 与 conf/*.conf # 默认 cmd_backendlocal直接在本机并行执行 vim cmd.sh # 4. 运行完整流水线默认训练 Tacotron2feats_typeraw token_typephn ./run.sh默认配置下./run.sh会依次执行数据准备、特征 dump、时长/静音过滤、词表生成、统计收集、训练、解码与评估。完成后 recipe 目录下会生成三类产物以模板文档中的标准布局为准├── data/ # Kaldi 风格数据目录tr_no_dev_phn / dev_phn / eval1_phn ├── dump/ # 特征 dump 目录token_list、raw/、srctexts 等 └── exp/ # 实验目录 ├── tts_stats_raw_phn_tacotron2_g2p_none/ # 归一化统计量 └── tts_train_raw_phn_tacotron2_g2p_none/ # 模型目录 ├── config.yaml # 训练使用的配置快照 ├── train.log # 训练日志 ├── *epoch.pth # 各 epoch 模型参数 ├── checkpoint.pth # 模型优化器调度器 ├── latest.pth # 最新参数软链接 ├── *.ave_5best.pth # 平均参数推荐用于解码 ├── decode_train.loss.ave/ # 解码结果 │ ├── dev/ eval1/ │ │ ├── wav/ # 生成的波形默认 Griffin-Lim │ │ ├── norm/ denorm/ # 归一化/反归一化特征 │ │ ├── att_ws/ probs/ # 注意力/停止概率可视化 │ │ └── durations feats_type speech_shape ├── tensorboard/ images/ └── att_ws/ # 训练过程注意力图新手建议先用--stage与--stop-stage逐阶段执行理解每一步的处理与目录变化./run.sh --stage 1 --stop-stage 1 ./run.sh --stage 2 --stop-stage 2 # ... 逐阶段推进 ./run.sh --stage 8 --stop-stage 8四、run.sh 默认参数全解析run.sh 定义了本 recipe 的特征参数与文本处理策略是整个 recipe 的控制台。逐项拆解如下特征相关参数fs24000 # 采样率 24 kHz n_fft2048 # FFT 点数 n_shift300 # 帧移hop size300 点 win_length1200 # 窗长 1200 点相比 LJSpeech 常见的 22.05 kHz本 recipe 采用 24 kHz 采样率因此在 conf/train.yaml 中batch_bins: 3750000的注释也特别说明for feats_typeraw, * n_shift / n_mels即 raw 特征下 batch 大小需按帧移与梅尔维度的比例换算。文本处理策略预转换音素而非训练时动态 G2Ptext_formatphn # 数据准备阶段就把文本转成音素 g2pespeak_ng_hindi # 在 local/data.sh 中用于转换文本 g2pnone # 训练时不再做 G2P文本已是音素 token_typephn # 词表按音素构建这是本 recipe 最具特色的设计。run.sh的注释明确说明原因On-the-fly with Espeak is really slow, so we convert text into phn in data prep stage via--text_formatphnand useg2pnonefor training.即espeak-ng 的在线 G2P 转换非常慢所以选择在数据准备阶段用espeak_ng_hindi一次性把印地语文本转成音素序列训练与解码阶段则使用g2pnone按空格分词即可大幅提升数据加载效率。配套地local_data_opts --text_format ${text_format}当text_formatphn时追加--g2p espeak_ng_hindi传给local/data.sh数据集名追加_phn后缀train_settr_no_dev_phn、valid_setdev_phn、test_setsdev_phn eval1_phn--srctexts data/${train_set}/text指向已音素化的训练集文本用于生成音素词表。其余关键参数--audio_format wav # 音频格式 --lang hi # 语言标签印地语 --feats_type raw # 直接使用原始波形特征而非 fbank --cleaner none # 不做文本清洗语料标注已较干净 --train_config conf/train.yaml # 默认 Tacotron2 --inference_config conf/decode.yaml # 默认解码配置五、数据准备阶段详解stage -1 ~ 1数据准备完全由 local/data.sh 驱动共 3 个子阶段。stage -1语料下载与解压unzip ${db_root}/${spk}/Dataset.zip mv Dataset ${db_root}/${spk} rm ${db_root}/${spk}/Dataset.zipdb_root${INDIC_SPEECH}取自 db.sh默认INDIC_SPEECHdownloads即语料位于downloads/Hindi_TTS_dataset/下若你已下载语料到本地直接在db.sh中把INDIC_SPEECH改为绝对路径即可注意 db.sh 中 JHU 环境默认将其置空需要自行指定。stage 0生成 Kaldi 风格数据目录python3 local/data_prep.py -d ${db_root} utils/spk2utt_to_utt2spk.pl data/${spk}/spk2utt data/${spk}/utt2spk utils/fix_data_dir.sh data/${spk} utils/validate_data_dir.sh --no-feats data/${spk}data_prep.py 的核心逻辑是解析语料的annotations.csv|分隔第一列为音频文件如Dataset/3487.wav第二列为文本标注若目录中只有.mp3先用ffmpeg -i xxx.mp3 -ac 1 xxx.wav -loglevel quiet转成单声道 wav每个 utterance 的 ID 统一命名为Hindi_TTS_dataset_编号最终写出data/Hindi_TTS_dataset/{text,wav.scp,spk2utt}三个文件spk2utt中所有句子都归属唯一说话人Hindi_TTS_dataset。随后用 Kaldi 工具做数据划分subset_data_dir.sh --last/--first# 从全集取最后 200 条作为临时集 utils/subset_data_dir.sh --last data/${spk} 200 data/${spk}_tmp # 临时集最后 100 条 → eval前 100 条 → dev utils/subset_data_dir.sh --last data/${spk}_tmp 100 data/${eval_set} # eval utils/subset_data_dir.sh --first data/${spk}_tmp 100 data/${dev_set} # dev # 全集去掉 200 条后 → train_no_dev n$(( $(wc -l data/${spk}/wav.scp) - 200 )) utils/subset_data_dir.sh --first data/${spk} ${n} data/${train_set} # train_no_dev rm -rf data/${spk}_tmp即dev / eval 各 100 条其余全部进入训练集注意 eval 取自临时集末尾、dev 取自临时集开头训练集与两者无重叠。stage 1文本音素化for dset in ${train_set} ${dev_set} ${eval_set}; do utils/copy_data_dir.sh data/${dset} data/${dset}_phn pyscripts/utils/convert_text_to_phn.py --g2p ${g2p} --nj ${nj} \ data/${dset}/text data/${dset}_phn/text utils/fix_data_dir.sh data/${dset}_phn done该阶段用espeak_ng_hindi音素模型g2pespeak_ng_hindinj12并行把text转换为音素序列生成tr_no_dev_phn、dev_phn、eval_phn三套数据目录供后续 token 化与训练使用。模板文档中列出的espeak_ng_hindi转换示例如नमस्ते दुनिया→[n, ə, m, ˈʌ, s, t, eː, d, ˈʊ, n, ɪ, j, ˌaː]即对应此类输出音素词表因此可保持较小规模。六、模板流水线九个阶段的完整流程除数据准备外其余阶段由 egs2/TEMPLATE/tts1/README.md 统一定义IndicSpeech recipe 完全复用。整体流程如下Data preparationlocal/data.sh生成 Kaldi 风格data/目录本 recipe 还包含_phn音素版模板同样支持通过scripts/mfa.sh生成 Montreal-Forced-Aligner 对齐需--split_sets、--samplerate、--acoustic_model等额外参数此时可跳过local/data.sh。Wav dump / Embedding preparation重排wav.scp--use_spk_embed true时抽取说话人嵌入--spk_embed_tool可选 kaldi / speechbrain / espnet--use_sid true/--use_lid true时生成说话人 ID / 语言 ID 嵌入。Extract speaker embeddings抽取说话人嵌入多说话人模型用。Removal of long / short data按--min_wav_duration/--max_wav_duration过滤过长/过短句。Token list generation从srctexts生成音素词表本 recipe 因预转换文本训练时--g2p none、--cleaner none。TTS statistics collection收集输入输出 shape 信息并计算归一化统计量均值/方差。TTS training--train_config指定训练配置。TTS decoding--inference_config指定解码配置默认用 Griffin-Lim 从梅尔谱恢复波形。TTS eval using versa可选用 versa 计算 PESQ、STOI、MCD、F0 相关指标、UTMOS/DNSMOS/PLCMOS 等伪 MOS 分数与说话人相似度。可选Pack results打包模型以便上传 Hugging Face。可选Upload to Hugging Face分享训练好的模型。七、默认训练配置Tacotron2conf/train.yaml 参数注解默认训练配置 conf/train.yaml 是 ESPnet2 的经典 Tacotron2 设定注释标明仅需单张 12 GB 显存 GPUTitan V 上约 1 天完成。核心参数如下模型结构tts: tacotron2参数默认值含义embed_dim512音素 embedding 维度elayers/eunits1 / 512编码器 BLSTM 层数与单元数econv_layers/econv_chans/econv_filts3 / 512 / 5编码器卷积层数、通道数、卷积核atype/adimlocation / 512注意力类型与维度aconv_chans/aconv_filts32 / 15注意力卷积通道与卷积核cumulate_att_wtrue是否累积注意力权重dlayers/dunits2 / 1024解码器 LSTM 层数与单元数prenet_layers/prenet_units2 / 256PreNet 层数与单元数postnet_layers/postnet_chans/postnet_filts5 / 512 / 5PostNet 卷积层数、通道数、卷积核dropout_rate/zoneout_rate0.5 / 0.1dropout 与 zoneoutreduction_factor1时间归约因子spk_embed_dimnull说话人嵌入维度单说话人无需use_maskingtrue损失计算时遮蔽 paddingbce_pos_weight5.0停止 token 二分类正样本权重use_guided_attn_losstrue使用引导注意力损失加速对角注意力学习guided_attn_loss_sigma/lambda0.4 / 1.0引导注意力损失的 sigma 与强度优化器与训练设置optim: adam optim_conf: lr: 1.0e-03 eps: 1.0e-06 weight_decay: 0.0 num_iters_per_epoch: 500 max_epoch: 200 grad_clip: 1.0 accum_grad: 1 batch_bins: 3750000 # raw 特征下按 numel 动态 batch batch_type: numel sort_in_batch: descending sort_batch: descending num_workers: 1 train_dtype: float32 keep_nbest_models: 5 num_att_plot: 3 seed: 0 best_model_criterion: - - valid - loss - min - - train - loss - min值得注意的工程细节ESPnet2 默认用batch_typenumelbatch_bins而非固定batch_size按元素总数动态组 batch从而在不同句长下保持显存利用率稳定keep_nbest_models: 5会保留 5 个最佳模型解码时通常用*.ave_5best.pth平均参数。八、调优配置Conformer-FastSpeech2 与更多模型conf/tuning 目录为不同模型提供现成配置train_conformer_fastspeech2.yamlConformer 编码器/解码器的 FastSpeech2train_tacotron2.yaml、train_transformer.yamlTacotron2 / Transformer-TTS 变体decode_fastspeech.yaml、decode_tacotron2.yaml对应解码配置。以 train_conformer_fastspeech2.yaml 为例注释标明单张 12 GB 显存 GPU、Titan V 约 4 天它演示了 FastSpeech2 类非自回归模型的核心配置要素tts: fastspeech2 tts_conf: adim: 384 # 注意力维度 model_size aheads: 2 # 注意力头数 elayers: 4 # 编码器层数 eunits: 1536 # 编码器 FF 单元数 dlayers: 4 # 解码器层数 dunits: 1536 # 解码器 FF 单元数 encoder_type: conformer decoder_type: conformer duration_predictor_layers: 2 duration_predictor_chans: 256 pitch_predictor_layers: 5 pitch_predictor_chans: 256 energy_predictor_layers: 2 energy_predictor_chans: 256 reduction_factor: 1 init_type: xavier_uniform # ...各类 dropout、conformer 细节参数省略 # 额外的韵律输入 pitch_extract: dio pitch_normalize: global_mvn energy_extract: energy energy_normalize: global_mvn optim: adam optim_conf: lr: 1.0 scheduler: noamlr scheduler_conf: model_size: 384 warmup_steps: 4000 num_iters_per_epoch: 1000 max_epoch: 200 batch_bins: 12000000 # feats_typeraw关键差异点额外输入pitch_extract: dio基频提取与energy_extract: energy并在统计阶段做global_mvn归一化——这正是 FastSpeech2 相对 FastSpeech 增加的内容调度器使用noamlrNoam learning rate schedule配合warmup_steps: 4000这也是 Transformer 系模型的标准做法配置注释明确说明与原始 FastSpeech2 论文不同此处采用与 FastPitch 一致的token 级平均 pitch/energy且不做量化。若要训练多说话人/多语言模型可参考 egs2/TEMPLATE/tts1/README.md 中的扩展方案--use_spk_embed true提取说话人嵌入tts_conf.spk_embed_dim、--use_sid true使用说话人 ID embeddingtts_conf.spks、--use_lid true使用语言 ID embeddingtts_conf.langs并支持 sid lid 组合。九、FastSpeech / FastSpeech2 训练流程原 README 明确指引 FastSpeech 与 FastSpeech2 训练方法见模板文档此处完整继承并针对本 recipe 落地说明。非自回归模型FastSpeech 系列需要教师模型的注意力时长信息因此必须先完成自回归教师模型Tacotron2 / Transformer的训练。第一步用教师模型解码出时长# 指定教师模型目录对训练/验证/测试全集解码 ./run.sh --stage 8 \ --tts_exp exp/tts_train_raw_phn_tacotron2_g2p_none \ --test_sets tr_no_dev_phn dev_phn eval1_phn这会生成durations文件各输入 token 的时长位于exp/.../decode_train.loss.ave/。第二步FastSpeech知识蒸馏版./run.sh --stage 7 \ --train_config conf/tuning/train_fastspeech2.yaml \ --teacher_dumpdir exp/tts_train_raw_phn_tacotron2_g2p_none/decode_train.loss.ave上面使用的是教师模型生成的梅尔谱作为回归目标即知识蒸馏训练。若想以真实梅尔谱为目标需要在解码时开启教师强制./run.sh --stage 8 \ --tts_exp exp/tts_train_raw_phn_tacotron2_g2p_none \ --inference_args --use_teacher_forcing true \ --test_sets tr_no_dev_phn dev_phn eval1_phn ./run.sh --stage 7 \ --train_config conf/tuning/train_fastspeech2.yaml \ --teacher_dumpdir exp/tts_train_raw_phn_tacotron2_g2p_none/decode_use_teacher_forcingtrue_train.loss.ave第三步FastSpeech2必须教师强制 重新统计FastSpeech2 额外使用 F0 与 energy因此流程上 FastSpeech 是必须使用 teacher forcing且要从统计收集阶段重新计算含韵律特征的统计量./run.sh --stage 6 \ --train_config conf/tuning/train_fastspeech2.yaml \ --teacher_dumpdir exp/tts_train_raw_phn_tacotron2_g2p_none/decode_use_teacher_forcingtrue_train.loss.ave \ --tts_stats_dir exp/tts_train_raw_phn_tacotron2_g2p_none/decode_use_teacher_forcingtrue_train.loss.ave/stats \ --write_collected_feats true其中--tts_stats_dir指定统计量输出目录--write_collected_feats true将收集到的特征落盘可选但能加速后续训练。关于时长来源模板 FAQ 说明FastSpeech2 的时长与 FastSpeech 一致来自教师模型注意力权重详见 FastSpeech 论文。十、解码配置与神经声码器默认解码配置 conf/decode.yaml 面向自回归模型threshold: 0.5 # 停止 token 阈值控制生成何时终止 maxlenratio: 10.0 # 生成最大长度 输入长度 × maxlenratio minlenratio: 0.0 # 生成最小长度 输入长度 × minlenratio use_att_constraint: false # 是否使用 Deep Voice 3 的注意力约束仅 Tacotron2 支持 backward_window: 1 # 注意力约束的后向窗口 forward_window: 3 # 注意力约束的前向窗口配置注释提示若出现删除deletion或重复repetition问题可尝试use_att_constraint: true使生成更稳定但注意力约束在 Transformer 中不受支持。解码默认用 Griffin-Lim 从梅尔谱重建波形如需更高质量可外接神经声码器# 使用 parallel_wavegan 提供的预训练 melgan . ./path.sh pip install -U parallel_wavegan ./run.sh --stage 8 \ --inference_args --vocoder_tag parallel_wavegan/ljspeech_style_melgan.v1 \ --inference_tag decode_with_ljspeech_style_melgan.v1 # 使用自己训练的声码器 checkpoint ./run.sh --stage 8 --vocoder_file /path/to/checkpoint-xxxxxxsteps.pkl --inference_tag decode_with_my_vocoder注意24 kHz 语料与 LJSpeech 风格声码器存在采样率匹配问题组合外置声码器时需确保其训练采样率与fs24000一致。conf/tuning/decode_fastspeech.yaml则针对非自回归模型FastSpeech 系列提供解码配置。十一、客观评估与 FAQ 精选客观评估指标recipe 的评估脚本复用模板pyscripts/utils/下的工具如evaluate_mcd.py、evaluate_f0.py、evaluate_pseudomos.py、evaluate_cfsd.py、evaluate_secs.py、evaluate_speechbertscore.py、evaluate_speechbleu.py常用命令如下以eval1为例cd egs2/indic_speech/tts1 . ./path.sh # MCD梅尔倒谱失真反映说话人/韵律/音素内容相似度使用 DTW 对齐长度 ./pyscripts/utils/evaluate_mcd.py \ exp/model_dir/decode_dir/eval1/wav/wav.scp \ dump/raw/eval1_phn/wav.scp # log-F0 RMSE可加 --f0min/--f0max 限定范围更精确 ./pyscripts/utils/evaluate_f0.py \ exp/model_dir/decode_dir/eval1/wav/wav.scp \ dump/raw/eval1_phn/wav.scp # 伪 MOS 自动预测UTMOS/DNSMOS/PLCMOS ./pyscripts/utils/evaluate_pseudomos.py \ exp/model_dir/decode_dir/eval1/wav/wav.scp \ dump/raw/eval1_phn/wav.scp # CER用 ASR 模型衡量可懂度 ./scripts/utils/evaluate_asr.sh \ --model_tag asr_model_tag --nj 1 \ --inference_args --beam_size 10 --ctc_weight 0.4 --lm_weight 0.0 \ --gt_text dump/raw/eval1_phn/text \ exp/model_dir/decode_dir/eval1/wav/wav.scp \ exp/model_dir/decode_dir/asr_results模板文档特别提醒客观指标尤其高保真合成难以完全反映主观听感建议配合主观评测对 ASR 评测先去除标点remove_punctuation.pl并在首尾补静音sox pad通常能获得更合理的 CER。精选 FAQ来自模板模型末尾生成无意义语音多为停止 token 预测失败可尝试推理时use_attention_constraintTrue仅 Tacotron2、训练时加大bce_pos_weight如 10.0或改用 FastSpeech / FastSpeech2。自建数据集训练不佳大多数问题源于数据清洗——关注训练注意力图TTS 中 loss 参考意义有限、去除句首尾静音、切分句中长静音、有 G2P 时优先用音素、尽量清洗文本缩写/数字、必要时用预训练模型做适配、小数据集可加大reduction_factor。组合神经声码器出现金属噪声常见于未以噪声为输入的声码器MelGAN/HiFiGAN对声学特征失配敏感可通过对 text2mel GTA 输出微调声码器或 text2mel 与声码器联合训练缓解。Tacotron2 / Transformer 输出不确定解码器 PreNet 始终应用 dropout可用--always_fix_seed固定结果。FastSpeech2 的时长如何生成与 FastSpeech 相同由教师模型注意力权重计算得到。总结egs2/indic_speech/tts1/README.md 虽然简短但作为 ESPnet2 语料级 recipe 的标准入口其背后是一套完整可复现的印度语 TTS 生产链路local/data.sh负责下载、划分与espeak_ng_hindi音素化run.sh 通过--text_format phn 训练期g2pnone规避在线 G2P 的性能瓶颈conf/train.yaml 提供开箱即用的单卡 Tacotron2 基线conf/tuning 则覆盖 Transformer 与 Conformer-FastSpeech2 等进阶模型。通用的阶段划分、FastSpeech 系训练法、评估方法与 FAQ 均可回溯到 egs2/TEMPLATE/tts1/README.md环境搭建与更细的训练选项可进一步参考 doc/installation.md、doc/espnet2_tutorial.md 与 doc/espnet2_training_option.md。对想要在印度语或其他低资源语言上快速搭建 TTS 的开发者而言该 recipe 是一条低门槛、可对照源码逐步验证的实践路径。赞分享人工智能语音音频深度学习NLP【免费下载链接】espnetEnd-to-End Speech Processing Toolkit项目地址https://gitcode.com/gh_mirrors/es/espnet点击查看免费下载相关推荐ESPnet2 SVS2 歌声合成 Recipe 全解析基于离散 Token 的端到端歌唱语音合成训练指南ESPnet2 SVS2 歌声合成 Recipe 全解析基于离散 Token 的端到端歌唱语音合成训练指南 导读 SVS2 是 ESPnet2 中新一代歌声合人工智能语音音频深度学习NLPESPnet2 瑞士法语多音词语料 ASR 实战Conformer 端到端语音识别 Recipe 与结果复盘ESPnet2 瑞士法语多音词语料 ASR 实战Conformer 端到端语音识别 Recipe 与结果复盘 本篇基于 ESPnet 仓库中 egs2/pol人工智能语音音频深度学习NLPSeraphine英雄联盟玩家的智能游戏助手完全指南Seraphine英雄联盟玩家的智能游戏助手完全指南 你是否在英雄联盟对局中遇到过这些问题选择英雄时犹豫不决、不知道队友对手的实力、符文出装总是跟不上版本人工智能语音音频深度学习NLP上一篇YOLOv10 超参数调优深度指南解读 Tuner 遗传演化机制与 model.tune() 实战下一篇突破Go性能瓶颈c2goasm实现20倍加速的SIMD汇编实战指南创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 ESPnet2 IndicSpeech TTS Recipe 实战指南：基于印度语语料的端到端语音合成全流程解析
人工智能语音音频深度学习NLP【免费下载链接】espnetEnd-to-End Speech Processing Toolkit项目地址https://gitcode.com/gh_mirrors/es/espnet点击查看免费下载IndicSpeech 是 ESPnet2 中面向印度语言的 TTS文本转语音recipe位于 egs2/indic_speech/tts1以 IIIT Hyderabad CVIT 实验室发布的 IndicSpeech 语料为基础实际使用其中的印地语Hindi子集进行单说话人语音合成建模。读完本文你将掌握如何运行该 recipe 的完整 9 阶段流水线数据下载、音素化、特征 dump、Tacotron2 训练、解码与客观评估如何通过conf/train.yaml与conf/tuning/下的配置文件切换模型Tacotron2 / Transformer / Conformer-FastSpeech2以及如何按模板流程训练 FastSpeech / FastSpeech2 这类需要教师模型时长信息的非自回归模型。本文以 egs2/indic_speech/tts1/README.md 为主体骨架结合该 recipe 目录下的真实脚本与配置文件展开recipe 的通用流程、FastSpeech 训练方法与 FAQ 以 egs2/TEMPLATE/tts1/README.md 为准。一、Recipe 概览为谁准备、解决什么问题egs2/indic_speech/tts1是 ESPnet2 TTS 体系中针对IndicSpeech 语料的标准 recipe。IndicSpeech 是面向印度语言的 TTS 数据集而本 recipe 实际落地到印地语子集Hindi_TTS_dataset见 local/data.sh 中的spkHindi_TTS_dataset以及 run.sh 中的--lang hi。作为 ESPnet2 的标准 recipe 入口该 README 有意保持精简核心操作指引How to run、FastSpeech 训练、FastSpeech2 训练、FAQ统一委托给模板文档 egs2/TEMPLATE/tts1/README.md而语料相关的差异化逻辑数据准备、G2P 策略、默认训练/解码配置则沉淀在 recipe 自身的脚本与配置中。这种短 README 模板文档 recipe 脚本的组织方式是 ESPnet2 在数十个语料 recipe 间保持一致性、避免重复维护的做法也意味着阅读本文时应把 egs2/TEMPLATE/tts1/README.md 与 recipe 本地文件对照使用。二、Recipe 目录结构速览进入 egs2/indic_speech/tts1 后你会看到以下关键文件路径作用run.sh主入口脚本封装默认参数并调用tts.shtts.shESPnet2 标准 TTS 流水线脚本来自模板按--stage/--stop-stage驱动各阶段db.sh语料路径配置INDIC_SPEECHdownloads表示可自动下载cmd.sh作业调度后端local / stdout / sge / pbs / slurm / ssh / jhupath.sh环境变量依赖 tools 安装的 ESPnet2 环境local/data.sh语料下载、数据划分、音素化等数据准备逻辑local/data_prep.py解析语料标注并生成 Kaldi 风格数据目录conf/train.yaml默认训练配置Tacotron2conf/decode.yaml默认解码配置conf/tuning/调优配置train_conformer_fastspeech2.yaml、train_tacotron2.yaml、train_transformer.yaml、decode_fastspeech.yaml、decode_tacotron2.yamlconf/queue.conf、conf/slurm.conf、conf/pbs.conf调度器参数模板pyscripts/、steps/、utils/与模板共享的 Python/Shell 工具链其中run.sh与local/data.sh是体现本语料差异化的核心文件后续章节逐一展开。三、快速开始一条命令跑通默认 Tacotron2按照模板 egs2/TEMPLATE/tts1/README.md 的 How to run 流程在 recipe 目录下执行# 1. 进入 recipe 目录 cd egs2/indic_speech/tts1 # 2.可选修改语料下载目录 # 默认 INDIC_SPEECHdownloadsrecipe 会自动下载语料 vim db.sh # 3.可选若使用作业调度系统修改 cmd.sh 与 conf/*.conf # 默认 cmd_backendlocal直接在本机并行执行 vim cmd.sh # 4. 运行完整流水线默认训练 Tacotron2feats_typeraw token_typephn ./run.sh默认配置下./run.sh会依次执行数据准备、特征 dump、时长/静音过滤、词表生成、统计收集、训练、解码与评估。完成后 recipe 目录下会生成三类产物以模板文档中的标准布局为准├── data/ # Kaldi 风格数据目录tr_no_dev_phn / dev_phn / eval1_phn ├── dump/ # 特征 dump 目录token_list、raw/、srctexts 等 └── exp/ # 实验目录 ├── tts_stats_raw_phn_tacotron2_g2p_none/ # 归一化统计量 └── tts_train_raw_phn_tacotron2_g2p_none/ # 模型目录 ├── config.yaml # 训练使用的配置快照 ├── train.log # 训练日志 ├── *epoch.pth # 各 epoch 模型参数 ├── checkpoint.pth # 模型优化器调度器 ├── latest.pth # 最新参数软链接 ├── *.ave_5best.pth # 平均参数推荐用于解码 ├── decode_train.loss.ave/ # 解码结果 │ ├── dev/ eval1/ │ │ ├── wav/ # 生成的波形默认 Griffin-Lim │ │ ├── norm/ denorm/ # 归一化/反归一化特征 │ │ ├── att_ws/ probs/ # 注意力/停止概率可视化 │ │ └── durations feats_type speech_shape ├── tensorboard/ images/ └── att_ws/ # 训练过程注意力图新手建议先用--stage与--stop-stage逐阶段执行理解每一步的处理与目录变化./run.sh --stage 1 --stop-stage 1 ./run.sh --stage 2 --stop-stage 2 # ... 逐阶段推进 ./run.sh --stage 8 --stop-stage 8四、run.sh 默认参数全解析run.sh 定义了本 recipe 的特征参数与文本处理策略是整个 recipe 的控制台。逐项拆解如下特征相关参数fs24000 # 采样率 24 kHz n_fft2048 # FFT 点数 n_shift300 # 帧移hop size300 点 win_length1200 # 窗长 1200 点相比 LJSpeech 常见的 22.05 kHz本 recipe 采用 24 kHz 采样率因此在 conf/train.yaml 中batch_bins: 3750000的注释也特别说明for feats_typeraw, * n_shift / n_mels即 raw 特征下 batch 大小需按帧移与梅尔维度的比例换算。文本处理策略预转换音素而非训练时动态 G2Ptext_formatphn # 数据准备阶段就把文本转成音素 g2pespeak_ng_hindi # 在 local/data.sh 中用于转换文本 g2pnone # 训练时不再做 G2P文本已是音素 token_typephn # 词表按音素构建这是本 recipe 最具特色的设计。run.sh的注释明确说明原因On-the-fly with Espeak is really slow, so we convert text into phn in data prep stage via--text_formatphnand useg2pnonefor training.即espeak-ng 的在线 G2P 转换非常慢所以选择在数据准备阶段用espeak_ng_hindi一次性把印地语文本转成音素序列训练与解码阶段则使用g2pnone按空格分词即可大幅提升数据加载效率。配套地local_data_opts --text_format ${text_format}当text_formatphn时追加--g2p espeak_ng_hindi传给local/data.sh数据集名追加_phn后缀train_settr_no_dev_phn、valid_setdev_phn、test_setsdev_phn eval1_phn--srctexts data/${train_set}/text指向已音素化的训练集文本用于生成音素词表。其余关键参数--audio_format wav # 音频格式 --lang hi # 语言标签印地语 --feats_type raw # 直接使用原始波形特征而非 fbank --cleaner none # 不做文本清洗语料标注已较干净 --train_config conf/train.yaml # 默认 Tacotron2 --inference_config conf/decode.yaml # 默认解码配置五、数据准备阶段详解stage -1 ~ 1数据准备完全由 local/data.sh 驱动共 3 个子阶段。stage -1语料下载与解压unzip ${db_root}/${spk}/Dataset.zip mv Dataset ${db_root}/${spk} rm ${db_root}/${spk}/Dataset.zipdb_root${INDIC_SPEECH}取自 db.sh默认INDIC_SPEECHdownloads即语料位于downloads/Hindi_TTS_dataset/下若你已下载语料到本地直接在db.sh中把INDIC_SPEECH改为绝对路径即可注意 db.sh 中 JHU 环境默认将其置空需要自行指定。stage 0生成 Kaldi 风格数据目录python3 local/data_prep.py -d ${db_root} utils/spk2utt_to_utt2spk.pl data/${spk}/spk2utt data/${spk}/utt2spk utils/fix_data_dir.sh data/${spk} utils/validate_data_dir.sh --no-feats data/${spk}data_prep.py 的核心逻辑是解析语料的annotations.csv|分隔第一列为音频文件如Dataset/3487.wav第二列为文本标注若目录中只有.mp3先用ffmpeg -i xxx.mp3 -ac 1 xxx.wav -loglevel quiet转成单声道 wav每个 utterance 的 ID 统一命名为Hindi_TTS_dataset_编号最终写出data/Hindi_TTS_dataset/{text,wav.scp,spk2utt}三个文件spk2utt中所有句子都归属唯一说话人Hindi_TTS_dataset。随后用 Kaldi 工具做数据划分subset_data_dir.sh --last/--first# 从全集取最后 200 条作为临时集 utils/subset_data_dir.sh --last data/${spk} 200 data/${spk}_tmp # 临时集最后 100 条 → eval前 100 条 → dev utils/subset_data_dir.sh --last data/${spk}_tmp 100 data/${eval_set} # eval utils/subset_data_dir.sh --first data/${spk}_tmp 100 data/${dev_set} # dev # 全集去掉 200 条后 → train_no_dev n$(( $(wc -l data/${spk}/wav.scp) - 200 )) utils/subset_data_dir.sh --first data/${spk} ${n} data/${train_set} # train_no_dev rm -rf data/${spk}_tmp即dev / eval 各 100 条其余全部进入训练集注意 eval 取自临时集末尾、dev 取自临时集开头训练集与两者无重叠。stage 1文本音素化for dset in ${train_set} ${dev_set} ${eval_set}; do utils/copy_data_dir.sh data/${dset} data/${dset}_phn pyscripts/utils/convert_text_to_phn.py --g2p ${g2p} --nj ${nj} \ data/${dset}/text data/${dset}_phn/text utils/fix_data_dir.sh data/${dset}_phn done该阶段用espeak_ng_hindi音素模型g2pespeak_ng_hindinj12并行把text转换为音素序列生成tr_no_dev_phn、dev_phn、eval_phn三套数据目录供后续 token 化与训练使用。模板文档中列出的espeak_ng_hindi转换示例如नमस्ते दुनिया→[n, ə, m, ˈʌ, s, t, eː, d, ˈʊ, n, ɪ, j, ˌaː]即对应此类输出音素词表因此可保持较小规模。六、模板流水线九个阶段的完整流程除数据准备外其余阶段由 egs2/TEMPLATE/tts1/README.md 统一定义IndicSpeech recipe 完全复用。整体流程如下Data preparationlocal/data.sh生成 Kaldi 风格data/目录本 recipe 还包含_phn音素版模板同样支持通过scripts/mfa.sh生成 Montreal-Forced-Aligner 对齐需--split_sets、--samplerate、--acoustic_model等额外参数此时可跳过local/data.sh。Wav dump / Embedding preparation重排wav.scp--use_spk_embed true时抽取说话人嵌入--spk_embed_tool可选 kaldi / speechbrain / espnet--use_sid true/--use_lid true时生成说话人 ID / 语言 ID 嵌入。Extract speaker embeddings抽取说话人嵌入多说话人模型用。Removal of long / short data按--min_wav_duration/--max_wav_duration过滤过长/过短句。Token list generation从srctexts生成音素词表本 recipe 因预转换文本训练时--g2p none、--cleaner none。TTS statistics collection收集输入输出 shape 信息并计算归一化统计量均值/方差。TTS training--train_config指定训练配置。TTS decoding--inference_config指定解码配置默认用 Griffin-Lim 从梅尔谱恢复波形。TTS eval using versa可选用 versa 计算 PESQ、STOI、MCD、F0 相关指标、UTMOS/DNSMOS/PLCMOS 等伪 MOS 分数与说话人相似度。可选Pack results打包模型以便上传 Hugging Face。可选Upload to Hugging Face分享训练好的模型。七、默认训练配置Tacotron2conf/train.yaml 参数注解默认训练配置 conf/train.yaml 是 ESPnet2 的经典 Tacotron2 设定注释标明仅需单张 12 GB 显存 GPUTitan V 上约 1 天完成。核心参数如下模型结构tts: tacotron2参数默认值含义embed_dim512音素 embedding 维度elayers/eunits1 / 512编码器 BLSTM 层数与单元数econv_layers/econv_chans/econv_filts3 / 512 / 5编码器卷积层数、通道数、卷积核atype/adimlocation / 512注意力类型与维度aconv_chans/aconv_filts32 / 15注意力卷积通道与卷积核cumulate_att_wtrue是否累积注意力权重dlayers/dunits2 / 1024解码器 LSTM 层数与单元数prenet_layers/prenet_units2 / 256PreNet 层数与单元数postnet_layers/postnet_chans/postnet_filts5 / 512 / 5PostNet 卷积层数、通道数、卷积核dropout_rate/zoneout_rate0.5 / 0.1dropout 与 zoneoutreduction_factor1时间归约因子spk_embed_dimnull说话人嵌入维度单说话人无需use_maskingtrue损失计算时遮蔽 paddingbce_pos_weight5.0停止 token 二分类正样本权重use_guided_attn_losstrue使用引导注意力损失加速对角注意力学习guided_attn_loss_sigma/lambda0.4 / 1.0引导注意力损失的 sigma 与强度优化器与训练设置optim: adam optim_conf: lr: 1.0e-03 eps: 1.0e-06 weight_decay: 0.0 num_iters_per_epoch: 500 max_epoch: 200 grad_clip: 1.0 accum_grad: 1 batch_bins: 3750000 # raw 特征下按 numel 动态 batch batch_type: numel sort_in_batch: descending sort_batch: descending num_workers: 1 train_dtype: float32 keep_nbest_models: 5 num_att_plot: 3 seed: 0 best_model_criterion: - - valid - loss - min - - train - loss - min值得注意的工程细节ESPnet2 默认用batch_typenumelbatch_bins而非固定batch_size按元素总数动态组 batch从而在不同句长下保持显存利用率稳定keep_nbest_models: 5会保留 5 个最佳模型解码时通常用*.ave_5best.pth平均参数。八、调优配置Conformer-FastSpeech2 与更多模型conf/tuning 目录为不同模型提供现成配置train_conformer_fastspeech2.yamlConformer 编码器/解码器的 FastSpeech2train_tacotron2.yaml、train_transformer.yamlTacotron2 / Transformer-TTS 变体decode_fastspeech.yaml、decode_tacotron2.yaml对应解码配置。以 train_conformer_fastspeech2.yaml 为例注释标明单张 12 GB 显存 GPU、Titan V 约 4 天它演示了 FastSpeech2 类非自回归模型的核心配置要素tts: fastspeech2 tts_conf: adim: 384 # 注意力维度 model_size aheads: 2 # 注意力头数 elayers: 4 # 编码器层数 eunits: 1536 # 编码器 FF 单元数 dlayers: 4 # 解码器层数 dunits: 1536 # 解码器 FF 单元数 encoder_type: conformer decoder_type: conformer duration_predictor_layers: 2 duration_predictor_chans: 256 pitch_predictor_layers: 5 pitch_predictor_chans: 256 energy_predictor_layers: 2 energy_predictor_chans: 256 reduction_factor: 1 init_type: xavier_uniform # ...各类 dropout、conformer 细节参数省略 # 额外的韵律输入 pitch_extract: dio pitch_normalize: global_mvn energy_extract: energy energy_normalize: global_mvn optim: adam optim_conf: lr: 1.0 scheduler: noamlr scheduler_conf: model_size: 384 warmup_steps: 4000 num_iters_per_epoch: 1000 max_epoch: 200 batch_bins: 12000000 # feats_typeraw关键差异点额外输入pitch_extract: dio基频提取与energy_extract: energy并在统计阶段做global_mvn归一化——这正是 FastSpeech2 相对 FastSpeech 增加的内容调度器使用noamlrNoam learning rate schedule配合warmup_steps: 4000这也是 Transformer 系模型的标准做法配置注释明确说明与原始 FastSpeech2 论文不同此处采用与 FastPitch 一致的token 级平均 pitch/energy且不做量化。若要训练多说话人/多语言模型可参考 egs2/TEMPLATE/tts1/README.md 中的扩展方案--use_spk_embed true提取说话人嵌入tts_conf.spk_embed_dim、--use_sid true使用说话人 ID embeddingtts_conf.spks、--use_lid true使用语言 ID embeddingtts_conf.langs并支持 sid lid 组合。九、FastSpeech / FastSpeech2 训练流程原 README 明确指引 FastSpeech 与 FastSpeech2 训练方法见模板文档此处完整继承并针对本 recipe 落地说明。非自回归模型FastSpeech 系列需要教师模型的注意力时长信息因此必须先完成自回归教师模型Tacotron2 / Transformer的训练。第一步用教师模型解码出时长# 指定教师模型目录对训练/验证/测试全集解码 ./run.sh --stage 8 \ --tts_exp exp/tts_train_raw_phn_tacotron2_g2p_none \ --test_sets tr_no_dev_phn dev_phn eval1_phn这会生成durations文件各输入 token 的时长位于exp/.../decode_train.loss.ave/。第二步FastSpeech知识蒸馏版./run.sh --stage 7 \ --train_config conf/tuning/train_fastspeech2.yaml \ --teacher_dumpdir exp/tts_train_raw_phn_tacotron2_g2p_none/decode_train.loss.ave上面使用的是教师模型生成的梅尔谱作为回归目标即知识蒸馏训练。若想以真实梅尔谱为目标需要在解码时开启教师强制./run.sh --stage 8 \ --tts_exp exp/tts_train_raw_phn_tacotron2_g2p_none \ --inference_args --use_teacher_forcing true \ --test_sets tr_no_dev_phn dev_phn eval1_phn ./run.sh --stage 7 \ --train_config conf/tuning/train_fastspeech2.yaml \ --teacher_dumpdir exp/tts_train_raw_phn_tacotron2_g2p_none/decode_use_teacher_forcingtrue_train.loss.ave第三步FastSpeech2必须教师强制 重新统计FastSpeech2 额外使用 F0 与 energy因此流程上 FastSpeech 是必须使用 teacher forcing且要从统计收集阶段重新计算含韵律特征的统计量./run.sh --stage 6 \ --train_config conf/tuning/train_fastspeech2.yaml \ --teacher_dumpdir exp/tts_train_raw_phn_tacotron2_g2p_none/decode_use_teacher_forcingtrue_train.loss.ave \ --tts_stats_dir exp/tts_train_raw_phn_tacotron2_g2p_none/decode_use_teacher_forcingtrue_train.loss.ave/stats \ --write_collected_feats true其中--tts_stats_dir指定统计量输出目录--write_collected_feats true将收集到的特征落盘可选但能加速后续训练。关于时长来源模板 FAQ 说明FastSpeech2 的时长与 FastSpeech 一致来自教师模型注意力权重详见 FastSpeech 论文。十、解码配置与神经声码器默认解码配置 conf/decode.yaml 面向自回归模型threshold: 0.5 # 停止 token 阈值控制生成何时终止 maxlenratio: 10.0 # 生成最大长度 输入长度 × maxlenratio minlenratio: 0.0 # 生成最小长度 输入长度 × minlenratio use_att_constraint: false # 是否使用 Deep Voice 3 的注意力约束仅 Tacotron2 支持 backward_window: 1 # 注意力约束的后向窗口 forward_window: 3 # 注意力约束的前向窗口配置注释提示若出现删除deletion或重复repetition问题可尝试use_att_constraint: true使生成更稳定但注意力约束在 Transformer 中不受支持。解码默认用 Griffin-Lim 从梅尔谱重建波形如需更高质量可外接神经声码器# 使用 parallel_wavegan 提供的预训练 melgan . ./path.sh pip install -U parallel_wavegan ./run.sh --stage 8 \ --inference_args --vocoder_tag parallel_wavegan/ljspeech_style_melgan.v1 \ --inference_tag decode_with_ljspeech_style_melgan.v1 # 使用自己训练的声码器 checkpoint ./run.sh --stage 8 --vocoder_file /path/to/checkpoint-xxxxxxsteps.pkl --inference_tag decode_with_my_vocoder注意24 kHz 语料与 LJSpeech 风格声码器存在采样率匹配问题组合外置声码器时需确保其训练采样率与fs24000一致。conf/tuning/decode_fastspeech.yaml则针对非自回归模型FastSpeech 系列提供解码配置。十一、客观评估与 FAQ 精选客观评估指标recipe 的评估脚本复用模板pyscripts/utils/下的工具如evaluate_mcd.py、evaluate_f0.py、evaluate_pseudomos.py、evaluate_cfsd.py、evaluate_secs.py、evaluate_speechbertscore.py、evaluate_speechbleu.py常用命令如下以eval1为例cd egs2/indic_speech/tts1 . ./path.sh # MCD梅尔倒谱失真反映说话人/韵律/音素内容相似度使用 DTW 对齐长度 ./pyscripts/utils/evaluate_mcd.py \ exp/model_dir/decode_dir/eval1/wav/wav.scp \ dump/raw/eval1_phn/wav.scp # log-F0 RMSE可加 --f0min/--f0max 限定范围更精确 ./pyscripts/utils/evaluate_f0.py \ exp/model_dir/decode_dir/eval1/wav/wav.scp \ dump/raw/eval1_phn/wav.scp # 伪 MOS 自动预测UTMOS/DNSMOS/PLCMOS ./pyscripts/utils/evaluate_pseudomos.py \ exp/model_dir/decode_dir/eval1/wav/wav.scp \ dump/raw/eval1_phn/wav.scp # CER用 ASR 模型衡量可懂度 ./scripts/utils/evaluate_asr.sh \ --model_tag asr_model_tag --nj 1 \ --inference_args --beam_size 10 --ctc_weight 0.4 --lm_weight 0.0 \ --gt_text dump/raw/eval1_phn/text \ exp/model_dir/decode_dir/eval1/wav/wav.scp \ exp/model_dir/decode_dir/asr_results模板文档特别提醒客观指标尤其高保真合成难以完全反映主观听感建议配合主观评测对 ASR 评测先去除标点remove_punctuation.pl并在首尾补静音sox pad通常能获得更合理的 CER。精选 FAQ来自模板模型末尾生成无意义语音多为停止 token 预测失败可尝试推理时use_attention_constraintTrue仅 Tacotron2、训练时加大bce_pos_weight如 10.0或改用 FastSpeech / FastSpeech2。自建数据集训练不佳大多数问题源于数据清洗——关注训练注意力图TTS 中 loss 参考意义有限、去除句首尾静音、切分句中长静音、有 G2P 时优先用音素、尽量清洗文本缩写/数字、必要时用预训练模型做适配、小数据集可加大reduction_factor。组合神经声码器出现金属噪声常见于未以噪声为输入的声码器MelGAN/HiFiGAN对声学特征失配敏感可通过对 text2mel GTA 输出微调声码器或 text2mel 与声码器联合训练缓解。Tacotron2 / Transformer 输出不确定解码器 PreNet 始终应用 dropout可用--always_fix_seed固定结果。FastSpeech2 的时长如何生成与 FastSpeech 相同由教师模型注意力权重计算得到。总结egs2/indic_speech/tts1/README.md 虽然简短但作为 ESPnet2 语料级 recipe 的标准入口其背后是一套完整可复现的印度语 TTS 生产链路local/data.sh负责下载、划分与espeak_ng_hindi音素化run.sh 通过--text_format phn 训练期g2pnone规避在线 G2P 的性能瓶颈conf/train.yaml 提供开箱即用的单卡 Tacotron2 基线conf/tuning 则覆盖 Transformer 与 Conformer-FastSpeech2 等进阶模型。通用的阶段划分、FastSpeech 系训练法、评估方法与 FAQ 均可回溯到 egs2/TEMPLATE/tts1/README.md环境搭建与更细的训练选项可进一步参考 doc/installation.md、doc/espnet2_tutorial.md 与 doc/espnet2_training_option.md。对想要在印度语或其他低资源语言上快速搭建 TTS 的开发者而言该 recipe 是一条低门槛、可对照源码逐步验证的实践路径。赞分享人工智能语音音频深度学习NLP【免费下载链接】espnetEnd-to-End Speech Processing Toolkit项目地址https://gitcode.com/gh_mirrors/es/espnet点击查看免费下载相关推荐ESPnet2 SVS2 歌声合成 Recipe 全解析基于离散 Token 的端到端歌唱语音合成训练指南ESPnet2 SVS2 歌声合成 Recipe 全解析基于离散 Token 的端到端歌唱语音合成训练指南 导读 SVS2 是 ESPnet2 中新一代歌声合人工智能语音音频深度学习NLPESPnet2 瑞士法语多音词语料 ASR 实战Conformer 端到端语音识别 Recipe 与结果复盘ESPnet2 瑞士法语多音词语料 ASR 实战Conformer 端到端语音识别 Recipe 与结果复盘 本篇基于 ESPnet 仓库中 egs2/pol人工智能语音音频深度学习NLPSeraphine英雄联盟玩家的智能游戏助手完全指南Seraphine英雄联盟玩家的智能游戏助手完全指南 你是否在英雄联盟对局中遇到过这些问题选择英雄时犹豫不决、不知道队友对手的实力、符文出装总是跟不上版本人工智能语音音频深度学习NLP上一篇YOLOv10 超参数调优深度指南解读 Tuner 遗传演化机制与 model.tune() 实战下一篇突破Go性能瓶颈c2goasm实现20倍加速的SIMD汇编实战指南创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考