简介这份资源面向深度学习与语音信号处理方向的学习者和研究者聚焦鸡尾酒会问题下的多说话人语音分离任务提供一套基于 Python 的智能算法实现。包内共 18 个 py 文件压缩后约 93KB涵盖数据加载与预处理、网络结构定义、参数配置、训练与推理流程、音频与图像工具函数以及子带处理等模块整体结构围绕语音分离实验的完整链路组织便于读者理解从数据到模型的实现细节。资源以脚本形式给出适合具备一定 Python 与深度学习基础、希望动手复现或改进语音分离算法的读者参考。目前已有 716 人学习下载说明该方向具有稳定的关注度。通过阅读与运行这些代码读者可以掌握多语音混合场景下的分离思路、网络搭建方式与训练配置方法并在此基础上开展自己的实验与调参工作。1. 从鸡尾酒会到 PIT这套 Python 语音分离源码到底能跑出什么如果你手头有一段多人同时说话的录音想把它拆成每个人的独立音轨那这套基于 PITPermutation Invariant Training排列不变性训练的 Python 深度学习语音分离源码就是直接冲这个场景来的。鸡尾酒会问题在工程上一直是个硬骨头两个人同时说话频谱重叠模型输出多个音轨时谁对应谁是不确定的PIT 就是用来解决这个“标签分配”玄学。这套代码包里包含sep_dset.py、shift_net.py、sep_params.py、sourcesep.py、subband.py、tfutil.py等模块覆盖了数据加载、网络定义、参数配置、训练与分离推理的完整链路。它适合已经装好 Python 和深度学习环境、想拿现成源码跑通语音分离流程的从业者也适合想拆开看 PIT 具体怎么在代码里落地的熟手。下面我按“能跑起来”的顺序把这份资源拆开讲。2. 环境与数据准备把 sep_dset.py 和 sep_params.py 先吃透2.1 为什么先看 sep_params.py 而不是直接跑训练很多人拿到源码包第一反应是找入口脚本但语音分离这类项目参数文件才是真正的“控制面板”。sep_params.py里通常定义了采样率、帧长、帧移、STFT 窗函数、网络层数、隐藏单元数、学习率、batch size 这些关键量。你如果不先看它后面报错都不知道改哪里。常见做法是先把参数文件里所有跟数据形状相关的项列出来比如sample_rate、frame_length、frame_shift、num_sources然后确认你的音频数据能不能对上。我一般会先打开sep_params.py把下面这几类参数圈出来音频参数采样率、声道数、时长裁剪特征参数STFT 窗长、帧移、是否取对数幅度网络参数层数、每层单元数、dropout 比例训练参数学习率、优化器、epoch 数、batch size分离参数输出源数量、是否做子带处理这些参数不是孤立的。比如num_sources2决定了网络输出通道数也决定了 PIT 在计算损失时怎么做排列组合。如果你改成 3 人分离网络最后一层和损失函数都要跟着动不是改一个数字就完事。2.2 sep_dset.py 里的数据加载逻辑与常见坑sep_dset.py负责把混合音频和对应的干净源音频读进来做成训练对。典型流程是读混合波形 - 读每个源的波形 - 做 STFT - 取幅度谱 - 归一化 - 返回张量。这里最容易翻车的地方是混合音频和源音频的长度对齐。如果混合文件比源文件长几个采样点直接拼接就会报形状错误。下面是我根据这类代码常见写法整理的一个数据加载片段你可以对照sep_dset.py看import numpy as np import soundfile as sf def load_audio_pair(mix_path, src_paths, sample_rate16000): # 读混合音频 mix, sr sf.read(mix_path) assert sr sample_rate, f采样率不匹配: {sr} ! {sample_rate} # 读多个源音频 sources [] for p in src_paths: s, sr sf.read(p) assert sr sample_rate sources.append(s) # 对齐长度以最短的为准裁剪 min_len min([len(mix)] [len(s) for s in sources]) mix mix[:min_len] sources [s[:min_len] for s in sources] # 堆叠成 [num_sources, T] sources np.stack(sources, axis0) return mix, sources逻辑说明先分别读取混合和源文件强制检查采样率一致然后按最短长度裁剪避免形状不匹配。参数方面sample_rate必须和sep_params.py里一致否则 STFT 后的帧数会对不上。num_sources决定sources的第一维大小。提示如果你的数据里混合音频是立体声而源音频是单声道先做声道转换别指望模型自己处理。2.3 用 shift_dset.py 和 shift_net.py 理解子带与移位增强shift_dset.py和shift_net.py这两个文件名字里的 “shift” 通常指向两类操作一是数据层面的时移增强二是网络层面的频带移位或子带处理。subband.py的存在进一步说明这套代码可能把频谱切成子带分别处理。子带处理的好处是降低计算量坏处是子带边界容易产生伪影。如果你要复现先确认shift_dset.py里的增强是只在训练时做还是验证时也做。常见错误是把时移增强用到验证集上导致评估指标虚高。正确做法是训练时随机移位验证和测试时保持原样。def random_shift(mix, sources, max_shift1600): # 训练时随机时移验证时不要调用 shift np.random.randint(-max_shift, max_shift) if shift 0: mix np.pad(mix, (shift, 0))[:len(mix)] sources np.pad(sources, ((0,0),(shift,0)))[:,:len(mix)] elif shift 0: mix np.pad(mix, (0, -shift))[-shift:] sources np.pad(sources, ((0,0),(0,-shift)))[:,-shift:] return mix, sources这段代码里max_shift控制移位范围一般取 0.1 秒对应的采样点数。移位后要重新裁剪到原长度否则后面 STFT 帧数会变。3. 网络结构与 PIT 损失shift_net.py、tfutil.py、sourcesep.py 怎么串起来3.1 shift_net.py 里的网络骨架与 tfutil.py 的工具函数shift_net.py大概率定义了分离网络的主体结构可能是基于卷积或循环网络的掩码估计模型。tfutil.py则是工具函数集合比如权重初始化、激活函数封装、形状变换等。你不需要逐行读懂tfutil.py但要知道它里面有没有自定义的层或损失辅助函数因为 PIT 的实现往往依赖这些工具。我一般会先搜tfutil.py里有没有permute、pit_loss、sdr这类关键词。如果有说明 PIT 的核心逻辑可能藏在这里。如果没有那 PIT 应该在sourcesep.py或单独的损失模块里。网络输入通常是混合音频的幅度谱形状为[batch, freq, time, 1]输出是每个源的掩码或直接幅度谱形状为[batch, freq, time, num_sources]。shift_net.py里如果用了子带结构输入会被切成多个频带每个频带单独过网络最后再拼起来。这种设计在subband.py里会有对应的切分和重组函数。3.2 PIT 损失在 sourcesep.py 里的实现方式PIT 的核心是网络输出 N 个源真实标签也有 N 个源但顺序不确定。所以计算损失时要遍历所有 N! 种排列取损失最小的那个排列作为最终损失。对于 N2只有两种排列N3 就是 6 种。sourcesep.py里通常会有一个pit_loss函数。下面是一个典型的 PIT 损失实现你可以对照sourcesep.py看import itertools import tensorflow as tf def pit_loss(y_true, y_pred): # y_true: [batch, T, num_sources] # y_pred: [batch, T, num_sources] num_sources y_true.shape[-1] perms list(itertools.permutations(range(num_sources))) losses [] for perm in perms: # 按排列重排预测源 y_pred_perm tf.stack([y_pred[..., i] for i in perm], axis-1) # 计算 MSE 或 SI-SDR 损失 loss tf.reduce_mean(tf.square(y_true - y_pred_perm), axis[1, 2]) losses.append(loss) # 取每个样本的最小损失 losses tf.stack(losses, axis-1) # [batch, num_perms] min_loss tf.reduce_min(losses, axis-1) return tf.reduce_mean(min_loss)逻辑说明itertools.permutations生成所有排列然后对每种排列计算预测和真实之间的均方误差最后取最小。参数方面num_sources必须和网络输出通道数一致。如果你用 SI-SDR 代替 MSE把tf.square那行换掉即可。注意PIT 在训练初期损失下降可能很慢因为排列一直在变。常见做法是先用固定排列预热几个 epoch再切到 PIT。3.3 从 sourcesep.py 到推理分离结果怎么保存训练完之后sourcesep.py通常还负责推理和保存分离后的音频。流程是读混合音频 - 过网络 - 得到每个源的幅度谱 - 结合混合相位 - ISTFT - 保存为 wav。这里的关键是相位重建。很多入门实现直接拿混合相位给每个源用效果一般但胜在简单。如果代码里有sound.py或soundrep.py可能包含更细的音频读写和重采样逻辑。import numpy as np import soundfile as sf def save_separated_sources(mix_stft, pred_masks, mix_phase, hop_length256): # pred_masks: [num_sources, freq, time] # mix_phase: [freq, time] num_sources pred_masks.shape[0] for i in range(num_sources): # 估计幅度谱 est_mag np.abs(mix_stft) * pred_masks[i] # 结合混合相位 est_stft est_mag * np.exp(1j * mix_phase) # ISTFT _, audio librosa.istft(est_stft, hop_lengthhop_length) sf.write(fsource_{i}.wav, audio, 16000)这段代码里pred_masks是网络输出的掩码mix_phase从混合音频的 STFT 取。hop_length要和训练时一致否则重建音频会变速。4. 避坑与排查跑这套源码时最容易翻车的五个地方4.1 现象训练 loss 不下降一直震荡原因PIT 排列在初期频繁切换或者学习率太大。 解决先把 PIT 关掉用固定顺序训练几个 epoch等 loss 稳定后再开 PIT。学习率降到 1e-4 或更低。4.2 现象报错 “Shape must be rank 4 but is rank 3”原因shift_net.py里的卷积层要求输入是[batch, freq, time, channel]但sep_dset.py返回的是[batch, freq, time]。 解决在数据加载最后加一维np.expand_dims或者在网络第一层前加tf.expand_dims。4.3 现象分离出来的音频全是噪声原因STFT 的窗长和帧移与训练时不一致或者推理时忘了做归一化。 解决检查sep_params.py里的frame_length和frame_shift推理时用同一套参数。归一化参数也要从训练集统计量里取。4.4 现象显存溢出batch size 调到 1 还是爆原因subband.py把频谱切得太细或者shift_net.py里某层通道数太大。 解决先注释掉子带处理用全频带跑一个小样本。确认能跑通后再逐步加子带。通道数减半试试。4.5 现象验证集指标比训练集还高原因验证时用了时移增强或者验证集和训练集有重叠。 解决检查shift_dset.py的调用位置确保验证时不做随机移位。另外确认数据划分没有泄漏。5. 进阶技巧用 subband.py 和 imtable.py 做子带分离与结果可视化5.1 子带分离的参数调节与验证方法subband.py的存在意味着这套代码支持把频谱切成多个子带分别处理。子带分离的好处是每个子带的动态范围更小网络更容易学。但子带数量不是越多越好。我一般会从 2 个子带开始试逐步加到 4 个看验证集 SI-SDR 有没有提升。如果加到 8 个子带反而下降说明边界伪影已经超过收益。验证方法固定其他参数只改subband.py里的num_bands跑三次取平均。对比指标用 SI-SDR 或 PESQ。注意每次改完要重新训练不能只做推理。# 子带切分示例 def split_subbands(stft, num_bands4): freq_bins stft.shape[0] band_size freq_bins // num_bands bands [] for i in range(num_bands): start i * band_size end (i 1) * band_size if i num_bands - 1 else freq_bins bands.append(stft[start:end]) return bands def merge_subbands(bands): return np.concatenate(bands, axis0)这段代码里num_bands控制子带数量band_size是每个子带的频点数。切分后每个子带单独过网络最后用merge_subbands拼回全频带。注意最后一个子带要包含剩余所有频点避免遗漏。5.2 用 imtable.py 和 img.py 做分离结果的可视化imtable.py和img.py大概率是可视化工具用来把频谱图或掩码图保存成图片。分离任务里可视化比听音频更快定位问题。我习惯把混合频谱、真实源频谱、估计源频谱画在一起一眼就能看出模型是没学到还是过拟合。import matplotlib.pyplot as plt def plot_spectrogram(mix_spec, true_spec, pred_spec, save_pathcompare.png): fig, axes plt.subplots(1, 3, figsize(15, 4)) axes[0].imshow(mix_spec, aspectauto, originlower) axes[0].set_title(Mixture) axes[1].imshow(true_spec, aspectauto, originlower) axes[1].set_title(Ground Truth) axes[2].imshow(pred_spec, aspectauto, originlower) axes[2].set_title(Prediction) plt.tight_layout() plt.savefig(save_path) plt.close()逻辑说明三个子图分别画混合、真实、预测的频谱。aspectauto让图像自适应比例originlower让低频在下方。保存路径自己改。如果imtable.py里有现成的绘图函数直接调用更省事。5.3 一个我踩过的坑子带边界处的能量泄漏有一次我把num_bands设成 8训练 loss 降得很低但听分离结果总有一种“嗡嗡”声。后来把子带边界处的频谱画出来发现相邻子带在边界频点上有能量重叠ISTFT 后产生了拍频。解决办法是在subband.py里加一个重叠窗切分时相邻子带重叠 2 到 4 个频点合并时做加权平均。这个改动不大但效果立竿见影。从那以后我每次改子带参数都会强制走一遍边界频谱检查确认没有异常尖峰再继续训练。希望帮到你。本文还有配套的精品资源点击获取 基于PIT的Python语音分离源码实战：从数据加载到子带分离
简介这份资源面向深度学习与语音信号处理方向的学习者和研究者聚焦鸡尾酒会问题下的多说话人语音分离任务提供一套基于 Python 的智能算法实现。包内共 18 个 py 文件压缩后约 93KB涵盖数据加载与预处理、网络结构定义、参数配置、训练与推理流程、音频与图像工具函数以及子带处理等模块整体结构围绕语音分离实验的完整链路组织便于读者理解从数据到模型的实现细节。资源以脚本形式给出适合具备一定 Python 与深度学习基础、希望动手复现或改进语音分离算法的读者参考。目前已有 716 人学习下载说明该方向具有稳定的关注度。通过阅读与运行这些代码读者可以掌握多语音混合场景下的分离思路、网络搭建方式与训练配置方法并在此基础上开展自己的实验与调参工作。1. 从鸡尾酒会到 PIT这套 Python 语音分离源码到底能跑出什么如果你手头有一段多人同时说话的录音想把它拆成每个人的独立音轨那这套基于 PITPermutation Invariant Training排列不变性训练的 Python 深度学习语音分离源码就是直接冲这个场景来的。鸡尾酒会问题在工程上一直是个硬骨头两个人同时说话频谱重叠模型输出多个音轨时谁对应谁是不确定的PIT 就是用来解决这个“标签分配”玄学。这套代码包里包含sep_dset.py、shift_net.py、sep_params.py、sourcesep.py、subband.py、tfutil.py等模块覆盖了数据加载、网络定义、参数配置、训练与分离推理的完整链路。它适合已经装好 Python 和深度学习环境、想拿现成源码跑通语音分离流程的从业者也适合想拆开看 PIT 具体怎么在代码里落地的熟手。下面我按“能跑起来”的顺序把这份资源拆开讲。2. 环境与数据准备把 sep_dset.py 和 sep_params.py 先吃透2.1 为什么先看 sep_params.py 而不是直接跑训练很多人拿到源码包第一反应是找入口脚本但语音分离这类项目参数文件才是真正的“控制面板”。sep_params.py里通常定义了采样率、帧长、帧移、STFT 窗函数、网络层数、隐藏单元数、学习率、batch size 这些关键量。你如果不先看它后面报错都不知道改哪里。常见做法是先把参数文件里所有跟数据形状相关的项列出来比如sample_rate、frame_length、frame_shift、num_sources然后确认你的音频数据能不能对上。我一般会先打开sep_params.py把下面这几类参数圈出来音频参数采样率、声道数、时长裁剪特征参数STFT 窗长、帧移、是否取对数幅度网络参数层数、每层单元数、dropout 比例训练参数学习率、优化器、epoch 数、batch size分离参数输出源数量、是否做子带处理这些参数不是孤立的。比如num_sources2决定了网络输出通道数也决定了 PIT 在计算损失时怎么做排列组合。如果你改成 3 人分离网络最后一层和损失函数都要跟着动不是改一个数字就完事。2.2 sep_dset.py 里的数据加载逻辑与常见坑sep_dset.py负责把混合音频和对应的干净源音频读进来做成训练对。典型流程是读混合波形 - 读每个源的波形 - 做 STFT - 取幅度谱 - 归一化 - 返回张量。这里最容易翻车的地方是混合音频和源音频的长度对齐。如果混合文件比源文件长几个采样点直接拼接就会报形状错误。下面是我根据这类代码常见写法整理的一个数据加载片段你可以对照sep_dset.py看import numpy as np import soundfile as sf def load_audio_pair(mix_path, src_paths, sample_rate16000): # 读混合音频 mix, sr sf.read(mix_path) assert sr sample_rate, f采样率不匹配: {sr} ! {sample_rate} # 读多个源音频 sources [] for p in src_paths: s, sr sf.read(p) assert sr sample_rate sources.append(s) # 对齐长度以最短的为准裁剪 min_len min([len(mix)] [len(s) for s in sources]) mix mix[:min_len] sources [s[:min_len] for s in sources] # 堆叠成 [num_sources, T] sources np.stack(sources, axis0) return mix, sources逻辑说明先分别读取混合和源文件强制检查采样率一致然后按最短长度裁剪避免形状不匹配。参数方面sample_rate必须和sep_params.py里一致否则 STFT 后的帧数会对不上。num_sources决定sources的第一维大小。提示如果你的数据里混合音频是立体声而源音频是单声道先做声道转换别指望模型自己处理。2.3 用 shift_dset.py 和 shift_net.py 理解子带与移位增强shift_dset.py和shift_net.py这两个文件名字里的 “shift” 通常指向两类操作一是数据层面的时移增强二是网络层面的频带移位或子带处理。subband.py的存在进一步说明这套代码可能把频谱切成子带分别处理。子带处理的好处是降低计算量坏处是子带边界容易产生伪影。如果你要复现先确认shift_dset.py里的增强是只在训练时做还是验证时也做。常见错误是把时移增强用到验证集上导致评估指标虚高。正确做法是训练时随机移位验证和测试时保持原样。def random_shift(mix, sources, max_shift1600): # 训练时随机时移验证时不要调用 shift np.random.randint(-max_shift, max_shift) if shift 0: mix np.pad(mix, (shift, 0))[:len(mix)] sources np.pad(sources, ((0,0),(shift,0)))[:,:len(mix)] elif shift 0: mix np.pad(mix, (0, -shift))[-shift:] sources np.pad(sources, ((0,0),(0,-shift)))[:,-shift:] return mix, sources这段代码里max_shift控制移位范围一般取 0.1 秒对应的采样点数。移位后要重新裁剪到原长度否则后面 STFT 帧数会变。3. 网络结构与 PIT 损失shift_net.py、tfutil.py、sourcesep.py 怎么串起来3.1 shift_net.py 里的网络骨架与 tfutil.py 的工具函数shift_net.py大概率定义了分离网络的主体结构可能是基于卷积或循环网络的掩码估计模型。tfutil.py则是工具函数集合比如权重初始化、激活函数封装、形状变换等。你不需要逐行读懂tfutil.py但要知道它里面有没有自定义的层或损失辅助函数因为 PIT 的实现往往依赖这些工具。我一般会先搜tfutil.py里有没有permute、pit_loss、sdr这类关键词。如果有说明 PIT 的核心逻辑可能藏在这里。如果没有那 PIT 应该在sourcesep.py或单独的损失模块里。网络输入通常是混合音频的幅度谱形状为[batch, freq, time, 1]输出是每个源的掩码或直接幅度谱形状为[batch, freq, time, num_sources]。shift_net.py里如果用了子带结构输入会被切成多个频带每个频带单独过网络最后再拼起来。这种设计在subband.py里会有对应的切分和重组函数。3.2 PIT 损失在 sourcesep.py 里的实现方式PIT 的核心是网络输出 N 个源真实标签也有 N 个源但顺序不确定。所以计算损失时要遍历所有 N! 种排列取损失最小的那个排列作为最终损失。对于 N2只有两种排列N3 就是 6 种。sourcesep.py里通常会有一个pit_loss函数。下面是一个典型的 PIT 损失实现你可以对照sourcesep.py看import itertools import tensorflow as tf def pit_loss(y_true, y_pred): # y_true: [batch, T, num_sources] # y_pred: [batch, T, num_sources] num_sources y_true.shape[-1] perms list(itertools.permutations(range(num_sources))) losses [] for perm in perms: # 按排列重排预测源 y_pred_perm tf.stack([y_pred[..., i] for i in perm], axis-1) # 计算 MSE 或 SI-SDR 损失 loss tf.reduce_mean(tf.square(y_true - y_pred_perm), axis[1, 2]) losses.append(loss) # 取每个样本的最小损失 losses tf.stack(losses, axis-1) # [batch, num_perms] min_loss tf.reduce_min(losses, axis-1) return tf.reduce_mean(min_loss)逻辑说明itertools.permutations生成所有排列然后对每种排列计算预测和真实之间的均方误差最后取最小。参数方面num_sources必须和网络输出通道数一致。如果你用 SI-SDR 代替 MSE把tf.square那行换掉即可。注意PIT 在训练初期损失下降可能很慢因为排列一直在变。常见做法是先用固定排列预热几个 epoch再切到 PIT。3.3 从 sourcesep.py 到推理分离结果怎么保存训练完之后sourcesep.py通常还负责推理和保存分离后的音频。流程是读混合音频 - 过网络 - 得到每个源的幅度谱 - 结合混合相位 - ISTFT - 保存为 wav。这里的关键是相位重建。很多入门实现直接拿混合相位给每个源用效果一般但胜在简单。如果代码里有sound.py或soundrep.py可能包含更细的音频读写和重采样逻辑。import numpy as np import soundfile as sf def save_separated_sources(mix_stft, pred_masks, mix_phase, hop_length256): # pred_masks: [num_sources, freq, time] # mix_phase: [freq, time] num_sources pred_masks.shape[0] for i in range(num_sources): # 估计幅度谱 est_mag np.abs(mix_stft) * pred_masks[i] # 结合混合相位 est_stft est_mag * np.exp(1j * mix_phase) # ISTFT _, audio librosa.istft(est_stft, hop_lengthhop_length) sf.write(fsource_{i}.wav, audio, 16000)这段代码里pred_masks是网络输出的掩码mix_phase从混合音频的 STFT 取。hop_length要和训练时一致否则重建音频会变速。4. 避坑与排查跑这套源码时最容易翻车的五个地方4.1 现象训练 loss 不下降一直震荡原因PIT 排列在初期频繁切换或者学习率太大。 解决先把 PIT 关掉用固定顺序训练几个 epoch等 loss 稳定后再开 PIT。学习率降到 1e-4 或更低。4.2 现象报错 “Shape must be rank 4 but is rank 3”原因shift_net.py里的卷积层要求输入是[batch, freq, time, channel]但sep_dset.py返回的是[batch, freq, time]。 解决在数据加载最后加一维np.expand_dims或者在网络第一层前加tf.expand_dims。4.3 现象分离出来的音频全是噪声原因STFT 的窗长和帧移与训练时不一致或者推理时忘了做归一化。 解决检查sep_params.py里的frame_length和frame_shift推理时用同一套参数。归一化参数也要从训练集统计量里取。4.4 现象显存溢出batch size 调到 1 还是爆原因subband.py把频谱切得太细或者shift_net.py里某层通道数太大。 解决先注释掉子带处理用全频带跑一个小样本。确认能跑通后再逐步加子带。通道数减半试试。4.5 现象验证集指标比训练集还高原因验证时用了时移增强或者验证集和训练集有重叠。 解决检查shift_dset.py的调用位置确保验证时不做随机移位。另外确认数据划分没有泄漏。5. 进阶技巧用 subband.py 和 imtable.py 做子带分离与结果可视化5.1 子带分离的参数调节与验证方法subband.py的存在意味着这套代码支持把频谱切成多个子带分别处理。子带分离的好处是每个子带的动态范围更小网络更容易学。但子带数量不是越多越好。我一般会从 2 个子带开始试逐步加到 4 个看验证集 SI-SDR 有没有提升。如果加到 8 个子带反而下降说明边界伪影已经超过收益。验证方法固定其他参数只改subband.py里的num_bands跑三次取平均。对比指标用 SI-SDR 或 PESQ。注意每次改完要重新训练不能只做推理。# 子带切分示例 def split_subbands(stft, num_bands4): freq_bins stft.shape[0] band_size freq_bins // num_bands bands [] for i in range(num_bands): start i * band_size end (i 1) * band_size if i num_bands - 1 else freq_bins bands.append(stft[start:end]) return bands def merge_subbands(bands): return np.concatenate(bands, axis0)这段代码里num_bands控制子带数量band_size是每个子带的频点数。切分后每个子带单独过网络最后用merge_subbands拼回全频带。注意最后一个子带要包含剩余所有频点避免遗漏。5.2 用 imtable.py 和 img.py 做分离结果的可视化imtable.py和img.py大概率是可视化工具用来把频谱图或掩码图保存成图片。分离任务里可视化比听音频更快定位问题。我习惯把混合频谱、真实源频谱、估计源频谱画在一起一眼就能看出模型是没学到还是过拟合。import matplotlib.pyplot as plt def plot_spectrogram(mix_spec, true_spec, pred_spec, save_pathcompare.png): fig, axes plt.subplots(1, 3, figsize(15, 4)) axes[0].imshow(mix_spec, aspectauto, originlower) axes[0].set_title(Mixture) axes[1].imshow(true_spec, aspectauto, originlower) axes[1].set_title(Ground Truth) axes[2].imshow(pred_spec, aspectauto, originlower) axes[2].set_title(Prediction) plt.tight_layout() plt.savefig(save_path) plt.close()逻辑说明三个子图分别画混合、真实、预测的频谱。aspectauto让图像自适应比例originlower让低频在下方。保存路径自己改。如果imtable.py里有现成的绘图函数直接调用更省事。5.3 一个我踩过的坑子带边界处的能量泄漏有一次我把num_bands设成 8训练 loss 降得很低但听分离结果总有一种“嗡嗡”声。后来把子带边界处的频谱画出来发现相邻子带在边界频点上有能量重叠ISTFT 后产生了拍频。解决办法是在subband.py里加一个重叠窗切分时相邻子带重叠 2 到 4 个频点合并时做加权平均。这个改动不大但效果立竿见影。从那以后我每次改子带参数都会强制走一遍边界频谱检查确认没有异常尖峰再继续训练。希望帮到你。本文还有配套的精品资源点击获取