简介这份资源面向量化投资与强化学习方向的开发者及金融工程学习者聚焦如何用Python将PPO算法落地到中国A股市场并构建自动化投资组合。项目选取15只A股作为标的通过每日调仓让智能体在连续动作空间中学习买入、持有或卖出的最优策略并借助收益率曲线评估策略表现与稳定性。压缩包共35个文件、约4.29MB包含8个py源码与6个pyc编译文件覆盖训练、环境、网络与回放缓冲等核心模块10个pth为不同训练阶段的模型权重另有npz与dataframe格式的A股行情数据、xml与iml工程配置及一张收益率曲线图结构完整便于复现。目前已有1615人学习下载。读者可据此理解PPO限制新旧策略差异以提升训练稳定性的机制掌握pandas、numpy、matplotlib与stable-baselines3在投资环境搭建中的配合方式并获得从数据准备、模型训练到绩效可视化的完整实践参考。1. 从 A 股组合管理说起PPO 到底能解决什么如果你手里有一篮子 A 股持仓每天纠结的不是「买不买」而是「这 20 万怎么分配到 5 只票上、什么时候调仓」那这份基于 Python 强化学习 PPO 算法构建投资组合的资源正好卡在这个痛点上。它不预测明天涨跌而是把「仓位分配」建模成一个连续决策问题状态是持仓收益、波动率、技术指标动作是各标的权重奖励是组合收益减去风险惩罚。相比马科维茨均值方差那套静态优化PPO 能在训练中学会「什么时候加仓、什么时候缩到现金」这是它最值钱的地方。适合有 Python 基础、懂一点 pandas 和 numpy、想从规则策略跨到学习型策略的量化从业者。如果你连 backtrader 都没跑通过建议先补回测框架再回来。2. PPO 做组合管理的建模逻辑状态、动作、奖励怎么定2.1 为什么选 PPO 而不是 DQN 或 A2CA 股组合的仓位是连续值比如贵州茅台配 23.5%、宁德时代配 11.2%DQN 那套离散动作空间要么把权重切成 10 档要么组合爆炸。PPO 天然输出连续动作配合 Beta 分布或 Softmax 归一化直接给出权重向量。相比 A2CPPO 的 clip 机制把策略更新限制在旧策略附近A 股数据噪声大、信噪比低这种「别一次学太猛」的约束能明显减少训练崩溃。常见做法是用 PPO 的 clip 版本而非 KL 惩罚版因为 clip 对超参不敏感新手调起来不容易翻车。2.2 状态空间设计别把原始价格直接喂进去状态设计是这套东西的胜负手。直接把收盘价序列丢进网络模型会去拟合价格绝对水平换一段行情就失效。我一般会构造这几类特征收益率类各标的 1 日、5 日、20 日对数收益率风险类20 日滚动波动率、下行波动率技术类RSI、MACD 柱、布林带位置组合类当前各标的权重、组合累计收益、当前回撤所有特征做滚动 z-score 标准化窗口用 60 日避免用到未来信息。这一步做错后面训练再久都是自欺欺人。2.3 奖励函数收益减风险还要管换手奖励不能只写portfolio_return否则模型会天天满仓梭哈。常见写法是# reward 计算示例 def compute_reward(weights, next_returns, prev_weights, cost_rate0.0015): # 组合收益 port_ret np.dot(weights, next_returns) # 换手成本权重变化绝对值之和乘以费率 turnover np.abs(weights - prev_weights).sum() cost turnover * cost_rate # 风险惩罚组合波动率 risk_penalty 0.5 * np.std(next_returns) * np.linalg.norm(weights) reward port_ret - cost - risk_penalty return rewardcost_rate按 A 股双边约万三加印花税估算保守取 0.0015risk_penalty系数 0.5 是经验值调大模型更保守调小更激进。这个奖励函数把「收益、成本、风险」三件事压进一个标量是 PPO 能学出合理仓位的核心。3. 从数据到训练一份能跑通的 PPO 组合代码骨架3.1 数据准备与特征工程A 股日线数据可以从 Tushare、AkShare 或本地打包的分钟数据聚合。假设你已经有一份close_df行是日期、列是股票代码import pandas as pd import numpy as np # close_df: indexdate, columnsstock_code returns np.log(close_df / close_df.shift(1)).dropna() # 滚动波动率 vol_20 returns.rolling(20).std() # RSI 简化版 delta close_df.diff() gain delta.clip(lower0).rolling(14).mean() loss (-delta.clip(upper0)).rolling(14).mean() rsi 100 - 100 / (1 gain / (loss 1e-8)) # 拼特征并做滚动标准化 features pd.concat([returns, vol_20, rsi], axis1) features (features - features.rolling(60).mean()) / (features.rolling(60).std() 1e-8) features features.dropna()returns是模型的主要输入vol_20帮模型感知风险状态rsi提供超买超卖信号。滚动标准化窗口 60 日和训练窗口对齐避免分布漂移。3.2 环境封装用 Gym 风格写组合环境把组合管理写成一个reset/step的环境方便接 PPOimport gym from gym import spaces class PortfolioEnv(gym.Env): def __init__(self, features, returns, n_assets, window20): self.features features.values self.returns returns.values self.n_assets n_assets self.window window self.action_space spaces.Box(low0, high1, shape(n_assets,), dtypenp.float32) self.observation_space spaces.Box(low-np.inf, highnp.inf, shape(window * n_assets * 3,), dtypenp.float32) def reset(self): self.t self.window self.weights np.ones(self.n_assets) / self.n_assets return self._get_obs() def _get_obs(self): obs self.features[self.t - self.window:self.t].flatten() return obs.astype(np.float32) def step(self, action): # Softmax 归一化保证权重和为 1 且非负 exp_a np.exp(action - np.max(action)) weights exp_a / exp_a.sum() next_ret self.returns[self.t] reward compute_reward(weights, next_ret, self.weights) self.weights weights self.t 1 done self.t len(self.features) - 1 return self._get_obs(), reward, done, {}action_space是连续向量step里用 Softmax 把原始输出转成合法权重。window20表示模型看过去 20 天的特征太长容易过拟合太短看不到趋势。3.3 PPO 训练循环与关键超参用 stable-baselines3 的 PPO几行就能接上from stable_baselines3 import PPO from stable_baselines3.common.vec_env import DummyVecEnv env DummyVecEnv([lambda: PortfolioEnv(features, returns, n_assets5)]) model PPO( MlpPolicy, env, learning_rate3e-4, n_steps2048, batch_size64, gamma0.99, gae_lambda0.95, clip_range0.2, ent_coef0.01, verbose1 ) model.learn(total_timesteps200_000)learning_rate3e-4是 PPO 常用起点n_steps2048表示每次更新前收集的步数clip_range0.2是 PPO 的标志性参数控制策略更新幅度ent_coef0.01加一点熵鼓励探索防止过早收敛到满仓单一标的。训练步数 20 万步在 5 只票、几年日线上大概几十轮具体看数据长度。4. 回测验证与常见翻车点排查4.1 样本外回测别在训练集上自嗨训练完必须切样本外。常见做法是 2018–2021 训练2022–2023 验证2024 之后做最终测试。回测时把模型输出的权重序列喂给 backtrader 或自己写的向量化回测器算年化、最大回撤、夏普。如果样本外夏普低于 0.5大概率是状态特征泄露了未来信息或者奖励函数里用了全样本波动率。4.2 避坑与常见问题排查现象一训练奖励一直涨样本外一塌糊涂。原因通常是特征标准化用了全样本均值方差或者奖励里混入了未来收益。解决所有滚动统计只用当前及之前的数据标准化窗口严格对齐。现象二模型永远满仓一只票。原因是风险惩罚太弱或熵系数太低。解决把risk_penalty系数从 0.5 提到 1.0ent_coef提到 0.05观察权重是否分散。现象三换手率高得离谱手续费吃光收益。奖励里换手成本权重不够或者动作空间没有平滑约束。解决提高cost_rate到 0.002或在动作上加一阶差分惩罚。现象四训练中途 loss 爆炸。学习率太大或优势估计没归一化。解决learning_rate降到 1e-4开启normalize_advantageTrue。现象五不同随机种子结果差异巨大。PPO 对初始化敏感A 股数据噪声又大。解决跑 5 个种子取平均或者用seed固定后做敏感性分析。提示回测里一定要加涨跌停和停牌处理否则模型会学到「跌停买入」这种现实中做不到的动作。5. 进阶技巧让 PPO 组合更稳的三个实操习惯第一个习惯是奖励归一化。A 股不同年份波动差异极大2015 年和 2017 年的日收益标准差能差三倍。我一般用滚动 252 日的收益标准差对奖励做缩放让 PPO 的价值网络在不同市场状态下尺度一致。代码上就是在compute_reward里除以rolling_std这一步做完训练曲线会平滑很多。第二个习惯是动作平滑。直接让 PPO 输出权重调仓可能今天 100% 明天 0%现实里根本执行不了。常见做法是在动作上加一个一阶低通滤波# 动作平滑新权重 0.7 * 旧权重 0.3 * 模型输出 smoothed_weights 0.7 * prev_weights 0.3 * raw_weights系数 0.7 是我试下来在 A 股日频上比较平衡的值再高反应迟钝再低换手压不住。这个技巧对样本外夏普的提升往往比调网络结构还明显。第三个习惯是集成。单 PPO 模型方差大我会训 3 个不同种子、不同特征子集的模型回测时取权重平均。下表是我在一个 5 票组合上的对比数据是模拟的但量级有参考性方案年化收益最大回撤夏普等权基准8.2%-32%0.41单 PPO14.5%-25%0.783 模型集成13.8%-18%0.95集成后收益略降但回撤和夏普改善明显实盘心理压力小很多。从那以后我每次上 PPO 组合都强制走一遍「滚动标准化 → 动作平滑 → 多种子集成」这三步少一步样本外就容易出幺蛾子。希望帮到你。本文还有配套的精品资源点击获取