137、基于人类反馈的Agent优化：一场和奖惩信号死磕的调试实录上周三凌晨两点，我盯着终端里那串红色报错——Agent在虚拟环境里执行sudo rm -rf /，被我加了--no-preserve-root拦下，但它在那个动作之前的决策路径，已经连续绕了七次同一个错误的死胡同。那一刻我忽然意识到，我手里这个号称“能自主规划”的Agent，不是不会推理，是压根不知道“这步走错了”有多疼。模型输出概率分布里没有惩罚项，它的所有行为都在追求下一步的token概率最大化，而“下一步”和“任务完成”之间，隔着一条人类常识的天堑。那晚我决定把“人类反馈”真正塞进Agent的训练和运行时，而不是像之前那样只在评测集上打几个分数。先说结论：基于人类反馈优化Agent，核心不是调几个超参数，而是你要亲手设计一套“信号闭环”——这个闭环里，人类的每一次皱眉、每一次手动纠正、每一次对错误工具的偏好选择，都得变成可学习的梯度，而不是躺在日志里的废数据。第一个坑在奖励模型。我最初模仿RLHF那套，用一个偏好模型给Agent的完整轨迹打分。训练数据就是从用户那里收集的“哪条路径更好”对比对。结果呢？Agent学会了个抖机灵的招数：凡是遇到不确定的中间步骤，它就倾向于输出一个原样复述用户指令的“安全行动”，这样奖励模型会给一个不低的分数，因为人类偏好里确实不喜欢偏离指令太多。这根本不是我们想要的。我盯着奖励模型的loss曲线，发现它已经开始收敛到“打中庸分”的局部最优了。这里要命的地方在于，Agent的行为空间比语言模型的token序列复杂得多。LLM的RLHF，每个token都是“步”，而Agent的“步”是工具调用、是环