Langfuse 仓库自主 Agent 安全标准为 LLM 驱动的 CI 自动化构建可信执行边界【免费下载链接】langfuse Open source AI engineering platform: LLM evals, observability, metrics, prompt management, playground, datasets. Integrates with OpenTelemetry, LangChain, OpenAI SDK, LiteLLM, and more. YC W23项目地址: https://gitcode.com/GitHub_Trending/la/langfuseLangfuse开源 AI 工程平台提供 LLM evals、可观测性、指标、提示词管理与数据集等能力在其仓库内运行着多种由 LLM 驱动的自主 Agent如默认模型价格审计。由于这类 Agent 的输入包含来自网页、Issue、PR 评论、生成文件等不可信内容常规 CI 的安全假设不再成立。本文基于 Langfuse 仓库中 security-standards.md 这份标准文档完整梳理其威胁模型、凭据模型、工具权限、Diff 强制校验、两阶段发布边界与自我改进机制并结合仓库中实际的 model-price-audit.yml 工作流给出可复制的落地范例。读完本文你将掌握为无人值守的 LLM Agent设计最小权限执行环境、独立校验机制与安全发布管线的完整方法论。背景为什么仓库 Agent 需要比常规 CI 更严格的安全标准Langfuse 在 create-repo-agent/SKILL.md 中明确定义了repo-owned autonomous agent仓库自有自主 Agent的构建目标让 Agent 能够在无人值守的情况下运行而不需要把宽泛的写凭据、任意 shell 或不受控的网络访问交给模型。其默认架构是只读审计任务产出经校验的补丁制品 独立发布任务拥有 GitHub 写权限。这份标准的核心理由是LLM 步骤会消费不可信的指令、网页、源码文件与先前的输出。与常规 CI 相比安全假设必须显著收紧标准文档开篇即明确将供应商网页、GitHub Issue、PR 评论、发布说明、生成文件、包脚本以及先前 Agent 的输出一律视为不可信输入假定存在提示注入prompt injection可能诱导 Agent 泄露密钥、放宽自身权限、编辑无关文件、打开更广的网络访问或把恶意改动隐藏在格式变更formatting churn之中假定 Agent 即便出于善意也可能犯错因此独立校验必须能抓住错误文件、超大 diff、无效生成制品以及缺失的领域专属检查将自我改进视为代码执行策略变更——它有用但绝不豁免于评审、路径白名单与安全不变量的约束。这意味着安全边界不能只靠提示词prompt来维持而必须由工作流workflow在文件、命令、令牌与发布层面强制执行。关于这一提示词只做引导、工作流才是强制层的原则详见下文 Prompt Contract 一节。威胁模型把所有输入当作不可信内容标准文档security-standards.md 的 Threat Model 一节为安全设计划定了四条底线输入不可信供应商网页、GitHub Issue、PR 评论、发布说明、生成文件、包脚本、先前 Agent 输出全部视为不可信输入。假设提示注入恶意内容可能诱导 Agent 泄露密钥、自我放宽权限、编辑无关文件、开放更宽网络访问或把恶意变更藏进格式化噪音中。假设善意犯错独立校验必须捕获错误文件、超大 diff、无效生成制品、缺失的领域检查。自我改进 执行策略变更即使是有用的自我改进也绝不豁免评审、路径白名单与安全不变量。凭据模型最小权限与最小暴露凭据模型是整份标准中最不可妥协的部分核心规则如下只给模型需要的密钥LLM Agent 步骤只应获得运行 Agent 所需的模型供应商 API key以及若动作需要只读的${{ github.token }}。最小权限声明workflow 或 job 的permissions设置为必要的最小值对于只读审计任务使用contents: read。显式传令牌向 LLM action 显式传入github_token: ${{ github.token }}否则它可能自行从环境发现令牌并保持 job 权限只读。严禁传递高权凭据secrets.GH_ACCESS_TOKEN、可写的 PAT、GitHub App 私钥、SSH 密钥、云凭据、包仓库令牌、OIDC 令牌一律不得进入 LLM 步骤。写凭据与 LLM 隔离写凭据放在独立的发布 job 或后置校验步骤中该步骤不调用 LLM Agent。按步骤作用域注入密钥每个 secret 只放在需要它的步骤上不要定义宽泛的 job 级 secret 环境变量。禁止日志泄密不得回显 secret、不得 dump 环境变量、不得开启完整 Agent 日志、不得把未脱敏的 Agent 转录上传为制品。id-token: write从严除非存在经过评审的 OIDC 信任边界且 Agent 目标确实离不开它否则不得添加id-token: write。在 Langfuse 的实际落地中model-price-audit.yml 在顶层声明permissions: contents: readauditjob 只向 Claude action 传入anthropic_api_keysecrets.CLAUDE_API_KEY与只读的github_token: ${{ github.token }}见 第 175-181 行而写凭据secrets.GH_ACCESS_TOKEN只出现在publishjob 中见 第 615-618 行——两阶段凭据隔离在真实工作流中完全落地。工具权限精确到路径与命令的允许清单标准对 LLM 步骤的工具权限做了严格限定文件工具用作用域优先使用限定精确路径或路径 glob 的Read、Edit、Write工具。网络工具用领域作用域优先使用限定官方来源域的WebFetch而不是 shell 网络工具。shell 用精确命令只允许确定性的、仓库自有的校验器或简单无敏感的命令例如date -u %Y-%m-%dT00:00:00.000Z。禁止宽泛 shell 模式不允许Bash(*)、Bash(node:*)、Bash(python:*)、Bash(curl:*)、Bash(wget:*)、Bash(gh:*)、Bash(git:*)、Bash(pnpm:*)、Bash(npm:*)等。禁止 shell 读取与进程探测除非确切命令必要且安全不允许cat、sed、grep、rg、jq、env、printenv、ps、ls等 shell 读取器或环境/进程检查命令文件读取应通过作用域化读取工具完成。禁止写操作不允许git push、PR 创建、GitHub API 调用、包安装、包发布、依赖更新或任意解释器。确定性校验器入库若需要确定性校验器把它放在仓库中、按普通代码评审并且只允许那条精确命令。WebFetch 域名白名单限制为官方来源域若 Agent 发现新的官方域可以在启用自我改进时提出 workflow 自我改进 PR。实际落地示例model-price-audit.yml 第 247 行的--allowedTools是一段精心构造的字符串每个Read/Edit/Write都精确到文件路径或窄 glob如Edit(/worker/src/constants/default-model-prices.json)、Write(/.agents/skills/add-model-price/references/*.md)WebFetch限定到platform.claude.com、docs.anthropic.com、developers.openai.com、ai.google.dev、cloud.google.com、aws.amazon.com、azure.microsoft.com等官方域shell 只允许Bash(date -u %Y-%m-%dT00:00:00.000Z)、Bash(uuidgen)以及两条精确的确定性校验命令Bash(node .agents/skills/add-model-price/scripts/validate-pricing-file.mjs:*)与Bash(node .agents/skills/add-model-price/scripts/test-match-pattern.mjs:*)。Prompt Contract提示词必须声明但绝不作为唯一防线标准要求每个仓库 Agent 的提示词必须声明七项内容Agent 的目标与显式的无变更行为no-change behavior允许读取与编辑的文件可使用的官方来源不得违反的硬约束结束前必须运行的校验器期望的结构化输出 schema任何变更所需的证据含适用的来源 URL 与换算计算。同时标准强调不要依赖提示词作为强制层。提示词只引导模型工作流仍必须在文件、命令、令牌与发布边界上强制执行。这条原则对应 create-repo-agent skill 的 Non-NegotiablesNever rely on prompt instructions as the only security boundary.对照 model-price-audit.yml 第 183-241 行 的prompt字段可以看到这些要素全部出现Allowed edit surface精确到 4 个路径/glob、Task逐条业务审计目标、Hard constraints不改生成文件、不 git push、不建 PR、不添加宽泛通配 regex、自我改进必须保持安全不变量等、Final response结构化输出要求modelsChecked、pricingChecked、priceConfirmed、证据 URL、pullRequestTitle遵循 Conventional Commit 等。此外--json-schema参数第 248 行为结构化输出定义了完整的 JSON Schema配合additionalProperties: false与字段级enum/pattern校验把输出契约也变成了强制层的一部分。Diff 强制校验独立于 Agent 的六步校验流水线标准要求在 Agent 之后、发布之前运行独立的 diff 校验。以 model-price-audit.yml 第 382-433 行 的 Validate audit diff 步骤为蓝本流水线如下计算变更文件集合同时用git diff --name-only与git ls-files --others --exclude-standard计算changed_files保证未跟踪文件不被遗漏mapfile -t changed_files ( { git diff --name-only git ls-files --others --exclude-standard } | sort -u )锚定路径白名单使用锚定的精确路径正则如^(\.github/workflows/model-price-audit\.yml|worker/src/constants/default-model-prices\.json|packages/shared/src/server/llm/types\.ts|\.agents/skills/add-model-price/references/[^/]\.md)$不允许宽泛目录除非任务确需在该目录下创建命名文件且正则能防止目录穿越。未跟踪文件 intent-add存在未跟踪文件时先执行git add -N -- ${untracked_files[]}再进行git diff --check与行数检查。运行git diff --check -- ${changed_files[]}捕获空白错误与冲突标记。行数上限对外科手术式 Agent 设置变更行数上限该 workflow 使用 700 行超限即失败防止非外科手术式的大 diff。领域校验器在 staging 之前对工作区文件运行领域校验器此处为定价文件结构校验与 agent shims 一致性检查。随后进入提交与补丁准备阶段第 435-590 行只使用git add -- ${changed_files[]}暂存校验过的文件列表绝不整体暂存目录再次用同一白名单校验git diff --cached --name-only比对 staged blob 与工作区内容git show :pathcmp -s捕获 clean/smudge filter、生成物突变或暂存意外对机器可读 schema 文件尤其是 JSON执行staged-blob 校验commit 前运行git diff --cached --check -- ${staged_files[]}用git -c core.hooksPath/dev/null commit --no-verify提交禁用 hooks用git format-patch -1 --stdout HEAD生成补丁制品并验证补丁文件存在且非空上传补丁与 PR body 制品retention-days: 1短保留期。领域校验器本身是仓库中的普通代码例如 validate-pricing-file.mjs 与配套测试 validate-pricing-file.test.mjs它们执行 workflow-and-validation.md 中定义的 11 条校验规则如默认 tier 必须isDefault: true且priority: 0、tier 优先级/名称唯一、所有 tier 暴露相同的 usage-type keys、正则必须合法等。审计开始前还会先跑node --test scripts/model-price-audit/*.test.mjs测试护栏本身第 73-74 行Agent 编辑后再重跑一次第 329-330 行形成护栏自身也受测试保护的闭环。发布边界只读审计 独立发布的两阶段架构标准为会创建 PR 的 Agent 规定了两阶段架构阶段一审计 job以persist-credentials: false检出代码以只读权限运行 LLM校验 diff禁用 hooks 后本地提交上传git format-patch制品与 PR body 制品。阶段二发布 job下载补丁拉取足以找到触发 commit 的 source-ref 历史在干净的临时仓库中把补丁应用到那个精确 commit上用写作用域的 bot 密钥推送 bot 分支并创建/更新 PR。附加要求发布 job不得调用 LLM发布 job 应尽可能清除全局/系统 git 配置并对任何 commit 或 push 相关的 git 操作禁用 hooks推送前重新检查应用后 commit 的变更文件是否仍满足同一路径白名单评审人指派非致命|| true缺失评审人权限不应让本应有效的维护 PR 失败。model-price-audit.yml 的 publish job第 603-710 行 完整实现了上述流程needs: audit且仅当has_changes true dry_run_mode disabled时运行在$RUNNER_TEMP/push-model-price-audit中git init、fetch --no-tags --depth100、校验触发 commit 存在、checkout -b $BRANCH_NAME $GITHUB_SHA、GIT_CONFIG_GLOBAL/dev/null GIT_CONFIG_SYSTEM/dev/null git -c core.hooksPath/dev/null am --3way应用补丁再校验 commit 标题符合chore(pricing): ...且非通用标题、校验diff-tree变更文件在白名单内、git diff --check HEAD^ HEAD最后用x-access-token:${GH_TOKEN}强制推送分支通过gh pr list复用已有 PR 或gh pr create新建并非致命地请求评审人|| true。自我改进显式启用、受限文件、保持不变量自我改进只有在 workflow显式 opt-in时才被允许约束如下限定文件通常只允许修改 workflow 自身与仓库自有的 skill 参考文件保持外科手术式只做提示词澄清、官方域白名单、精确校验器/工具条目、输入默认值、超时/预算设置、输出 schema 改进强制披露最终输出必须列出每一项自我改进及其对未来运行的价值守住安全不变量只读审计 job、LLM 步骤无写令牌、独立发布者、显式令牌权限、路径白名单、输入校验、staged-blob 检查、禁用 hooks 的提交路径、人工 PR 评审全部保持不变禁止放宽自我改进不得添加任意 shell/网络工具、写 job 权限、id-token: write、包管理器工具、gh、git push或宽泛文件 glob冲突即上报若需要的自我改进会违反不变量Agent 必须将其报告为未解决unresolved而不是强行应用。在定价审计 prompt 中第 209 行自我改进被限定为未来运行需要更清晰的提示词、精确的确定性工具、输入默认值、校验门或发布护栏时仅对 workflow 本身做外科手术式更新并且需要改官方域时以 unresolved 上报以便 fetch 与确定性来源白名单一起评审同时--json-schema中专门设计了workflowUpdates字段第 248 行使自我改进在结构化输出中可见、可评审。这与 workflow-blueprint.md 的 Self-Improvement Pattern 一节完全对应。日志与制品总结优先、短保留、最小上传优先使用总结式 Agent 报告而非完整转录若 stdout/stderr 可能包含环境数据或密钥不要上传完整日志只上传发布或评审所需的制品补丁文件、PR body对 bot 交接制品设置短保留期该 workflow 为retention-days: 1见 第 590 行总结应包含变更文件、变更的业务对象、来源 URL、未解决发现、校验命令、自我改进项。实际落地中审计总结通过validate-and-render-audit-output.mjs渲染后写入$GITHUB_STEP_SUMMARY第 342-380 行PR body 制品则包含 Scope、Validation、Diff Stat 与 Agent Summary 四部分第 545-576 行。源码固定与更新action 必须按 SHA 锁定第三方 action按完整 commit SHA 固定需要时用注释保留版本标签升级固定 SHA 前评审第三方 action 的变更除非那是明确目标且 workflow 内含专门校验否则禁止 Agent 从内部自动更新 action 固定值。该规则在仓库中普遍落地例如actions/checkout3d3c42e5aac5ba805825da76410c181273ba90b1 # v7.0.1、anthropics/claude-code-actionfa2b2666b747000bf42767d1f332065b375e3c8f # v1.0.214等均采用完整 SHA 版本标签注释的形式。配套评审清单与验证命令三份参考文档构成了完整的闭环构建时依据 security-standards.md实现时依据 workflow-blueprint.md合并前依据 review-checklist.md。评审清单定义了Block Merge If红线LLM 步骤有写令牌、任意 shell、依赖提示词作唯一护栏、diff 校验忽略未跟踪文件、整体暂存目录、发布路径可推送白名单外文件、自我改进可绕过安全边界、手工输入未校验即插值、choice 值使用 YAML 布尔型 token 等并给出可执行的验证命令workflow 变更至少运行 YAML 解析/workflow linter可用时、bash -n对提取出的 shell 脚本、git diff --check.agents/**变更额外运行pnpm run agents:sync、pnpm run agents:check以及对新建/变更 skill 运行 skill-creator 快速校验器领域文件变更运行领域 skill 指定的领域校验器与定向测试。dry-run 模式也是发布边界的组成部分workflow 提供disabled/no_changes/mock_memory_diff/mock_workflow_diff四种 YAML 安全 choice 值第 30-39 行mock 步骤产出与 LLM action 相同的结构化输出形状从而在不花费模型预算、不发布 PR的情况下完整演练无变更路径与白名单 mock diff 的校验—提交—补丁—制品上传路径第 250-327 行。总结把可信自动化建立在边界而非信任上Langfuse 的这份仓库 Agent 安全标准给出了一条清晰的工程主线对 LLM 驱动的自动化安全不来自对模型的信任而来自强制边界——最小化的凭据作用域、精确到路径与命令的工具白名单、独立于 Agent 的 diff 校验流水线、两阶段的只读审计与写权限发布分离、受限且透明的自我改进以及对第三方 action 的 SHA 固定。这套标准已经通过 model-price-audit.yml 在每日定时价格审计、workflow_dispatch手工审计与 dry-run 调试三类场景中持续运行并与 claude-code-security-review.yml同样使用persist-credentials: false、SHA 固定与最小权限共同构成了 Langfuse 仓库中 LLM 参与代码变更的防线。任何计划把 LLM Agent 接入 CI/CD 的团队都可以把本文梳理的威胁模型、凭据与工具边界、diff 校验流水线及两阶段发布架构直接作为设计基线。【免费下载链接】langfuse Open source AI engineering platform: LLM evals, observability, metrics, prompt management, playground, datasets. Integrates with OpenTelemetry, LangChain, OpenAI SDK, LiteLLM, and more. YC W23项目地址: https://gitcode.com/GitHub_Trending/la/langfuse创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 Langfuse 仓库自主 Agent 安全标准：为 LLM 驱动的 CI 自动化构建可信执行边界
Langfuse 仓库自主 Agent 安全标准为 LLM 驱动的 CI 自动化构建可信执行边界【免费下载链接】langfuse Open source AI engineering platform: LLM evals, observability, metrics, prompt management, playground, datasets. Integrates with OpenTelemetry, LangChain, OpenAI SDK, LiteLLM, and more. YC W23项目地址: https://gitcode.com/GitHub_Trending/la/langfuseLangfuse开源 AI 工程平台提供 LLM evals、可观测性、指标、提示词管理与数据集等能力在其仓库内运行着多种由 LLM 驱动的自主 Agent如默认模型价格审计。由于这类 Agent 的输入包含来自网页、Issue、PR 评论、生成文件等不可信内容常规 CI 的安全假设不再成立。本文基于 Langfuse 仓库中 security-standards.md 这份标准文档完整梳理其威胁模型、凭据模型、工具权限、Diff 强制校验、两阶段发布边界与自我改进机制并结合仓库中实际的 model-price-audit.yml 工作流给出可复制的落地范例。读完本文你将掌握为无人值守的 LLM Agent设计最小权限执行环境、独立校验机制与安全发布管线的完整方法论。背景为什么仓库 Agent 需要比常规 CI 更严格的安全标准Langfuse 在 create-repo-agent/SKILL.md 中明确定义了repo-owned autonomous agent仓库自有自主 Agent的构建目标让 Agent 能够在无人值守的情况下运行而不需要把宽泛的写凭据、任意 shell 或不受控的网络访问交给模型。其默认架构是只读审计任务产出经校验的补丁制品 独立发布任务拥有 GitHub 写权限。这份标准的核心理由是LLM 步骤会消费不可信的指令、网页、源码文件与先前的输出。与常规 CI 相比安全假设必须显著收紧标准文档开篇即明确将供应商网页、GitHub Issue、PR 评论、发布说明、生成文件、包脚本以及先前 Agent 的输出一律视为不可信输入假定存在提示注入prompt injection可能诱导 Agent 泄露密钥、放宽自身权限、编辑无关文件、打开更广的网络访问或把恶意改动隐藏在格式变更formatting churn之中假定 Agent 即便出于善意也可能犯错因此独立校验必须能抓住错误文件、超大 diff、无效生成制品以及缺失的领域专属检查将自我改进视为代码执行策略变更——它有用但绝不豁免于评审、路径白名单与安全不变量的约束。这意味着安全边界不能只靠提示词prompt来维持而必须由工作流workflow在文件、命令、令牌与发布层面强制执行。关于这一提示词只做引导、工作流才是强制层的原则详见下文 Prompt Contract 一节。威胁模型把所有输入当作不可信内容标准文档security-standards.md 的 Threat Model 一节为安全设计划定了四条底线输入不可信供应商网页、GitHub Issue、PR 评论、发布说明、生成文件、包脚本、先前 Agent 输出全部视为不可信输入。假设提示注入恶意内容可能诱导 Agent 泄露密钥、自我放宽权限、编辑无关文件、开放更宽网络访问或把恶意变更藏进格式化噪音中。假设善意犯错独立校验必须捕获错误文件、超大 diff、无效生成制品、缺失的领域检查。自我改进 执行策略变更即使是有用的自我改进也绝不豁免评审、路径白名单与安全不变量。凭据模型最小权限与最小暴露凭据模型是整份标准中最不可妥协的部分核心规则如下只给模型需要的密钥LLM Agent 步骤只应获得运行 Agent 所需的模型供应商 API key以及若动作需要只读的${{ github.token }}。最小权限声明workflow 或 job 的permissions设置为必要的最小值对于只读审计任务使用contents: read。显式传令牌向 LLM action 显式传入github_token: ${{ github.token }}否则它可能自行从环境发现令牌并保持 job 权限只读。严禁传递高权凭据secrets.GH_ACCESS_TOKEN、可写的 PAT、GitHub App 私钥、SSH 密钥、云凭据、包仓库令牌、OIDC 令牌一律不得进入 LLM 步骤。写凭据与 LLM 隔离写凭据放在独立的发布 job 或后置校验步骤中该步骤不调用 LLM Agent。按步骤作用域注入密钥每个 secret 只放在需要它的步骤上不要定义宽泛的 job 级 secret 环境变量。禁止日志泄密不得回显 secret、不得 dump 环境变量、不得开启完整 Agent 日志、不得把未脱敏的 Agent 转录上传为制品。id-token: write从严除非存在经过评审的 OIDC 信任边界且 Agent 目标确实离不开它否则不得添加id-token: write。在 Langfuse 的实际落地中model-price-audit.yml 在顶层声明permissions: contents: readauditjob 只向 Claude action 传入anthropic_api_keysecrets.CLAUDE_API_KEY与只读的github_token: ${{ github.token }}见 第 175-181 行而写凭据secrets.GH_ACCESS_TOKEN只出现在publishjob 中见 第 615-618 行——两阶段凭据隔离在真实工作流中完全落地。工具权限精确到路径与命令的允许清单标准对 LLM 步骤的工具权限做了严格限定文件工具用作用域优先使用限定精确路径或路径 glob 的Read、Edit、Write工具。网络工具用领域作用域优先使用限定官方来源域的WebFetch而不是 shell 网络工具。shell 用精确命令只允许确定性的、仓库自有的校验器或简单无敏感的命令例如date -u %Y-%m-%dT00:00:00.000Z。禁止宽泛 shell 模式不允许Bash(*)、Bash(node:*)、Bash(python:*)、Bash(curl:*)、Bash(wget:*)、Bash(gh:*)、Bash(git:*)、Bash(pnpm:*)、Bash(npm:*)等。禁止 shell 读取与进程探测除非确切命令必要且安全不允许cat、sed、grep、rg、jq、env、printenv、ps、ls等 shell 读取器或环境/进程检查命令文件读取应通过作用域化读取工具完成。禁止写操作不允许git push、PR 创建、GitHub API 调用、包安装、包发布、依赖更新或任意解释器。确定性校验器入库若需要确定性校验器把它放在仓库中、按普通代码评审并且只允许那条精确命令。WebFetch 域名白名单限制为官方来源域若 Agent 发现新的官方域可以在启用自我改进时提出 workflow 自我改进 PR。实际落地示例model-price-audit.yml 第 247 行的--allowedTools是一段精心构造的字符串每个Read/Edit/Write都精确到文件路径或窄 glob如Edit(/worker/src/constants/default-model-prices.json)、Write(/.agents/skills/add-model-price/references/*.md)WebFetch限定到platform.claude.com、docs.anthropic.com、developers.openai.com、ai.google.dev、cloud.google.com、aws.amazon.com、azure.microsoft.com等官方域shell 只允许Bash(date -u %Y-%m-%dT00:00:00.000Z)、Bash(uuidgen)以及两条精确的确定性校验命令Bash(node .agents/skills/add-model-price/scripts/validate-pricing-file.mjs:*)与Bash(node .agents/skills/add-model-price/scripts/test-match-pattern.mjs:*)。Prompt Contract提示词必须声明但绝不作为唯一防线标准要求每个仓库 Agent 的提示词必须声明七项内容Agent 的目标与显式的无变更行为no-change behavior允许读取与编辑的文件可使用的官方来源不得违反的硬约束结束前必须运行的校验器期望的结构化输出 schema任何变更所需的证据含适用的来源 URL 与换算计算。同时标准强调不要依赖提示词作为强制层。提示词只引导模型工作流仍必须在文件、命令、令牌与发布边界上强制执行。这条原则对应 create-repo-agent skill 的 Non-NegotiablesNever rely on prompt instructions as the only security boundary.对照 model-price-audit.yml 第 183-241 行 的prompt字段可以看到这些要素全部出现Allowed edit surface精确到 4 个路径/glob、Task逐条业务审计目标、Hard constraints不改生成文件、不 git push、不建 PR、不添加宽泛通配 regex、自我改进必须保持安全不变量等、Final response结构化输出要求modelsChecked、pricingChecked、priceConfirmed、证据 URL、pullRequestTitle遵循 Conventional Commit 等。此外--json-schema参数第 248 行为结构化输出定义了完整的 JSON Schema配合additionalProperties: false与字段级enum/pattern校验把输出契约也变成了强制层的一部分。Diff 强制校验独立于 Agent 的六步校验流水线标准要求在 Agent 之后、发布之前运行独立的 diff 校验。以 model-price-audit.yml 第 382-433 行 的 Validate audit diff 步骤为蓝本流水线如下计算变更文件集合同时用git diff --name-only与git ls-files --others --exclude-standard计算changed_files保证未跟踪文件不被遗漏mapfile -t changed_files ( { git diff --name-only git ls-files --others --exclude-standard } | sort -u )锚定路径白名单使用锚定的精确路径正则如^(\.github/workflows/model-price-audit\.yml|worker/src/constants/default-model-prices\.json|packages/shared/src/server/llm/types\.ts|\.agents/skills/add-model-price/references/[^/]\.md)$不允许宽泛目录除非任务确需在该目录下创建命名文件且正则能防止目录穿越。未跟踪文件 intent-add存在未跟踪文件时先执行git add -N -- ${untracked_files[]}再进行git diff --check与行数检查。运行git diff --check -- ${changed_files[]}捕获空白错误与冲突标记。行数上限对外科手术式 Agent 设置变更行数上限该 workflow 使用 700 行超限即失败防止非外科手术式的大 diff。领域校验器在 staging 之前对工作区文件运行领域校验器此处为定价文件结构校验与 agent shims 一致性检查。随后进入提交与补丁准备阶段第 435-590 行只使用git add -- ${changed_files[]}暂存校验过的文件列表绝不整体暂存目录再次用同一白名单校验git diff --cached --name-only比对 staged blob 与工作区内容git show :pathcmp -s捕获 clean/smudge filter、生成物突变或暂存意外对机器可读 schema 文件尤其是 JSON执行staged-blob 校验commit 前运行git diff --cached --check -- ${staged_files[]}用git -c core.hooksPath/dev/null commit --no-verify提交禁用 hooks用git format-patch -1 --stdout HEAD生成补丁制品并验证补丁文件存在且非空上传补丁与 PR body 制品retention-days: 1短保留期。领域校验器本身是仓库中的普通代码例如 validate-pricing-file.mjs 与配套测试 validate-pricing-file.test.mjs它们执行 workflow-and-validation.md 中定义的 11 条校验规则如默认 tier 必须isDefault: true且priority: 0、tier 优先级/名称唯一、所有 tier 暴露相同的 usage-type keys、正则必须合法等。审计开始前还会先跑node --test scripts/model-price-audit/*.test.mjs测试护栏本身第 73-74 行Agent 编辑后再重跑一次第 329-330 行形成护栏自身也受测试保护的闭环。发布边界只读审计 独立发布的两阶段架构标准为会创建 PR 的 Agent 规定了两阶段架构阶段一审计 job以persist-credentials: false检出代码以只读权限运行 LLM校验 diff禁用 hooks 后本地提交上传git format-patch制品与 PR body 制品。阶段二发布 job下载补丁拉取足以找到触发 commit 的 source-ref 历史在干净的临时仓库中把补丁应用到那个精确 commit上用写作用域的 bot 密钥推送 bot 分支并创建/更新 PR。附加要求发布 job不得调用 LLM发布 job 应尽可能清除全局/系统 git 配置并对任何 commit 或 push 相关的 git 操作禁用 hooks推送前重新检查应用后 commit 的变更文件是否仍满足同一路径白名单评审人指派非致命|| true缺失评审人权限不应让本应有效的维护 PR 失败。model-price-audit.yml 的 publish job第 603-710 行 完整实现了上述流程needs: audit且仅当has_changes true dry_run_mode disabled时运行在$RUNNER_TEMP/push-model-price-audit中git init、fetch --no-tags --depth100、校验触发 commit 存在、checkout -b $BRANCH_NAME $GITHUB_SHA、GIT_CONFIG_GLOBAL/dev/null GIT_CONFIG_SYSTEM/dev/null git -c core.hooksPath/dev/null am --3way应用补丁再校验 commit 标题符合chore(pricing): ...且非通用标题、校验diff-tree变更文件在白名单内、git diff --check HEAD^ HEAD最后用x-access-token:${GH_TOKEN}强制推送分支通过gh pr list复用已有 PR 或gh pr create新建并非致命地请求评审人|| true。自我改进显式启用、受限文件、保持不变量自我改进只有在 workflow显式 opt-in时才被允许约束如下限定文件通常只允许修改 workflow 自身与仓库自有的 skill 参考文件保持外科手术式只做提示词澄清、官方域白名单、精确校验器/工具条目、输入默认值、超时/预算设置、输出 schema 改进强制披露最终输出必须列出每一项自我改进及其对未来运行的价值守住安全不变量只读审计 job、LLM 步骤无写令牌、独立发布者、显式令牌权限、路径白名单、输入校验、staged-blob 检查、禁用 hooks 的提交路径、人工 PR 评审全部保持不变禁止放宽自我改进不得添加任意 shell/网络工具、写 job 权限、id-token: write、包管理器工具、gh、git push或宽泛文件 glob冲突即上报若需要的自我改进会违反不变量Agent 必须将其报告为未解决unresolved而不是强行应用。在定价审计 prompt 中第 209 行自我改进被限定为未来运行需要更清晰的提示词、精确的确定性工具、输入默认值、校验门或发布护栏时仅对 workflow 本身做外科手术式更新并且需要改官方域时以 unresolved 上报以便 fetch 与确定性来源白名单一起评审同时--json-schema中专门设计了workflowUpdates字段第 248 行使自我改进在结构化输出中可见、可评审。这与 workflow-blueprint.md 的 Self-Improvement Pattern 一节完全对应。日志与制品总结优先、短保留、最小上传优先使用总结式 Agent 报告而非完整转录若 stdout/stderr 可能包含环境数据或密钥不要上传完整日志只上传发布或评审所需的制品补丁文件、PR body对 bot 交接制品设置短保留期该 workflow 为retention-days: 1见 第 590 行总结应包含变更文件、变更的业务对象、来源 URL、未解决发现、校验命令、自我改进项。实际落地中审计总结通过validate-and-render-audit-output.mjs渲染后写入$GITHUB_STEP_SUMMARY第 342-380 行PR body 制品则包含 Scope、Validation、Diff Stat 与 Agent Summary 四部分第 545-576 行。源码固定与更新action 必须按 SHA 锁定第三方 action按完整 commit SHA 固定需要时用注释保留版本标签升级固定 SHA 前评审第三方 action 的变更除非那是明确目标且 workflow 内含专门校验否则禁止 Agent 从内部自动更新 action 固定值。该规则在仓库中普遍落地例如actions/checkout3d3c42e5aac5ba805825da76410c181273ba90b1 # v7.0.1、anthropics/claude-code-actionfa2b2666b747000bf42767d1f332065b375e3c8f # v1.0.214等均采用完整 SHA 版本标签注释的形式。配套评审清单与验证命令三份参考文档构成了完整的闭环构建时依据 security-standards.md实现时依据 workflow-blueprint.md合并前依据 review-checklist.md。评审清单定义了Block Merge If红线LLM 步骤有写令牌、任意 shell、依赖提示词作唯一护栏、diff 校验忽略未跟踪文件、整体暂存目录、发布路径可推送白名单外文件、自我改进可绕过安全边界、手工输入未校验即插值、choice 值使用 YAML 布尔型 token 等并给出可执行的验证命令workflow 变更至少运行 YAML 解析/workflow linter可用时、bash -n对提取出的 shell 脚本、git diff --check.agents/**变更额外运行pnpm run agents:sync、pnpm run agents:check以及对新建/变更 skill 运行 skill-creator 快速校验器领域文件变更运行领域 skill 指定的领域校验器与定向测试。dry-run 模式也是发布边界的组成部分workflow 提供disabled/no_changes/mock_memory_diff/mock_workflow_diff四种 YAML 安全 choice 值第 30-39 行mock 步骤产出与 LLM action 相同的结构化输出形状从而在不花费模型预算、不发布 PR的情况下完整演练无变更路径与白名单 mock diff 的校验—提交—补丁—制品上传路径第 250-327 行。总结把可信自动化建立在边界而非信任上Langfuse 的这份仓库 Agent 安全标准给出了一条清晰的工程主线对 LLM 驱动的自动化安全不来自对模型的信任而来自强制边界——最小化的凭据作用域、精确到路径与命令的工具白名单、独立于 Agent 的 diff 校验流水线、两阶段的只读审计与写权限发布分离、受限且透明的自我改进以及对第三方 action 的 SHA 固定。这套标准已经通过 model-price-audit.yml 在每日定时价格审计、workflow_dispatch手工审计与 dry-run 调试三类场景中持续运行并与 claude-code-security-review.yml同样使用persist-credentials: false、SHA 固定与最小权限共同构成了 Langfuse 仓库中 LLM 参与代码变更的防线。任何计划把 LLM Agent 接入 CI/CD 的团队都可以把本文梳理的威胁模型、凭据与工具边界、diff 校验流水线及两阶段发布架构直接作为设计基线。【免费下载链接】langfuse Open source AI engineering platform: LLM evals, observability, metrics, prompt management, playground, datasets. Integrates with OpenTelemetry, LangChain, OpenAI SDK, LiteLLM, and more. YC W23项目地址: https://gitcode.com/GitHub_Trending/la/langfuse创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考