PrivateGPT Docker部署完全指南一条命令从本地跑通到生产就绪【免费下载链接】privateGPTComplete API layer for private AI applications on local models: RAG, skills, tools, MCP, text-to-sql, and more. Works with any OpenAI-compatible inference server.项目地址: https://gitcode.com/GitHub_Trending/pr/privateGPTPrivateGPT 是一个开源的本地 AI 应用 API 层它把 Ollama、vLLM、llama.cpp 等本地模型变成生产级私有 AI 应用的后端提供 RAG 检索、引用溯源、工具调用、MCP 连接器和 Text-to-SQL 等能力。本文带你用 Docker 部署 PrivateGPT一条docker run命令即可从本地跑通再进阶到生产就绪的配置。全程只需约 5 分钟。为什么选择 Docker 部署 PrivateGPT很多新手在本地跑通模型后会遇到第二个问题如何把模型变成一个可用的 AI 应用后端Ollama、vLLM 回答的是怎么跑模型而 PrivateGPT 回答的是怎么在模型之上构建应用。用 Docker 部署 PrivateGPT 有三大好处环境隔离容器自带 Python 3.11 运行时、文档解析库LibreOffice、Poppler和浏览器依赖无需在本机装任何环境可复现官方镜像zylonai/private-gpt:latest预装core全家桶随时拉取、随时回滚生产就绪容器化本身就是生产部署的标准形态后续扩展为多容器编排毫无障碍镜像的构建细节可以查看仓库中的 Dockerfile多阶段构建已经把依赖安装、浏览器缓存、编码文件都提前打包好了。部署前的准备工作启动你的 LLM 服务器PrivateGPT本身不跑模型它通过OPENAI_API_BASE连接任意兼容 OpenAI 协议的推理服务器。最简单的新手选择是 Ollama# 拉取一个对话模型LLM ollama pull qwen3.5:35b # 拉取一个嵌入模型EmbeddingsRAG 检索必需 ollama pull mxbai-embed-large # 启动服务默认监听 11434 端口 ollama serve 如果你用的是 LM Studio、llama.cpp 或 vLLM只要它们实现了/v1/chat/completions和/v1/models接口PrivateGPT 都能自动发现并注册模型无需任何配置文件。更多对比见 providers 文档。一键 Docker 部署 PrivateGPTmacOS / Windows一条命令启动docker run -p 8080:8080 \ -e OPENAI_API_BASEhttp://host.docker.internal:11434/v1 \ zylonai/private-gpt:latesthost.docker.internal是 Docker 在 macOS 和 Windows 上访问宿主机的特殊域名让容器内的 PrivateGPT 能找到你本机运行的 Ollama。Linux 用户使用 host 网络模式docker run --network host \ -e OPENAI_API_BASEhttp://localhost:11434/v1 \ zylonai/private-gpt:latest如果 LLM 服务器需要 API Keydocker run -p 8080:8080 \ -e OPENAI_API_BASEhttp://host.docker.internal:8000/v1 \ -e OPENAI_API_KEYyour-api-key \ zylonai/private-gpt:latest完整的分步说明见 Docker 安装文档。验证部署打开内置 Workbench UI容器启动后打开浏览器访问http://localhost:8080/ui你会看到 PrivateGPT 内置的 Workbench 工作台这个 UI 不只是聊天窗口你可以用它快速验证部署是否成功发送消息确认模型能正常回复上传文档测试 RAG 检索与引用溯源按会话开启工具Web 搜索、代码执行等配置数据库、MCP 连接器和自定义工具API 本体运行在http://localhost:8080遵循 Anthropic 风格 API 规范全部端点参考 API Reference。部署成功后Workbench 内置的API Debugger还能实时抓包查看每一次请求与响应排查问题时非常直观生产就绪4 个关键配置从本地跑通到生产就绪只差下面 4 步1️⃣ 挂载数据卷持久化上传的文档默认情况下摄入的文档存在容器内部容器一删就没了。挂载一个卷即可解决docker run -p 8080:8080 \ -e OPENAI_API_BASEhttp://host.docker.internal:11434/v1 \ -v ./local_data:/home/worker/app/local_data \ zylonai/private-gpt:latest2️⃣ 使用配置 Profile 管理模型参数PrivateGPT 通过 YAML 配置文件管理所有设置。项目根目录的 settings.yaml 是所有配置的基线每个值都支持${环境变量:默认值}的写法因此改配置不用改代码、不用重建镜像。生产环境推荐创建独立的 profile 文件如settings-prod.yaml启动时加载docker run -p 8080:8080 \ -e OPENAI_API_BASEhttp://host.docker.internal:11434/v1 \ -e PGPT_PROFILESprod \ zylonai/private-gpt:latestprofile 的加载与合并机制详见 How it works 与 Settings Profiles。3️⃣ 开启鉴权与观测鉴权在 profile 中设置server.auth.enabled: true并配置secret防止 API 被未授权访问可观测性设置observability.mode: arize_phoenix或opik把每一次 LLM 调用、嵌入请求和检索步骤都变成可视化 trace详见 Observability 文档4️⃣ 按需构建自定义镜像如果默认镜像不满足需求比如要加队列、可观测性组件可以从源码构建并指定 extrasgit clone https://gitcode.com/GitHub_Trending/pr/privateGPT cd privateGPT docker build \ --build-arg EXTRAScore queue observability-opik \ -t private-gpt .常见问题排查症状可能原因解决方式容器启动后连接 LLM 超时OPENAI_API_BASE地址错误Linux 用--network hostlocalhostmacOS/Windows 用host.docker.internalUI 打不开端口未映射确认加了-p 8080:8080host 网络模式除外上传文档检索不到没拉嵌入模型确认 Ollama 中已有mxbai-embed-large等嵌入模型重启容器后文档丢失未挂载数据卷添加-v ./local_data:/home/worker/app/local_data遇到更复杂的问题可以查阅 故障排查文档或用 Workbench 里的 API Debugger 直接看请求详情。总结阶段你完成了什么✅ 一条命令docker run启动 PrivateGPT连接 Ollama✅ 本地验证/ui打开 Workbench发消息、传文档、看引用✅ 生产就绪数据卷持久化 配置 Profile 鉴权 可观测性PrivateGPT 让本地模型与生产 AI 应用之间只差一个 Docker 容器。装好它之后你的 Ollama 就不再只是能聊天的模型仓库而是一个带 RAG、工具、MCP 和数据查询能力的完整私有 AI 后端。下一步建议从 Quickstart 指南 开始把消息 API 接入你自己的应用。【免费下载链接】privateGPTComplete API layer for private AI applications on local models: RAG, skills, tools, MCP, text-to-sql, and more. Works with any OpenAI-compatible inference server.项目地址: https://gitcode.com/GitHub_Trending/pr/privateGPT创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 PrivateGPT Docker部署完全指南：一条命令从本地跑通到生产就绪
PrivateGPT Docker部署完全指南一条命令从本地跑通到生产就绪【免费下载链接】privateGPTComplete API layer for private AI applications on local models: RAG, skills, tools, MCP, text-to-sql, and more. Works with any OpenAI-compatible inference server.项目地址: https://gitcode.com/GitHub_Trending/pr/privateGPTPrivateGPT 是一个开源的本地 AI 应用 API 层它把 Ollama、vLLM、llama.cpp 等本地模型变成生产级私有 AI 应用的后端提供 RAG 检索、引用溯源、工具调用、MCP 连接器和 Text-to-SQL 等能力。本文带你用 Docker 部署 PrivateGPT一条docker run命令即可从本地跑通再进阶到生产就绪的配置。全程只需约 5 分钟。为什么选择 Docker 部署 PrivateGPT很多新手在本地跑通模型后会遇到第二个问题如何把模型变成一个可用的 AI 应用后端Ollama、vLLM 回答的是怎么跑模型而 PrivateGPT 回答的是怎么在模型之上构建应用。用 Docker 部署 PrivateGPT 有三大好处环境隔离容器自带 Python 3.11 运行时、文档解析库LibreOffice、Poppler和浏览器依赖无需在本机装任何环境可复现官方镜像zylonai/private-gpt:latest预装core全家桶随时拉取、随时回滚生产就绪容器化本身就是生产部署的标准形态后续扩展为多容器编排毫无障碍镜像的构建细节可以查看仓库中的 Dockerfile多阶段构建已经把依赖安装、浏览器缓存、编码文件都提前打包好了。部署前的准备工作启动你的 LLM 服务器PrivateGPT本身不跑模型它通过OPENAI_API_BASE连接任意兼容 OpenAI 协议的推理服务器。最简单的新手选择是 Ollama# 拉取一个对话模型LLM ollama pull qwen3.5:35b # 拉取一个嵌入模型EmbeddingsRAG 检索必需 ollama pull mxbai-embed-large # 启动服务默认监听 11434 端口 ollama serve 如果你用的是 LM Studio、llama.cpp 或 vLLM只要它们实现了/v1/chat/completions和/v1/models接口PrivateGPT 都能自动发现并注册模型无需任何配置文件。更多对比见 providers 文档。一键 Docker 部署 PrivateGPTmacOS / Windows一条命令启动docker run -p 8080:8080 \ -e OPENAI_API_BASEhttp://host.docker.internal:11434/v1 \ zylonai/private-gpt:latesthost.docker.internal是 Docker 在 macOS 和 Windows 上访问宿主机的特殊域名让容器内的 PrivateGPT 能找到你本机运行的 Ollama。Linux 用户使用 host 网络模式docker run --network host \ -e OPENAI_API_BASEhttp://localhost:11434/v1 \ zylonai/private-gpt:latest如果 LLM 服务器需要 API Keydocker run -p 8080:8080 \ -e OPENAI_API_BASEhttp://host.docker.internal:8000/v1 \ -e OPENAI_API_KEYyour-api-key \ zylonai/private-gpt:latest完整的分步说明见 Docker 安装文档。验证部署打开内置 Workbench UI容器启动后打开浏览器访问http://localhost:8080/ui你会看到 PrivateGPT 内置的 Workbench 工作台这个 UI 不只是聊天窗口你可以用它快速验证部署是否成功发送消息确认模型能正常回复上传文档测试 RAG 检索与引用溯源按会话开启工具Web 搜索、代码执行等配置数据库、MCP 连接器和自定义工具API 本体运行在http://localhost:8080遵循 Anthropic 风格 API 规范全部端点参考 API Reference。部署成功后Workbench 内置的API Debugger还能实时抓包查看每一次请求与响应排查问题时非常直观生产就绪4 个关键配置从本地跑通到生产就绪只差下面 4 步1️⃣ 挂载数据卷持久化上传的文档默认情况下摄入的文档存在容器内部容器一删就没了。挂载一个卷即可解决docker run -p 8080:8080 \ -e OPENAI_API_BASEhttp://host.docker.internal:11434/v1 \ -v ./local_data:/home/worker/app/local_data \ zylonai/private-gpt:latest2️⃣ 使用配置 Profile 管理模型参数PrivateGPT 通过 YAML 配置文件管理所有设置。项目根目录的 settings.yaml 是所有配置的基线每个值都支持${环境变量:默认值}的写法因此改配置不用改代码、不用重建镜像。生产环境推荐创建独立的 profile 文件如settings-prod.yaml启动时加载docker run -p 8080:8080 \ -e OPENAI_API_BASEhttp://host.docker.internal:11434/v1 \ -e PGPT_PROFILESprod \ zylonai/private-gpt:latestprofile 的加载与合并机制详见 How it works 与 Settings Profiles。3️⃣ 开启鉴权与观测鉴权在 profile 中设置server.auth.enabled: true并配置secret防止 API 被未授权访问可观测性设置observability.mode: arize_phoenix或opik把每一次 LLM 调用、嵌入请求和检索步骤都变成可视化 trace详见 Observability 文档4️⃣ 按需构建自定义镜像如果默认镜像不满足需求比如要加队列、可观测性组件可以从源码构建并指定 extrasgit clone https://gitcode.com/GitHub_Trending/pr/privateGPT cd privateGPT docker build \ --build-arg EXTRAScore queue observability-opik \ -t private-gpt .常见问题排查症状可能原因解决方式容器启动后连接 LLM 超时OPENAI_API_BASE地址错误Linux 用--network hostlocalhostmacOS/Windows 用host.docker.internalUI 打不开端口未映射确认加了-p 8080:8080host 网络模式除外上传文档检索不到没拉嵌入模型确认 Ollama 中已有mxbai-embed-large等嵌入模型重启容器后文档丢失未挂载数据卷添加-v ./local_data:/home/worker/app/local_data遇到更复杂的问题可以查阅 故障排查文档或用 Workbench 里的 API Debugger 直接看请求详情。总结阶段你完成了什么✅ 一条命令docker run启动 PrivateGPT连接 Ollama✅ 本地验证/ui打开 Workbench发消息、传文档、看引用✅ 生产就绪数据卷持久化 配置 Profile 鉴权 可观测性PrivateGPT 让本地模型与生产 AI 应用之间只差一个 Docker 容器。装好它之后你的 Ollama 就不再只是能聊天的模型仓库而是一个带 RAG、工具、MCP 和数据查询能力的完整私有 AI 后端。下一步建议从 Quickstart 指南 开始把消息 API 接入你自己的应用。【免费下载链接】privateGPTComplete API layer for private AI applications on local models: RAG, skills, tools, MCP, text-to-sql, and more. Works with any OpenAI-compatible inference server.项目地址: https://gitcode.com/GitHub_Trending/pr/privateGPT创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考