ModelScope 跨平台部署指南Windows / Linux / macOS 十分钟选对安装路线【免费下载链接】modelscopeModelScope: bring the notion of Model-as-a-Service to life.项目地址: https://gitcode.com/GitHub_Trending/mo/modelscope你需要把同一个 ModelScope 模型跑在自己的电脑上和团队服务器上但 Windows、Linux、macOS 三套环境各自有坑。本文按自查 → 安装 → 验证 → 排坑的任务顺序给出 ModelScope 跨平台部署的完整分步路线每条路线的命令都可直接复制执行。1. 三十秒自查先定路线再动手装之前先回答三个问题你用什么系统有没有 NVIDIA GPU要不要跑语音模型。答案不同路线完全不同照下面这张决策树走即可路线适合谁一句话提醒Linux CUDA有显卡的服务器、生产环境功能最全唯一支持多卡分布式Linux CPU无显卡、只跑推理全功能可用速度换便利Windows 本地桌面开发、轻量推理语音模型不支持其他基本齐全macOSIntel原型验证x86 直装无需额外配置macOSM 芯片Apple Silicon 用户必须先装 Rosetta 2 转译层2. 分平台快速上手公共步骤 各自差异2.0 公共步骤conda 环境与源码三平台通用所有平台共用同一段前置操作建独立环境、拉源码。系统级差异只体现在各平台小节里。# 建隔离环境固定 Python 版本 conda create -n modelscope python3.8 -y conda activate modelscope # 拉取 ModelScope 源码 git clone https://gitcode.com/GitHub_Trending/mo/modelscope cd modelscope装完核心包后按需再补领域依赖modelscope[cv]、modelscope[nlp]、modelscope[multi-modal]、modelscope[audio]、modelscope[science]缺哪个装哪个不必一次装全。2.1 ModelScope Windows 安装先备编译工具链Windows 装 ModelScope 最大的坑是 C 扩展编译依赖没有 Visual C Build Tools 时 pip 会在编译阶段直接失败。这一步用 Chocolatey 把编译工具链和 git-lfs 一次备齐需管理员终端。choco install visualcpp-build-tools -y --package-parameters --add Microsoft.VisualStudio.Workload.VCTools --version 14.0 choco install git-lfs -y git lfs install回到公共步骤后先装 CPU 版 PyTorch要 GPU 支持需先装好 CUDA 11.8 Toolkit 和对应驱动再把安装源的 index 换成 cu118。pip install torch2.0.1 torchvision0.15.2 torchaudio2.0.2 --index-url https://download.pytorch.org/whl/cpu # 再按领域装核心库示例为 NLP pip install modelscope[nlp] -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html2.2 ModelScope Linux 安装功能最全的路线Linux 上只需补两个系统库编译工具链和音频底层库 libsndfile语音模型读 wav 依赖它。sudo apt-get update sudo apt-get install -y build-essential libsndfile1 git-lfs \ sudo rm -rf /var/lib/apt/lists/*回到公共步骤然后装 CUDA 版 PyTorch。CUDA 版本务必与显卡驱动支持的上限对齐不匹配时torch.cuda.is_available()会直接返回 False。ModelScope CUDA 环境推荐 cu118 起步pip3 install torch2.0.1 torchvision0.15.2 torchaudio2.0.2 --index-url https://download.pytorch.org/whl/cu118 pip install modelscope[cv] -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html2.3 ModelScope macOS 安装brew 补系统库Intel Mac 先用 Homebrew 补齐 libsndfile 和 git-lfs再走公共步骤。brew install libsndfile git-lfs默认 PyTorch 自带 MPS 后端Apple GPU 加速装完直接补领域依赖pip3 install torch2.0.1 torchvision0.15.2 torchaudio2.0.2 pip install modelscope[multi-modal] -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html2.4 Apple SiliconM 芯片Rosetta 两步走ModelScope macOS M 芯片部署的关键是 Rosetta 2M 芯片只能转译运行 x86 包Rosetta 是前置条件不是可选项跳过它 pip 会因 wheel 架构不匹配直接报错。先装转译层再用 x86 终端装 x86 版 conda# 第一步安装 Rosetta 2 转译层 softwareupdate --install-rosetta --agree-to-license # 第二步x86 终端下安装 x86 版 Miniforge arch -x86_64 /bin/bash -c $(curl -fsSL https://raw.githubusercontent.com/conda-forge/miniforge/master/Miniforge3-MacOSX-x86_64.sh)之后完全按 Intel macOS 的流程走。转译下性能有折损重负载任务建议挪到 Linux 机器上。2.5 统一验证一条 pipeline 确认环境可用三平台装完后都跑这段验证脚本能返回两个句子的相似度分数说明核心链路下载、加载、推理全通from modelscope.pipelines import pipeline pipe pipeline(text-classification, modeldamo/nlp_structbert_sentence-similarity_chinese-base) print(pipe({source: 今天天气不错, sentences: [今天阳光明媚, 今天乌云密布]}))3. 跨平台能力边界哪些功能能跑、哪些跑不了下表基于 ModelScope v1.9.5 在同等硬件下的实测结论选型前先看这一节能力Linux x86Windows x86macOS IntelmacOS M 芯片CV 推理与训练✅ 多卡可用✅ 单卡✅ 仅限 CPU⚠️ 转译可用偏慢NLP 推理与微调✅✅ 单卡微调✅ CPU 微调⚠️ 受内存限制语音模型✅ 唯一支持平台❌❌❌多卡分布式训练✅❌❌❌⚠️ 硬边界只有一条语音模型只认 Linux。其余平台差异主要体现在加速方式和性能不在功能开关上。4. 避坑清单四个高频报错对照修复报错 1Windows 安装失败提示 Microsoft Visual C 14.0 is required症状pip 阶段编译 C 扩展报错退出。原因缺 C 工具链。修复choco install visualcpp-build-tools -y --package-parameters --add Microsoft.VisualStudio.Workload.VCTools --version 14.0报错 2macOS 加载模型时提示 Library not loaded: rpath/libsndfile.1.dylib症状import 或加载音频相关模型时立即崩。原因libsndfile 缺失或 brew 版本漂移。修复brew reinstall libsndfile报错 3Linux 上torch.cuda.is_available()返回 False症状装了 GPU 版 PyTorch 但识别不到卡。原因wheel 的 CUDA 版本高于驱动支持上限。修复换用与驱动匹配的 wheel 重装例如pip3 install torch2.0.1 --index-url https://download.pytorch.org/whl/cu118报错 4大模型推理抛 OutOfMemoryError症状加载大模型或长文本推理时显存爆掉。原因单卡容量不足。修复半精度加自动设备分配model Model.from_pretrained(damo/nlp_gpt3_text-generation_1.3B, device_mapauto, # 自动分配设备 torch_dtypetorch.float16) # 半精度5. ModelScope Docker 部署容器化适合什么时候用出现以下任一情况就直接走容器多台机器要对齐环境、目标机器不允许装依赖、宿主机是 Windows 却要跑语音模型。官方镜像已打好 PyTorch 2.0.1 和 TF 2.13.0拉取即用# GPU 镜像Linux 服务器 docker run -it --gpus all \ registry.cn-hangzhou.aliyuncs.com/modelscope-repo/modelscope:ubuntu20.04-cuda11.8.0-py38-torch2.0.1-tf2.13.0-1.9.5 \ /bin/bash # CPU 镜像 docker run -it \ registry.cn-hangzhou.aliyuncs.com/modelscope-repo/modelscope:ubuntu20.04-py38-torch2.0.1-tf2.13.0-1.9.5 \ /bin/bash需要定制时可以参考仓库里 docker/ 目录的 Dockerfile 模板改自己的比如这个 WSL2 可用的 slim 版FROM python:3.8-slim # 只装必要系统库减小镜像体积 RUN apt-get update apt-get install -y --no-install-recommends \ build-essential libsndfile1 rm -rf /var/lib/apt/lists/* WORKDIR /app COPY . . RUN python -m venv /venv ENV PATH/venv/bin:$PATH # CPU 版 PyTorch NLP 领域依赖 RUN pip install --no-cache-dir \ torch2.0.1cpu torchvision0.15.2cpu torchaudio2.0.2cpu \ -f https://download.pytorch.org/whl/cpu \ pip install --no-cache-dir \ modelscope[nlp] -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html CMD [python, -m, modelscope.cli]6. 选型收尾按场景挑平台跟住官方更新生产部署Linux NVIDIA GPU或直接上官方 Docker 镜像。这是唯一同时满足语音模型、多卡分布式、完整功能覆盖的组合。本地开发与原型验证macOS 直装M 芯片加 Rosetta或 Windows 都可以优先做 NLP/CV 场景语音需求另配 Linux 机器。边缘与轻量场景官方 CPU 镜像或上面 slim 版自定义镜像体积小、可复现。后续更新建议盯三个位置版本变动看 docs/source/change_log.md环境与开发细节看 docs/source/develop_cn.md依赖冲突时先对照 requirements/ 下各领域依赖文件确认版本组合。【免费下载链接】modelscopeModelScope: bring the notion of Model-as-a-Service to life.项目地址: https://gitcode.com/GitHub_Trending/mo/modelscope创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 ModelScope 跨平台部署指南：Windows / Linux / macOS 十分钟选对安装路线
ModelScope 跨平台部署指南Windows / Linux / macOS 十分钟选对安装路线【免费下载链接】modelscopeModelScope: bring the notion of Model-as-a-Service to life.项目地址: https://gitcode.com/GitHub_Trending/mo/modelscope你需要把同一个 ModelScope 模型跑在自己的电脑上和团队服务器上但 Windows、Linux、macOS 三套环境各自有坑。本文按自查 → 安装 → 验证 → 排坑的任务顺序给出 ModelScope 跨平台部署的完整分步路线每条路线的命令都可直接复制执行。1. 三十秒自查先定路线再动手装之前先回答三个问题你用什么系统有没有 NVIDIA GPU要不要跑语音模型。答案不同路线完全不同照下面这张决策树走即可路线适合谁一句话提醒Linux CUDA有显卡的服务器、生产环境功能最全唯一支持多卡分布式Linux CPU无显卡、只跑推理全功能可用速度换便利Windows 本地桌面开发、轻量推理语音模型不支持其他基本齐全macOSIntel原型验证x86 直装无需额外配置macOSM 芯片Apple Silicon 用户必须先装 Rosetta 2 转译层2. 分平台快速上手公共步骤 各自差异2.0 公共步骤conda 环境与源码三平台通用所有平台共用同一段前置操作建独立环境、拉源码。系统级差异只体现在各平台小节里。# 建隔离环境固定 Python 版本 conda create -n modelscope python3.8 -y conda activate modelscope # 拉取 ModelScope 源码 git clone https://gitcode.com/GitHub_Trending/mo/modelscope cd modelscope装完核心包后按需再补领域依赖modelscope[cv]、modelscope[nlp]、modelscope[multi-modal]、modelscope[audio]、modelscope[science]缺哪个装哪个不必一次装全。2.1 ModelScope Windows 安装先备编译工具链Windows 装 ModelScope 最大的坑是 C 扩展编译依赖没有 Visual C Build Tools 时 pip 会在编译阶段直接失败。这一步用 Chocolatey 把编译工具链和 git-lfs 一次备齐需管理员终端。choco install visualcpp-build-tools -y --package-parameters --add Microsoft.VisualStudio.Workload.VCTools --version 14.0 choco install git-lfs -y git lfs install回到公共步骤后先装 CPU 版 PyTorch要 GPU 支持需先装好 CUDA 11.8 Toolkit 和对应驱动再把安装源的 index 换成 cu118。pip install torch2.0.1 torchvision0.15.2 torchaudio2.0.2 --index-url https://download.pytorch.org/whl/cpu # 再按领域装核心库示例为 NLP pip install modelscope[nlp] -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html2.2 ModelScope Linux 安装功能最全的路线Linux 上只需补两个系统库编译工具链和音频底层库 libsndfile语音模型读 wav 依赖它。sudo apt-get update sudo apt-get install -y build-essential libsndfile1 git-lfs \ sudo rm -rf /var/lib/apt/lists/*回到公共步骤然后装 CUDA 版 PyTorch。CUDA 版本务必与显卡驱动支持的上限对齐不匹配时torch.cuda.is_available()会直接返回 False。ModelScope CUDA 环境推荐 cu118 起步pip3 install torch2.0.1 torchvision0.15.2 torchaudio2.0.2 --index-url https://download.pytorch.org/whl/cu118 pip install modelscope[cv] -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html2.3 ModelScope macOS 安装brew 补系统库Intel Mac 先用 Homebrew 补齐 libsndfile 和 git-lfs再走公共步骤。brew install libsndfile git-lfs默认 PyTorch 自带 MPS 后端Apple GPU 加速装完直接补领域依赖pip3 install torch2.0.1 torchvision0.15.2 torchaudio2.0.2 pip install modelscope[multi-modal] -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html2.4 Apple SiliconM 芯片Rosetta 两步走ModelScope macOS M 芯片部署的关键是 Rosetta 2M 芯片只能转译运行 x86 包Rosetta 是前置条件不是可选项跳过它 pip 会因 wheel 架构不匹配直接报错。先装转译层再用 x86 终端装 x86 版 conda# 第一步安装 Rosetta 2 转译层 softwareupdate --install-rosetta --agree-to-license # 第二步x86 终端下安装 x86 版 Miniforge arch -x86_64 /bin/bash -c $(curl -fsSL https://raw.githubusercontent.com/conda-forge/miniforge/master/Miniforge3-MacOSX-x86_64.sh)之后完全按 Intel macOS 的流程走。转译下性能有折损重负载任务建议挪到 Linux 机器上。2.5 统一验证一条 pipeline 确认环境可用三平台装完后都跑这段验证脚本能返回两个句子的相似度分数说明核心链路下载、加载、推理全通from modelscope.pipelines import pipeline pipe pipeline(text-classification, modeldamo/nlp_structbert_sentence-similarity_chinese-base) print(pipe({source: 今天天气不错, sentences: [今天阳光明媚, 今天乌云密布]}))3. 跨平台能力边界哪些功能能跑、哪些跑不了下表基于 ModelScope v1.9.5 在同等硬件下的实测结论选型前先看这一节能力Linux x86Windows x86macOS IntelmacOS M 芯片CV 推理与训练✅ 多卡可用✅ 单卡✅ 仅限 CPU⚠️ 转译可用偏慢NLP 推理与微调✅✅ 单卡微调✅ CPU 微调⚠️ 受内存限制语音模型✅ 唯一支持平台❌❌❌多卡分布式训练✅❌❌❌⚠️ 硬边界只有一条语音模型只认 Linux。其余平台差异主要体现在加速方式和性能不在功能开关上。4. 避坑清单四个高频报错对照修复报错 1Windows 安装失败提示 Microsoft Visual C 14.0 is required症状pip 阶段编译 C 扩展报错退出。原因缺 C 工具链。修复choco install visualcpp-build-tools -y --package-parameters --add Microsoft.VisualStudio.Workload.VCTools --version 14.0报错 2macOS 加载模型时提示 Library not loaded: rpath/libsndfile.1.dylib症状import 或加载音频相关模型时立即崩。原因libsndfile 缺失或 brew 版本漂移。修复brew reinstall libsndfile报错 3Linux 上torch.cuda.is_available()返回 False症状装了 GPU 版 PyTorch 但识别不到卡。原因wheel 的 CUDA 版本高于驱动支持上限。修复换用与驱动匹配的 wheel 重装例如pip3 install torch2.0.1 --index-url https://download.pytorch.org/whl/cu118报错 4大模型推理抛 OutOfMemoryError症状加载大模型或长文本推理时显存爆掉。原因单卡容量不足。修复半精度加自动设备分配model Model.from_pretrained(damo/nlp_gpt3_text-generation_1.3B, device_mapauto, # 自动分配设备 torch_dtypetorch.float16) # 半精度5. ModelScope Docker 部署容器化适合什么时候用出现以下任一情况就直接走容器多台机器要对齐环境、目标机器不允许装依赖、宿主机是 Windows 却要跑语音模型。官方镜像已打好 PyTorch 2.0.1 和 TF 2.13.0拉取即用# GPU 镜像Linux 服务器 docker run -it --gpus all \ registry.cn-hangzhou.aliyuncs.com/modelscope-repo/modelscope:ubuntu20.04-cuda11.8.0-py38-torch2.0.1-tf2.13.0-1.9.5 \ /bin/bash # CPU 镜像 docker run -it \ registry.cn-hangzhou.aliyuncs.com/modelscope-repo/modelscope:ubuntu20.04-py38-torch2.0.1-tf2.13.0-1.9.5 \ /bin/bash需要定制时可以参考仓库里 docker/ 目录的 Dockerfile 模板改自己的比如这个 WSL2 可用的 slim 版FROM python:3.8-slim # 只装必要系统库减小镜像体积 RUN apt-get update apt-get install -y --no-install-recommends \ build-essential libsndfile1 rm -rf /var/lib/apt/lists/* WORKDIR /app COPY . . RUN python -m venv /venv ENV PATH/venv/bin:$PATH # CPU 版 PyTorch NLP 领域依赖 RUN pip install --no-cache-dir \ torch2.0.1cpu torchvision0.15.2cpu torchaudio2.0.2cpu \ -f https://download.pytorch.org/whl/cpu \ pip install --no-cache-dir \ modelscope[nlp] -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html CMD [python, -m, modelscope.cli]6. 选型收尾按场景挑平台跟住官方更新生产部署Linux NVIDIA GPU或直接上官方 Docker 镜像。这是唯一同时满足语音模型、多卡分布式、完整功能覆盖的组合。本地开发与原型验证macOS 直装M 芯片加 Rosetta或 Windows 都可以优先做 NLP/CV 场景语音需求另配 Linux 机器。边缘与轻量场景官方 CPU 镜像或上面 slim 版自定义镜像体积小、可复现。后续更新建议盯三个位置版本变动看 docs/source/change_log.md环境与开发细节看 docs/source/develop_cn.md依赖冲突时先对照 requirements/ 下各领域依赖文件确认版本组合。【免费下载链接】modelscopeModelScope: bring the notion of Model-as-a-Service to life.项目地址: https://gitcode.com/GitHub_Trending/mo/modelscope创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考