最近后台私信里出现频率最高的问题已经彻底变了。以前大家问的是“这张卡打游戏怎么样”现在问的是“这台机器跑AI用哪张卡才划算”。其实这个变化本身就说明了一件事A卡和N卡之争在AI时代基本失去了讨论价值N卡是绝对的主流真正难回答的是另一个问题——从RTX 1060这种老将到新出的RTX 5090中间隔了七八代产品算力涨了几十倍价格和功耗也翻了几倍普通玩家到底应该站在哪个位置才能既够用又不浪费这篇文章就围绕这个“怎么平衡算力与能耗比”的问题展开。1. 从1060到5090每一代卡在AI负载上的“真实进步”1.1 GTX 1060没有Tensor CoreAI只能是“能跑”而非“好用”提到RTX 1060很多人的第一反应是“一代神卡”。但如果你把这张卡放在今天的AI工作流里看它其实已经非常勉强了。GTX 1060没有Tensor Core没有DLSS跑AI时只能靠传统FP32管线硬算。它有两个致命短板一是6GB显存装不下任何像样的模型二是没有专门的矩阵运算单元推理速度慢得让人失去耐心。如果你只是用CPU跑图像分类这种小规模的模型1060还能应付但一旦牵涉到Stable Diffusion的UNet、Llama的矩阵乘法1060就会立刻暴露出代际差距。1.2 RTX 20系与30系Tensor Core入场AI算力开始起飞到了RTX 20系列NVIDIA第一次把Tensor Core和RT Core放进消费级显卡图灵架构的意义在AI发展史上是里程碑级别的。20系提供了FP16加速但初代Tensor Core性能和现在完全不在一个量级加上显存普遍不大所以它更多是“能跑”而非“好用”。真正让人感受到“显卡是AI第一生产力”的是RTX 30系安培架构。GA102大核心的RTX 3090以24GB显存和在当时堪称恐怖的FP16算力成了多少人实验室里的标配至今二手市场里3090依然是24GB大显存的高性价比选择。1.3 RTX 40系到50系从堆算力转向压功耗再到低精度发力40系Ada Lovelace把方向从“堆算力”转向了“压功耗”。台积电4N工艺让相同晶体管规模下的能耗比大幅提升。RTX 4090的FP16性能比3090 Ti高出不少TDP却维持在450W附近同样跑一个Stable Diffusion批量生成任务4090比3090可能快1.6到2倍而功耗差距没有成正比变大这就是能耗比的意义。到了RTX 50系BlackwellNVIDIA带来了FP4支持和第九代Tensor Core官方PPT里最显眼的数字已经变成了FP4/FP8的TOPS而不是传统FP32。5090的TBP标到了575W比4090高了一百多瓦但官方宣传的AI算力提升在发布会上的口径基本是“同精度下是上一代的两倍左右”。真实部署中这个倍率会因为显存带宽、软件库适配程度而打折但它确实体现了AI计算正在往低精度、高密度方向走。架构代表型号显存是否支持Tensor Core典型FP16加速TBPPascalGTX 1060 6G6GB否无120WTuringRTX 2060/20706-8GB第一代较弱160-185WAmpereRTX 3060/309012/24GB第三代强170-350WAdaRTX 4060/40908/24GB第四代极强115-450WBlackwellRTX 5060 TI/50908-32GB第五代含FP4/FP8支持约150-575W这张表格里藏着一条规律从1060到5090每隔两代就会出现一次“算力大幅提升但功耗只涨三五十瓦”的甜蜜节点。对于预算有限的用户买上一代的次旗舰甚至旗舰往往是能耗比最划算的位置——比如现在看40系或者看30系二手。这个规律放到后面章节详细说。2. TFLOPS、TOPS、显存带宽算力表里最容易被误读的三个数2.1 TFLOPS浮点算力不能只看FP32很多人在选购AI显卡时会去看官方参数页里的“算力”数字。但如果你用惯了显卡天梯图那一套“谁分数高谁强”的思维会很容易踩坑因为显卡在AI场景里有好几套算力口径每一套的数值都差出好几倍厂商往往会把最漂亮的、稀疏的、低精度的数字放在最显眼的位置。先说TFLOPS它表示每秒能执行多少万亿次浮点运算是衡量FP16、FP32这类浮点精度的传统口径。问题是同样一张RTX 4090FP32算力大约82.6 TFLOPSFP16 Tensor性能可以到330 TFLOPS稀疏模式下更是能翻倍到660 TFLOPS而如果算INT8或者FP8数字还能再往上翻。如果你看到宣传语写着“XX TOPS”一定要搞清楚它是基于什么精度、是不是稀疏计算否则比较起来毫无意义。2.2 TOPS与低精度50系宣传里的数字游戏TOPS是更偏AI推理的统计口径通常指INT8或更低精度的操作数。RTX 50系列发布时NVIDIA重点宣传的AI算力提升基本都用的是FP4/FP8的稀疏TOPS。FP4这种精度对普通用户来说意义有限——目前大部分开源模型还是跑FP16或INT8真正把FP4用起来至少还要等软件生态再成熟一段时间。所以如果你现在要跑Llama 3的量化版或者Stable Diffusion盯着FP4 TOPS买卡大概率会高估实际提升。这里有一个很现实的例子RTX 5090的FP8算力指标看起来非常夸张但如果你实际跑社区里那些还是基于FP16写出来的推理脚本能感受到的提升幅度远没有官方数字那么惊人。原因很简单软件没有跟上硬件。所以买卡时别被一个孤零零的“高精度算力数字”冲昏头脑多看看你实际要用的框架和模型支持哪些精度。2.3 显存带宽大模型推理的真正瓶颈显存带宽的重要性在AI负载里常常被低估。大模型推理有一个显著特点计算强度不高但数据搬运量大。每生成一个token显卡都要把整个权重矩阵从显存搬到计算单元带宽决定了这个搬运速度。最典型的例子就是Llama 3 8B这种模型很多人发现8GB显存能跑但速度忽快忽慢瓶颈往往不在芯片算力而在显存带宽。为什么RTX 4060 Ti 16G和RTX 4070跑同一个大模型4070可能比4060 Ti快不少因为4070不仅显存位宽是256-bit带宽也比4060 Ti的128-bit高了一大截。买卡时务必把“显存容量位宽带宽”当作一个整体来看而不要只问“多少G”。显存容量决定你能不能跑带宽决定你跑得快不快算力决定上限三者缺一不可。3. 先定场景再定卡推理、微调、本地大模型分别需要什么3.1 推理显存容量决定下限带宽决定上限我的观点是买AI显卡最好先别问“哪张卡性价比最高”先问自己“我到底要跑什么”。因为同一个“AI”在不同人那里的负载形态差别太大跑个文生图小脚本和微调一个70B模型需要的硬件完全是两个维度。先看推理需求这可能是个人用户最主要的使用场景。Stable Diffusion和Flux的文生图ChatGLM或Llama的对话问答都属于推理。这类任务对显存容量有硬性要求模型权重要全部装进显存否则只能退化为CPU卸载速度断崖式下降。一个很粗略的经验公式是8B参数模型FP16权重约16GB但一般我们用4-bit量化后只需要约5到6GB所以8GB显存的卡勉强能跑如果要做长上下文或者同时开多个并发任务就得12GB起步。推理速度方面单张3090跑量化后的7B/8B模型大概能到每秒20到40 token4090大概能到40到705090因为带宽提升明显不少演示里能到100以上。这个速度对于对话足够但对于批量生成、每天跑几万条数据的场景差距就会被放大。3.2 微调与训练算力比显存更关键再看微调和训练。LoRA微调已经极大降低了门槛一张16GB显存就能微调7B模型24GB则可以比较舒服地微调13B或14B模型。全参数微调则需要更大的显存和更好的散热基本上建议24GB起步而且这时多卡并行或者混合精度训练会更重要。如果你是想“训练”而不是“推理”那么绝对算力和显存带宽的优先级要高于显存容量因为训练过程GPU利用率更高卡慢了就是等待时间变长最后换算成电费和时间成本。这里要提醒一句很多人以为“显存越大越能训练大模型”但实际训练时批量大小、序列长度、优化器状态都会额外占用显存。同样的模型FP16全参数微调所需的显存可能是纯推理的4到6倍。所以如果你的主要目标是微调购买前最好去相关仓库查一下默认配置需要的显存别只看模型参数量就下单。3.3 Agent与多模态16G是舒适起点还有一个越来越常见的使用场景是本地部署多模态或Agent类应用。现在很多Agent框架需要同时加载视觉编码器、语言模型、工具调用提示词显存占用比单纯聊天要高不少。8GB在这种场景下大概率会非常局促16GB是舒适起点24GB以上能放开手脚。我自己的经验是如果预算只够一张16G卡优先选新卡如果能上24G二手3090和4090都值得考虑如果追求未来两三年不折腾5090这种32G旗舰是省心之选。下面这个表是常见显存容量能覆盖的大致负载范围。显存容量能跑的典型负载适合的卡型举例8GB7B/8B模型4-bit量化推理低分辨率SDXLRTX 4060RTX 506012GB13B模型量化SDXL/Flux小图LoRA微调7BRTX 3060 12GRTX 407016GB7B全精度推理14B量化LoRA微调Agent应用RTX 5060 Ti 16GRTX 5070 TiRTX 508024GB33B量化推理13B全精度微调多模态应用RTX 3090RTX 409032GB70B量化推理低速度多任务并行生产级本地应用RTX 5090看完这张表你大概能定位到自己需要的显存档位。但显存相同卡和卡的差距依然很大下一章解决另一个问题同样的显存档位下到底选哪一代卡能耗比才最划算。4. 能耗比的账本两张3090换一张4090电费和体验差了多少4.1 一张电费单引发的换卡这章是整篇文章我私心最想说的地方。很多人都纠结“算力不够怎么办”却很少有人认真算过“算力背后的功耗账单”——直到收到电费单再加上夏天室内温度升高逼着空调多开的钱一起炸出来。我自己有一台双卡RTX 3090的机器曾经用来跑一些13B模型的LoRA微调和批量文生图。3090单卡满载大概350W两张就是700W再加上CPU和其他配件整机满载接近850W。如果每天满载跑5个小时按0.6元一度电算一个月光电费就接近77块一年900多块。听起来似乎还能接受真正让人崩溃的是散热两张3090满载时机箱旁边的体感温度像开了一个小太阳夏天不开空调根本坐不住开空调又增加了空调本身的电费。不到两个月我就受不了了后来把主力机换成单张4090同样的微调任务耗时缩短到原来的六成左右但整机满载功耗从850W降到600W附近温差和噪音更是天壤之别。4.2 任务能耗比算得快才是真的省这里想给你一个“任务能耗”的概念。传统显卡评测里我们习惯看每瓦多少帧但在AI场景下更应该看“完成同一任务要消耗多少度电”。比如同样跑1000张图的批量生成3090可能需要5小时平均功耗350W总耗电约1.75度4090可能只需要3小时平均功耗略高到400W总耗电约1.2度。算下来4090反而更省电。所以绝对功耗高不是问题单位任务的能耗低才是真正的“节能卡”。4.3 用nvidia-smi看清卡的真实状态除了满载功耗待机功耗也值得注意。某些显卡特别是多卡环境下待机功耗可能高达50W甚至更多。如果你只是偶尔跑跑AI机器大部分时间开着待机日积月累也是一笔不小的钱。装完驱动后跑nvidia-smi看一下待机功率如果异常偏高检查一下是否开了P0状态锁频或者显示器刷新率是否锁在了高帧率——后者会让显卡在桌面待机时也保持高频。给你一个简单的实测功耗观察方法在终端里执行nvidia-smi dmon -s p -d 1就能实时看到每张卡的功耗变化。跑任务时观察它是撞到功耗墙还是温度墙如果是温度墙导致降频那提升散热比换卡更划算如果是功耗墙可以尝试用nvidia-smi -pl把功耗上限拉低一点再测很多时候性能损失微乎其微。这个习惯能帮你判断手里的卡是不是真的“没发挥好”而不是急着花钱升级。还有一条很多人忽略的路远程算力租赁。如果只是临时跑大模型微调租几张A100/H100按小时计费比自己买卡买电源买散热再交几个月电费要便宜尤其是那些一个月只跑两三次大任务的场景本地买卡反而是浪费。像AutoDL这类按小时计费的算力平台本质上就是把算力当作一种“按需购买”的资源这个思路在选卡阶段就应该想清楚不一定非得“拥有一张卡”才能跑AI。5. 下单之前必须确认的几件“身外事”电源、机箱、驱动与二手检测5.1 电源与接口新标准不只是功率数字买卡这件事很大一部分坑不在显卡本身而在“你有没有能力用好它”。从RTX 1060这种只用主板供电的老卡到5090这种建议1000W电源的怪兽中间的跨越比大多数人想象中大得多。第一个必查项是电源。1060时代大家普遍觉得500W电源就够用3090/4090时代则建议大家直接上850W起步5090因为TBP冲到了575W官方推荐电源达到了1000W以上。这里要特别提醒不要只盯着额定功率还要看电源的瞬时峰值承受能力和接口类型。新一代ATX 3.1/PCIe 5.0电源专门针对显卡瞬时功耗做了优化如果你的电源是老款用转接线给5090或4090供电遇到短时电流峰值很容易触发保护重启甚至烧毁接口。接口方面高端50系显卡用的12V-2x6接口对插拔次数和弯折角度很敏感装机时尽量让线材保持笔直别大力出奇迹。5.2 机箱和散热旗舰卡的物理门槛第二个必查项是物理空间和散热条件。RTX 5090和4090基本都是三槽卡长度普遍在300mm以上普通中塔机箱要提前查兼容性ITX机箱基本要放弃。散热上一张旗舰卡满载时排出的热风量非常可观机箱至少要有良好的前进后出风道否则显卡会长时间顶着温度墙降频再强的算力也发挥不出来。我个人习惯在装完大卡后先跑10分钟的gpu-burn或furmark观察温度曲线确认机箱风道没问题再进系统部署。5.3 驱动与CUDA新卡发布初期的兼容性阵痛第三是驱动与CUDA环境。新卡刚发布的那几个月软件兼容性往往是最痛的。RTX 50系刚出来的时候部分PyTorch版本和CUDA版本对Blackwell架构的支持还不完整跑模型很容易报错。我的建议是装完卡之后不要急着装各种全家桶先用官方驱动跑通一个小模型再逐步加依赖库。如果发现PyTorch报“Sm_xxx not supported”之类的错误换更新的PyTorch版本或者用Docker镜像基本能解决。5.4 二手卡四步检测法第四是二手卡检测。无论是因为预算选30系还是想蹲一张便宜的20系二手N卡的水都很深。我的标准流程是四步先看GPU-Z参数确认核心代号、显存容量、位宽和BIOS信息对得上再跑一遍mats显存检测这是NVIDIA官方的显存测试工具二手卡最常见的暗病就是显存颗粒损坏这个工具对小白略麻烦但非常值得用然后持续跑压力测试至少20分钟看有没有花屏、掉驱动、温度异常最后观察满载时的实际功耗和跑分是否接近同型号平均水平。如果卖家不让你做其中任何一步多半有猫腻。另外提一句虚拟化和多卡用户如果你打算把显卡直通给虚拟机做AI推理最好先确认主板支持IOMMU且CPU的PCIe通道够用同时尽量用同一型号的卡组多卡不同代卡混插在部分主板上会拉低整机稳定性。这个问题论坛里问得很多买之前查一下自己主板的具体分组情况能省掉后面一大半折腾。6. 我的最终建议不同预算下我会怎么选6.1 按预算的最终推荐前面的铺垫有点长但都是为了这个结论。如果让我按照“算力与能耗比的平衡”这个标准给身边不同需求的朋友推荐我的建议大致是这样。预算3000以内老老实实看RTX 5060TBP约145W或者二手RTX 3060 12G。前者是新卡省心后者便宜且显存大一些适合跑7B量化模型推理和SDXL出图。别想着这个价位能包办一切能稳定跑通小模型就已经值回票价。预算4000到6000我的首选是RTX 5060 Ti 16G或者RTX 5070。5070的算力比4060 Ti高不少显存带宽也更健康跑13B量化模型和微调小模型都比较舒服。这个区间是能耗比最甜的一段整机650W电源就能带电费压力不大。预算8000到12000这是我最推荐的区间也是最容易纠结的区间。RTX 5070 Ti 16G和RTX 5080 16G都是好选择推理速度、显存、功耗三者达到了一个很理想的平衡点。如果你能接受多花点钱再往上就是24G/32G档但对我来说除非你要长期跑大模型微调否则16G在这个价位已经覆盖了绝大多数本地AI场景。预算15000以上那就直接看RTX 5090了。32GB GDDR7、接近1000GB/s级别的带宽、新一代Tensor Core本地部署70B量化模型从“勉强能跑”变成“真正可用”这种体验是上一代旗舰给不了的。不过买之前确认你的电源足够、机箱够大不然省下的钱会从电费和折腾里还回去。6.2 另一个思路把算力当资源租借如果预算特别紧张我还会考虑另一种思路买一台配置一般的N卡小主机搭配远程算力平台按需租卡把算力当作一种“按需购买”的资源而不是一次性买断的硬件。对很多非高频用户来说这才是能耗比以及金钱比最高的方案。6.3 下单前最后一道工序查模型显存需求最后分享一个小技巧无论选哪张卡买之前先去模型托管网站搜一下你要跑的模型看一下它的模型卡页面有没有标注显存需求和最低算力建议。很多时候一个模型能不能跑、跑得爽不爽一张显存表就能说明白比在论坛里吵哪张卡强有用多了。显卡更新换代的速度只会越来越快与其追求永远顶配不如把“当前够用功耗可控”当作最重要的选卡标准。我自己家里机器从双3090换到4090再到现在偶尔租云端最大的体会就是算力不是炫耀的资本能把任务又快又省地干完才是真正的赢家。