前几天一个在苏州做智能安防的朋友给我打电话,说他老板下了死命令,今年必须把后端服务器的推理成本砍下来三成,让他一周内拿出方案。他原话是这么说的:“我连训练和推理的账都算不明白,你让我选芯片,这不是赶鸭子上架吗。”说实话,我特别理解这种慌,因为我自己头一回接触推理芯片选型的时候,也干过一件挺蠢的事,当时觉得算力越大越好,结果买回来的卡电费比省下来的时间还贵,气得我当晚没睡好。
先搞懂一件事:推理和训练根本是两码事
很多人一上来就盯着峰值算力看,这不对。训练阶段是把模型喂饱,拼的是大规模并行和显存带宽,而推理阶段是模型已经定型了,每天要应对成千上万次请求,这时候拼的是单位功耗下能跑出多少吞吐量。你细想,一个机房如果满载运行,电费和散热成本能占到总持有成本的四成以上,这还没算上运维的人力和故障停机损失。所以采购AI推理芯片,第一件事是把评估维度从“多快”切换到“多省”。
我记得大概是2024年底,帮一家做工业质检的客户做评估,他们原来用的是上一代高端训练卡跑推理,一张卡功耗接近七百瓦,实际利用率还不到三成。后来换成专门为推理优化的低功耗芯片,整机柜功耗从十二千瓦降到了七千瓦左右,一年光电费就省了大概四万多块。关键是延迟并没有明显变差,因为质检场景对单次响应时间的要求本来就没那么苛刻。
能效比的账到底该怎么算
别傻乎乎只看芯片手册上标的能效比数字,那是理想工况。你得结合自己的实际业务模型去测。具体做法是:拿你线上流量里最具代表性的两三个模型,在候选芯片上跑一遍真实请求的压测,记录每秒查询数和整机功耗,然后算出一个“每瓦每秒查询数”的指标。这个数字比任何纸面参数都靠谱。
还有一个容易被忽略的点是内存容量和内存类型。推理过程中模型权重和中间激活值都要占内存,如果内存不够,就得频繁换入换出,延迟会突然飙升,这时候你算出来的能效比全是假的。我实测发现,同样一款芯片配不同容量的内存,在长文本场景下的表现能差出接近一倍。所以采购清单上一定要把内存配置写清楚,别被基础款的低价忽悠了。
提示:评估阶段一定要求供应商提供真实业务模型的压测报告,而不是标准测试集跑分。标准测试集和你的实际场景往往差了十万八千里。
成本不只看采购价,持有成本才是大头
我见过太多团队在招标时死磕单卡报价,最后中了标才发现配套的服务器、交换机、散热改造加起来又是一大笔。2026年有个新变化值得注意,就是液冷方案在中等规模机房里开始普及了,虽然初期投入比风冷高一些,但长期看散热效率提升明显,对高密度推理集群来说反而更划算。
再说软件生态。这一块其实特别关键,但很多采购决策者容易忽略。一款推理芯片如果配套的编译工具链不成熟,你的算法团队就得花大量时间去适配,这个人力成本折算下来可能比硬件差价还高。我认识一个做内容审核的团队,图便宜选了某款小众芯片,结果模型迁移花了整整两个月,中间还踩了无数坑,负责人跟我说的时候一脸苦笑。
常见问题
常见问题:预算有限的情况下,先保算力还是先保能效?
看你的业务增长曲线。如果未来半年请求量预计翻倍,那优先保能效和扩展性,因为电费和散热是持续性支出;如果流量平稳且模型已经稳定,可以适当牺牲一点能效换更低的前期投入。但无论如何,别买没有软件生态支持的芯片,那个隐性成本填不平。
说到底,选型是个动态平衡的事
我自己现在的习惯是,把候选芯片按能效、生态成熟度、持有成本三个维度打个分,然后根据业务阶段给不同权重。这个方法也不是每次都灵,上个月给一个客户做方案,按打分表选出来的型号在他们机房居然因为机架深度不够装不进去,你说这事闹的。所以纸上算完,一定得去现场看一眼。
2026年这个时间点上,AI推理芯片的选择比前两年丰富多了,但坑也跟着变多。你要是也在为选型头疼,不妨先别急着看参数表,拿自己的真实流量跑一轮压测,答案可能跟你想的完全不一样。反正我到现在也没搞懂,为什么有些厂商的能效标称值和实测值能差出那么多,可能是我测的方法不对吧。