上个月一个在杭州做智能安防的朋友半夜给我发语音，说他们公司要批量采购一批AI推理芯片，预算批下来了，但他对着供应商给的参数表看了三天，越看越糊涂。什么算力峰值、显存带宽、能效比，每个字都认识，连在一起就不知道该怎么选了。我当时就跟他说，你别急，这事我当年也栽过跟头。
我自己就干过一件特别蠢的事。前年帮一个做工业质检的客户选型，看到某款芯片标着超高峰值算力，价格还便宜，二话没说就推荐了。结果部署上去才发现，实际跑他们的缺陷检测模型，帧率连标称值的三分之一都不到。后来我才搞明白，那个峰值算力是理论值，实际能跑出多少，得看内存带宽和缓存够不够喂饱计算单元。气得我当晚没睡好，第二天赶紧给客户换方案。
算力峰值高就等于好用吗？
说实话，很多采购新人第一眼就看算力峰值，觉得数字越大越厉害。这个逻辑不能说错，但只对了一半。算力峰值好比汽车的发动机最大功率，你平时在市里开，根本踩不到那个红线。真正决定你日常使用体验的，是内存带宽和实际有效算力。
我实测过一款标称每秒两百多兆次运算的推理芯片，跑一个中等规模的图像分类模型，实际吞吐量大概只有标称值的四成左右。为什么？因为数据在内存和计算单元之间搬运的速度跟不上，计算单元经常在等数据。这就像你请了个手脚特别麻利的厨师，但食材得从隔壁城市运过来，他再快也得等着。
所以看参数的时候，一定要把内存带宽和算力峰值放在一起看。如果一款芯片算力标得很高，但内存带宽只有每秒几十个吉字节，你就要打个问号了。通常来说，每兆次运算对应的带宽如果低于某个阈值，实际效率就会大打折扣。这个阈值不同场景不太一样，但你可以让供应商提供实际模型跑分数据，别只看白皮书。
提示：让供应商提供你实际要部署的模型在他们芯片上的跑分，而不是通用的基准测试分数。通用分数好看不代表你的模型跑得好。
能效比和散热，采购最容易忽略的两笔账
算力参数聊完了，咱们说说钱的事。采购不能只看芯片单价，得算总拥有成本。这里面有两个大头容易被忽略：电费和散热。
能效比通常用每瓦功耗能提供多少算力来衡量。这个数字看着不起眼，但放到几十上百张卡的集群里，差距就大了。我算过一笔账，两款芯片算力差不多，一款每瓦能跑十五兆次运算，另一款只有十兆次。假设你部署一百张卡，每天跑十六个小时，一年下来电费差距大概能差出四到六万块。这还没算散热系统的投入。
散热这块更是隐性成本。有些芯片功耗高，发热量大，你得配更强的风冷甚至液冷系统。这些配套设备的采购成本、维护成本、占用空间，加起来可能比芯片本身还贵。我见过一个团队为了省芯片钱选了高功耗方案，结果机房改造多花了二十多万，老板后来知道了差点没把他们骂死。
所以采购的时候，一定要把三年期的电费和散热成本算进去，再对比不同方案的总账。有时候单价贵百分之二十的芯片，因为能效比高，三年下来反而更省钱。
软件生态这关过不了，硬件再好也白搭
参数看完了，成本也算清了，还有一个坑等着你。那就是软件工具链和模型兼容性。
你选了一款芯片，算力强、能效高、价格合适，结果发现你团队用的深度学习框架对它支持不好，模型转换工具各种报错，算子库缺东少西。这就尴尬了。你要么花大量时间自己适配，要么换芯片。不管哪种，都是额外成本。
我现在的习惯是，选型之前先问供应商三个问题：第一，你们支持哪些主流深度学习框架，版本更新跟得紧不紧？第二，有没有现成的模型转换工具和量化工具，能不能给我演示一下把常用模型转过去跑通？第三，算子库覆盖度怎么样，我要是遇到不支持的算子，你们多久能补上？
这三个问题问完，基本能判断出这家供应商的软件成熟度。如果对方支支吾吾或者只会说“我们生态很好”，你就得留个心眼了。最好拿你自己的模型去实测，别嫌麻烦，这一步省不得。
常见问题：采购时怎么判断一款AI推理芯片的实际性能？
别只看白皮书上的峰值算力。要求供应商用你的实际模型做现场跑分，重点看吞吐量、延迟和内存占用。同时对比不同 batch size 下的表现，因为实际业务中 batch size 往往和实验室环境不一样。如果供应商不愿意做这个测试，那本身就是一个信号。
总结一下我的选型思路
选AI推理芯片这事，说复杂也复杂，说简单也简单。别被一堆参数吓住，抓住几个核心就行：算力峰值要看，但更要看内存带宽和实际跑分。能效比和散热成本得算总账，别只看采购单价。软件生态和模型兼容性必须实测，别信口头承诺。
我现在帮客户选型，一般会先让他们把实际要跑的模型和业务场景理清楚，然后拿着这些去跟供应商聊。谁家能最快跑通、跑得最稳，谁就是首选。参数再漂亮，跑不通你的模型也是白搭。
不过话说回来，这事也不是每次都灵。上周有个客户预算特别紧，我推荐的方案被砍了一半预算，最后选了个参数不太够的芯片，现在跑得磕磕绊绊。我也还在想有没有更好的折中办法，你有遇到过类似的情况吗？
