上个月一个做智慧安防的朋友半夜给我发语音，声音都是抖的。他花了小二十万采购了一批AI推理芯片，准备部署到社区的摄像头系统里做实时分析。结果板子回来一上电，模型跑是能跑，但延迟高得离谱，原本说好的实时识别变成了三秒才出一帧，甲方直接在验收会上拍了桌子。他问我：参数表上写的算力那么高，怎么到我手里就废了？说实话，这个问题我听了不下十遍，每次都想叹气。
咱们今天就专门聊聊AI推理芯片选购这件事。很多朋友觉得把算力数字拉出来比大小就行了，真要这么简单，我那朋友也不至于半夜找我哭诉。你细想，一块芯片从参数表到实际跑通业务，中间隔着的坑比你想象的多得多。
算力数字大就一定跑得快吗？
先把这个最大的误解给你戳破。你去看任何一款AI推理芯片的宣传页，最显眼的位置一定标着一个算力值，单位通常是每秒万亿次操作。但这里面有个文字游戏，这个峰值算力是在特定精度下测出来的。比如有些芯片标的是整数八位精度下的算力，而你实际跑模型往往用的是浮点十六位，这两个数值能差出三四倍。
我自己就干过一件特别蠢的事。早些年帮一个做工业质检的团队选型，看中了一款标称算力非常漂亮的芯片，买回来实测才发现，那个高算力只在整数八位下有效，而他们的缺陷检测模型对精度要求高，必须用浮点十六位跑，结果有效算力直接打了骨折。当时我盯着测试报告傻眼了，那种感觉就像买了个标注百公里加速三秒的车，结果发现油箱里只有一格油。
所以第一个要看的参数，是你实际业务精度下的有效算力，而不是宣传册上那个最大数字。一般供应商的技术文档里会有一张不同精度对应的算力表，你要拿着自己的模型精度去对，别偷懒。
内存带宽为什么比算力还关键？
如果说算力是发动机的马力，那内存带宽就是供油管的粗细。发动机再猛，油供不上，照样跑不起来。AI推理芯片在处理模型时，需要频繁地从外部内存读取权重参数和中间计算结果，如果内存带宽不够，芯片的计算单元大部分时间都在等数据，利用率低得可怜。
我记得好像是二零二四年初的时候，有个做自然语言处理的小团队找我咨询。他们选了一款算力中等但价格便宜的芯片，想着先跑个小模型试试水。结果模型稍微大一点，推理速度就断崖式下跌。后来一查，芯片的内存带宽只有几十个GB每秒，而他们的模型参数量对应的数据吞吐需求远超这个数。这就好比高速公路修了八车道，但收费站只开了一个窗口，车全堵在入口了。
所以你看参数表的时候，一定要把内存带宽和容量这两个数拎出来单独看。容量决定了你能不能把整个模型塞进去，带宽决定了塞进去之后跑得顺不顺。这两个数如果和你的模型规模不匹配，算力标得再高也是白搭。
常见问题：整数八位和浮点十六位到底选哪个？
这取决于你的模型对精度的敏感程度。图像分类、目标检测这类任务，整数八位通常够用，还能换来更高的算力和更低的功耗。但像医疗影像分析、精密测量这些对数值精度要求高的场景，浮点十六位甚至更高精度是必须的。最稳妥的办法是拿你的模型分别在这两种精度下跑一遍验证集，看准确率掉多少，再决定能不能接受。
功耗和散热往往被忽略但后果很严重
我那个做安防的朋友后来复盘，发现问题就出在功耗上。他选的芯片单颗功耗标称是七十五瓦，但他把四颗集成在一块板子上，散热设计没跟上，芯片温度一高就自动降频保护，算力直接腰斩。他当时压根没把散热当回事，觉得芯片嘛，能有多热。结果实测满负荷运行十分钟，散热片烫得能煎鸡蛋。
功耗这个参数你要从两个维度看。一个是芯片本身的功耗，这个决定了你的供电设计。另一个是每瓦性能，也就是跑同样的任务消耗多少电。对于边缘部署的场景，比如摄像头、机器人、车载设备，每瓦性能比绝对算力更重要，因为供电和散热空间都有限。你总不能给一个路口摄像头配个电脑机箱那么大的散热器吧。
提示：选型时一定问供应商要实际部署环境下的功耗曲线和散热方案建议。如果对方只给一张峰值算力表就催你下单，我建议你换个供应商再聊聊。
软件工具链的成熟度决定落地速度
这一点是我踩坑最多的地方，也是很多技术团队容易忽略的。芯片硬件再好，如果配套的软件开发工具不好用，模型移植和优化能把你逼疯。所谓工具链，包括编译器、推理框架支持、量化工具、调试工具这一整套东西。
我接触过一款芯片，硬件参数在同价位里相当能打，但它的编译器对某些算子支持不好，我们团队花了三周时间手动重写算子，项目差点延期。后来换了一款算力稍低但工具链成熟的芯片，同样的模型两天就部署上线了。这事让我明白一个道理：开发效率也是总成本的一部分，而且占比不小。
怎么看工具链成熟度？最直接的办法是去问已经用过这款芯片的团队，或者看这款芯片在开源社区里的讨论热度。如果搜半天找不到像样的实践分享，大概率说明用的人少，遇到问题你只能自己扛。
说了这么多，其实核心就是一句话：别只盯着算力数字做决定。把你实际业务的精度需求、模型规模、部署环境、开发资源这几个因素摆在一起，再去和芯片的参数做匹配。我那安防朋友后来换了一款每瓦性能更优、工具链也更顺手的芯片，虽然峰值算力看着低了一截，但实际吞吐量反而上去了，项目也顺利验收了。
对了，如果你正在选型阶段，有个笨办法但特别管用：找供应商要一块开发板，拿你自己的模型实测两天。跑出来的数据比任何参数表都真实。我到现在也没搞懂为什么很多人宁愿看三天文档也不愿意花半天实测，可能是我太笨了只会用笨办法吧。
