上个月一个做安防工程的老同学半夜给我打语音，说他们接了个智慧园区的项目，甲方要求摄像头全部带人脸识别，结果他兴冲冲配了一批服务器，跑起来才发现画面卡成幻灯片，延迟高得离谱。他原话是这么说的：“我寻思算力这东西不就是越大越好吗，怎么钱花了效果还这么拉胯？”说实话，我当时在电话这头差点笑出声，但挂了电话仔细一想，这事还真不怪他。太多人把人工智能训练和推理混为一谈了，采购的时候光盯着峰值算力看，结果买回来的设备在实际场景里根本跑不动。
为什么数据中心里跑的芯片和你想的不一样？
咱们先把一个概念捋清楚。你训练一个人工智能模型，比如让它认识猫和狗，这个过程像是在教一个小孩认东西，需要海量数据和反复纠错，对算力的要求是爆发式的，通常用图形处理器集群来完成。但模型训练好了之后，把它部署到实际应用里，比如摄像头实时识别人脸、语音助手听懂你说的话，这个过程叫推理。推理芯片干的就是这个活。
我那个老同学犯的错，就是拿训练卡去做推理任务。训练卡功耗动辄三四百瓦，价格也贵得吓人，放在机房光散热就是一笔不小的开销。而推理芯片讲究的是在够用的精度下，用尽量低的功耗和成本把活干完。打个比方，训练芯片像是一辆重型卡车，能拉几十吨货但油耗惊人；推理芯片更像是一辆城市配送的面包车，灵活省油，每天在小区里穿梭送货才是它的主业。
那怎么判断一款推理芯片适不适合你的项目呢？我后来帮那个同学复盘，总结了几个他完全忽略的参数维度。首先是精度，很多场景根本不需要三十二位浮点数这种高精度，用八位整数甚至四位整数就能跑得挺好，这个精度降下来，功耗和成本能砍掉一大半。其次是批处理能力，你的业务是单路摄像头还是几十路并发，这直接决定了芯片的吞吐量需求。再一个是内存带宽，数据在芯片内外搬运的速度跟不上，算力再高也是白搭，这一点特别容易被忽视。
提示：采购前一定要求供应商提供实际业务场景下的吞吐量和延迟测试报告，实验室峰值数据参考意义有限。
算力参数怎么看才不会被忽悠？
你去翻任何一款AI推理芯片的规格书，第一眼看到的肯定是每秒万亿次运算这个数字，单位是TOPS。我一开始也觉得这数字越大越好，后来踩过坑才知道，不同厂商标注的方式五花八门。有的用的是稀疏算力，有的用的是稠密算力，两者能差出一倍。还有的标的是整数八位精度下的峰值，实际跑你那个模型可能连一半都跑不到。
我自己就干过一件特别蠢的事。前年帮一个做工业质检的朋友选型，看到某款芯片标称算力很高，价格也合适，没多想就推荐了。结果部署上去才发现，他们的缺陷检测模型里有大量非标准算子，芯片对这类算子的支持很差，实际有效算力打了对折都不止。后来只能加钱换方案，气得我当晚没睡好。这件事告诉我一个道理，算力数字是给外行看的，算子支持度和工具链成熟度才是给内行看的。
现在我去评估一款推理芯片，第一件事就是问厂商要工具链文档和算子支持列表。你的模型能不能顺利转换过去，转换之后精度损失多少，这些比峰值算力重要得多。第二件事是看功耗，但别只看芯片本身的功耗，要算上内存和外围电路的整板功耗。有的芯片标称十五瓦，整板跑起来四十瓦都打不住。第三件事是看实际业务的并发路数，让厂商拿你的模型去跑，测出单张卡的吞吐量，再根据你的业务量倒推需要多少张卡。
说到功耗对比，我整理了一个粗略的参考区间。边缘侧轻量级推理芯片通常在几瓦到十几瓦，适合智能摄像头、门禁这类场景。数据中心推理卡则在几十瓦到一百多瓦之间，适合视频分析、自然语言处理这类负载。训练卡就不提了，动辄三百瓦起步，不是推理场景该考虑的东西。你采购的时候按这个区间去套，基本不会偏太远。
常见问题：国产AI推理芯片现在能用吗？
能用，但要分场景。安防、工业质检、智慧交通这些领域，国产推理芯片的成熟度已经很高了，工具链也基本够用。但如果你跑的是最新的大语言模型或者特别小众的算子，建议先做技术验证，别直接批量采购。我自己实测过几款，常规视觉任务没问题，复杂模型转换时偶尔还是会遇到算子不支持的情况，需要厂商配合解决。
采购决策到底该听谁的？
我那个老同学后来换了方案，选了功耗更低的边缘推理芯片，省下来的电费和机架空间又够他多部署十几路摄像头。他跟我说了一句话我印象特别深：“以前觉得参数高就是好，现在才明白，合适的才是最好的。”这话听起来像废话，但真金白银花出去的时候，能想起来的人不多。
所以你要问我采购AI推理芯片的核心原则是什么，我会说先想清楚你的业务到底需要多少算力，再去匹配芯片，而不是反过来。先拿真实模型跑测试，看吞吐量和延迟能不能接受，再看功耗和成本能不能扛住，最后看工具链顺不顺手。这个顺序颠倒了，大概率要交学费。至于那些花里胡哨的宣传话术，听听就好，真正的答案在你自己业务的实际测试数据里。
我到现在也没完全搞明白的一件事是，为什么有些厂商就是不愿意把整板功耗和真实场景吞吐量明明白白写在规格书第一页。可能是我太天真了，总觉得做技术的应该实在一点。算了，这事说来话长，反正你采购的时候多留个心眼就对了。
