前几天一个做智能安防的老同学给我打电话，说他们公司要上一套新的视频分析系统，采购部门拿回来三份AI推理芯片的方案，价格从两千多到八千多不等，他看了一晚上参数表，头都大了。电话里他问我：“这玩意儿到底该怎么选？是不是越贵越好？”说实话，这个问题我自己也踩过坑，今天就借着这个机会，把企业选型AI推理芯片时真正该关注的几个核心参数聊透。
算力大小不是唯一标准，关键看有效利用率
很多人一上来就问“这颗芯片多少算力”，好像数字越大就越厉害。我当初也是这么想的，结果买回来发现实际跑模型的时候，连标称性能的一半都跑不到。问题出在哪儿？算力标称值通常是在理想条件下测出来的，比如特定精度、特定批量大小、特定模型结构。你拿一个实际业务模型跑上去，有效利用率能有六成就算不错了。
所以选型的时候，别光看纸面算力，要问供应商要真实场景下的吞吐量数据。比如你做人脸识别，就让对方拿一个类似规模的人脸识别模型现场跑一下，看看每秒能处理多少张图片。这个数据比任何标称值都靠谱。
功耗和散热，决定你的隐性成本
我记得前年帮一个客户做方案评估，有两款AI推理芯片算力差不多，价格也接近，但一款功耗是七十五瓦，另一款只有三十瓦。客户一开始想选七十五瓦那款，觉得性能更稳。我给他算了一笔账：一个机柜按二十张卡算，七十五瓦的方案整机功耗多出将近一千瓦，一年电费就要多花好几千块，还不算散热系统的额外投入。后来他选了低功耗那款，实际跑下来性能完全够用。
对于边缘端的设备来说，功耗就更关键了。你总不能给一个路灯杆上的摄像头配个风扇吧？所以选型的时候，一定要把功耗和散热方案放在台面上一起评估。
提示：如果供应商只给你看算力参数，不提供实际功耗曲线和散热要求，那这份方案基本可以放一边了。
内存带宽，容易被忽略的瓶颈
这个参数很多人不看，但它经常是实际性能的隐形杀手。AI推理过程需要频繁地从内存里读取模型权重和中间计算结果，如果内存带宽不够，芯片算力再强也得干等着。我见过一个案例，某公司用了一款算力很强的芯片做自然语言处理，结果推理延迟一直下不来，最后发现是内存带宽拖了后腿。
一般来说，你要根据自己模型的参数量来估算需要多大的内存带宽。大模型吃带宽，小模型相对好一些。选型的时候可以问供应商：跑某个具体模型时，内存带宽的占用率大概是多少？如果对方支支吾吾答不上来，那就要留个心眼了。
软件生态，决定了你后期省不省心
这一点我特别有感触。早些年我图便宜选了一款小众的AI推理芯片，硬件参数看着挺美，结果拿到手发现配套的软件开发工具极其难用，文档不全，社区里问个问题半个月没人回。后来模型要升级，发现新版本的框架根本不支持这款芯片，只能干瞪眼。最后整套板卡全换了，省下的那点采购成本连零头都没补回来。
所以选型的时候，一定要确认这款芯片支持不支持你正在用的深度学习框架，主流框架的版本更新跟不跟得上，有没有活跃的开发者社区。这些软性的东西，比你多几个运算单元重要得多。
长期供货承诺，被低估的风险点
企业级采购和消费级不一样，你的设备可能要在线跑五到八年。如果芯片供应商两年后就停产了，你后续的维护和替换就非常被动。我之前接触过一个做工业质检的团队，他们选的芯片方案性能很好，但供应商是个初创公司，第三年公司转型不做这块业务了，他们的产线设备维护立刻陷入困境。
所以签合同前，一定要问清楚供货周期承诺，最好能写进合同里。大厂在这方面的保障通常会好一些，但也不是绝对的，关键还是看供应商对这块业务的战略定力。
常见问题：AI推理芯片和训练芯片能通用吗？
理论上可以，但实际中很少这么干。训练芯片通常更贵、功耗更高，对算力精度的要求也不一样。推理芯片是专门为跑已经训练好的模型做优化的，在功耗、延迟、成本上更适合部署场景。除非你训练量特别小，否则不建议混用。
选型不是选最好的，是选最合适的
说了这么多，其实核心就一句话：别被单一参数牵着鼻子走。算力、功耗、内存带宽、软件生态、供货周期，这五个维度要放在一起权衡。你的业务场景决定了哪个维度权重更高。比如做边缘设备，功耗和散热优先级就很高；做云端推理，软件生态和内存带宽就更关键。
我那老同学后来选了一款中等算力但软件生态成熟的方案，省下来的预算加了两块卡，总体吞吐量反而更高了。他昨天还给我发消息说系统跑得很稳，就是电费比预期多了点，不过还能接受。你看，有时候不选最亮眼的那个，反而能把事情办成。
