端侧算力进入铺货期:中小企业用 AI,预算先做一道分流题

AI 这波算力生意正在往两头走:一头是数据中心里越堆越多的卡,另一头是往办公桌上落的端侧算力。据 10 月中旬的行业日报梳理,端侧算力平台已进入规模化铺货阶段,面向工作站和台式机的桌面级 AI 算力卡陆续上市,有产品靠着大容量统一内存,可以在本地跑起数百亿参数级的开源模型;与此同时,开源权重的模型在生产环境里的用量占比已经到七成上下,企业真正拿来干活的那部分 AI,越来越多不依赖某一家闭源服务。另一边,内存和存储的涨价潮还没退——此前多家媒体报道过,AI 数据中心把 DRAM、NAND 的产能大量吸走,缺口看扩到明年,普通企业买内存、买硬盘的成本明显上抬。

对中小企业意味着什么

这两条消息放在一起看,结论其实挺实在——不是"要不要上 AI"的问题,而是"哪些活放本地、哪些活放云端"的分流题。三个建议:第一,先盘点场景再花钱。文档摘要、内部知识问答、表格整理这类高频轻活,现在的端侧算力加开源模型大概率够用,先拿一台现有机器试装起来,跑通了再谈加预算;第二,别在涨价潮里跟风囤硬件。内存、硬盘正处在供应紧张周期,为"跑模型"临时凑高配,很可能买在高点,需求没摸清之前,先用现有设备做验证更划算;第三,云端和本地要留两条路。涉及客户资料、经营数据的事,本地跑一份开源模型往往比把数据送出去更省心,敏感计算留本地、通用任务走云端,把这条边界写进自己的 IT 使用习惯里。真要动手前,把现有服务器的余量摸一遍,很多企业的机器其实还有富余,只是没人算过这笔账。

端侧算力怎么选型、现有服务器还能榨出多少余量,贵州诚鑫致达科技给本地企业做过这类评估,有疑问欢迎留言聊聊。

想获得贴合自身场景的数据管理建议?联系我们,或浏览技术博客获取更多实战经验。

企业存储选型参考|贵州诚鑫致达

做机架式部署与数据中心扩容,群晖机型参考:RS2423RP+ · RS1221+ · RS822+。需要选型建议或上门评估,搜「诚鑫致达」即可找到我们。

服务区域|贵州诚鑫致达

贵州群晖NAS、贵阳存储、数据备份、信创云盘或 IT 集成服务,可联系贵州诚鑫致达科技,服务范围覆盖贵州全省各市州。四川成都群晖存储部署、机房建设与数据安全集成服务。