经过了信息化的高速发展，目前AI来势 凶猛，并改造着各行各业，大家都在谈论AI，也在不知不觉中使用AI，但AI的发展也面临着三大“拦路虎”。

拦路虎之一：高昂的生成式AI成本

从AI模型的发展规律来看，AI模型需要大量计算基础设施支持，因此通常只能在云端进行部署。然而，需要注意的是，AI推理的规模远比AI训练大得多。这些模型的训练频率较低，但推理成本会随着日活跃用户数量及其使用频率的增加而大幅增加。在云端进行推理的成本非常高，这使得生成式AI的规模化扩展变得异常困难。

将某些处理任务从云端转移到终端可以极大地减轻云基础设施的压力并降低成本。数十亿已经部署且具备AI能力的边缘终端可以成为降低生成式AI规模化成本的基础。

拦路虎之二：高能耗

与在云端运行相比，在端侧运行的高效AI处理器能够提供更出色的能效表现。边缘终端能够以极低的能耗运行生成式AI模型，同时帮助云服务提供商降低数据中心的能耗。高通公司的全球副总裁侯明娟在发布会上指出，高通在AI研发中最为关注的是“如何在低功耗环境下让AI更高效地运行”。这是终端侧AI发展的一个难点和关键点，所以，很多AI科技公司将继续致力于通过提供高效的硬件、算法和软件工具来提高终端侧AI的性能和功耗比。

拦路虎之三：用户隐私保护难

由于查询和个人信息完全保留在终端，终端侧AI可以从根本上保护用户隐私。这不仅有助于解决保护公司机密信息的难题，而且对于消费者使用而言，混合AI架构中的“隐私模式”让用户能够充分利用终端侧AI向聊天机器人输入敏感提示。

此外，许多用户在使用生成式AI的过程中深受“等待”之苦，这也是云端AI服务的弊端。当生成式AI查询对云的需求达到高峰期时，就会出现大量排队等待和高延迟的情况，甚至可能出现服务拒绝的情况。低延迟和无需稳定的网络连接也成为终端侧AI的固有优势。

众多厂商正在融合自身创新，不断提升科技创新水平，将更多的AI大模型带到消费级领域，让最广大用户享受到生成式AI带来的高效便利。