随着美国对中国在AI上的打压愈发严重，中国在AI芯片上的国产替代形势严峻。我们必须认识到，我们不能抱有任何幻想，必须奋起直追直至超越。

为了实现这一目标，我们需要加大投入，加强研发，培养人才，推动产业升级。同时，我们也需要加强国际合作，与其他国家共同应对挑战，共同推动人工智能技术的发展。

在这个过程中，我们将会遇到许多困难和挑战，但我们有信心克服这些困难，实现我们的目标。我们相信，在不久的将来，中国将在人工智能领域取得巨大的成就，为人类做出更大的贡献。

AI芯片功能上分两类，分别是训练芯片和推理芯片。

训练芯片主要用于大模型的训练、学习和优化，侧重于计算性能，而推理芯片则主要为模型的推理运算提供算力。二者之间的区别在于，训练芯片重计算，推理芯片重效率（时延、功耗）。并且，从云边端协同的角度看，训练芯片多用于服务器，推理芯片则主要部署在边端设备之上。

当前，国内大模型正处于“练模”阶段，需要极强的算力支撑，因此AI公司们将目光更多放在了训练芯片上，即购买大量的GPU算力来训练算法模型。这也直接成就了Nvidia的万亿市值神话，其H100、H800等芯片一骑绝尘，国内则有华为、寒武纪等厂商在努力追赶。

一旦大模型成熟，与之而来的便是落地应用，这时必然要用到边端设备，从而滋生出对推理芯片的庞大需求。

然而，由于不可抗力因素，现阶段的训练芯片和推理芯片皆受到贸易管制，在此背景下，AI芯片的国产替代提上了日程。

作为深圳AI第一股，云天励飞在边缘侧AI芯片的布局已经成果初显。2020年，云天励飞第一代AI推理芯片DeepEye1000实现商用，并落地到AI相机、安全PC、商业机器人等边缘计算场景。

云天励飞副总裁、芯片产品线总经理李爱军告诉记者，大模型作为AI的进阶态，本质上还是要落地到具体业务场景才能产生价值，而边缘计算则是不可逆的趋势，因此做好边缘计算的推理芯片，对于未来大模型的应用至关重要。

在过去三年多的时间中，DeepEye1000广泛落地到各行各业，但同时也带来了诸多反馈：算力碎片化、算法长尾化、产品非标化、规模碎片化等痛点依旧存在，传统以追求单一场景PPA的传统芯片模式难以适应AI边缘计算场景下人工智能落地的需求。

基于此，云天励飞打造了新一代的边缘计算芯片平台DeepEdge10。

DeepEdge10属于主控级SoC，可以满足绝大部分场景的控制需要，同时基于云天励飞自研的新一代的处理器NNP400T，可以高效支持Transformer。在架构方面，DeepEdge10采用了D2D Chiplet封装结构，可以实现算力灵活扩展，并通过C2CMesh互联扩展，可以支持千亿级大模型部署。

相较于第一代DeepEye1000，DeepEdge10集成了2+8核通用算力CPU，整体算力提升了4倍以上，采用D2D Chiplet封装，实现从12T到48T的算力覆盖，总体性能比上一代芯片超过20倍。

在DeepEdge10的基础上，云天励飞还打造了Edge Server算力加速卡，最高支持1024Tops的NPU算力、1920GB/S的内存带宽，以及512GB统一内存。目前，DeepEdge10已经支持主流开源模型超过100种，模型支持的数量还在更新，同时支持客户模型定制化的部署。

具体性能上，在Edge Device 端，DeepEdge10Max运行端侧70亿参数的大模型可以获得每秒27Token/s，最高可兼容130亿参数的大模型。而在Edge Server上，采用C2C Mesh互联，多卡协同，运行700亿参数大模型可获得42Token/s的生成速度，最高兼容千亿级别参数的大模型。

据了解，DeepEdge10芯片平台核心竞争力在于边缘计算，可以针对不同的场景提供差异化算力，从而满足碎片化、多样化需求。目前，DeepEdge10已经进入了大规模的应用中，有近30家算法芯片化合作伙伴，所有使用云天芯片的产品合作伙伴，均可在线下载更新云天超过100多种算法。

李爱军表示，大模型未来落地到机器人、无人驾驶汽车等场景，都需要用到推理芯片，而推理芯片正处于百家争鸣的过程。而在国内，如何基于国产工艺实现推理芯片的研发、流片和商用至关重要。

现阶段，国内芯片的成熟工艺处于14nm的节点。对于千亿级、万亿级别的大模型，其推理芯片不但需要极强的计算能力，还要保持超低的功耗和超低的成本，对芯片制程的工艺达到了5nm、2nm。显然，国产芯片离最高端的芯片还有一段距离。

不过，结合当前国内的生产工艺，云天励飞与合作伙伴于2020年开始技术攻关，在ChipletD2D的技术上定制了一系列IP，实现了可以在14nm芯片上运行千亿大模型的功能。虽然成本、功耗会高一些，但这已经是国产芯片的最优水平。至于更高工艺的芯片，国内芯片厂商既需要资源，也需要时间。

“我们志在打造国产工艺自主可控的AI芯片。”李爱军说道，这条路道阻且长，但云天励飞会坚定地走下去。