据悉，英特尔为了让 12、13代酷睿平台也能够顺利运行各种大语言模型并提供流畅的使用体验，构建了 BigDL-LLM 库。通过这个库，可以对各种大语言模型进行优化和支持，包括一些开源的、可以在本地运行的大语言模型。

这个库甚至可以在一台搭载 16GB 内存的英特尔轻薄本的机器上运行参数量高达 16B 的大语言模型。此外还支持 LLaMA / LLaMA2、ChatGLM / ChatGLM2 等多个大语言模型。

基于这个框架，使用i9-12900K处理器，只开启4个核心来运行ChatGLM2 60亿参数模型，生成效果就是相当迅速的，而打开全部8个P核、8个E核，效果更是堪称飞快，输出性能达到了每个Token 47毫秒左右，已经不弱于很多云侧计算。

通过集成了 ChatGLM2、LLaMA2 和 StarCoder 这三个大语言模型的 Demo，英特尔技术专家演示了这些模型在中文和英文应用上的表现。通过优化和量化操作，这些大语言模型在生成回答时能够以非常快的速度生成，并且不影响阅读体验。英特尔已经发布了这套 Demo，任何搭载 12、13代酷睿的电脑都可以直接安装并体验。

以后，一些AIGC应用的工作，可以在PC端侧完成。比如文档处理，包括中心思想提炼、语法错误纠正等等，PC侧不仅可以很好地运行，还有利于保护个人隐私和数据安全。

Stable Diffusion文生图

再比如如今大火的Stable Diffusion和衍生模型的文生图、文生视频应用，PC侧的算力也是足够的。