1. 主页 > AI行业 > 行业快讯

联想推出运行端侧大模型推理的手机和PC

在北京时间 10 月 24 日晚上,联想举办了一场名为 2023 联想 Tech World 的创新科技大会。在会上,联想CEO杨元庆首先展示了其智能设备的重点功能,即端侧运行大模型推理

2023 联想 Tech World 创新科技大会

2023 联想 Tech World 创新科技大会

这种技术不仅可以避开网络的限制,而且由于能够结合个人的数据,可以实现更好的大模型效果,真正达到"人工智能双胞胎"的效果。在演示中,联想首先展示了手机端运行大模型的效果,该AI名为Moto AI。联想在2014年以29亿美元收购了摩托罗拉移动业务,虽然在国内手机领域表现并不突出,但在拉美、欧洲等市场拥有一定的占有率。

美国网红音乐人Taryn Southern在打开飞行模式的手机上,向联想手机终端运行的大模型进行提问:"是否有我喜欢的歌手在今年的Austin City Limits音乐节上演出?"大约过了三十多秒,大模型给出了正确的答案。这体现了端侧大模型的特殊能力:在飞行模式下也可以运行;能够利用端侧的个人信息,理解到"我喜欢的歌手"是谁;且展现出大模型的内置知识能力较新——可以回答关于今年音乐节的内容。

接下来,联想展示了AI PC的演示。PC端的算力显然更强,因此,联想甚至自信地让云端大模型和端侧大模型对比运行,来展示联想AI PC端侧大模型的效果。两个模型同时进行了同一个提问,让模型规划去斯德哥尔摩的音乐节的行程规划。在PC级的演示中,虽然端侧AI仍然慢一点,但两者生成行程规划的速度并没有差别太多。而在端侧AI中,对于形成的规划会更加个性化,能够将家庭地址、酒店偏好等考虑进去。

演示中还进一步展示了端侧大模型的多模态能力,利用Taryn Southern的提示,电脑迅速地生成了一张相关图片。这样的多模态能力,在手机模型也存在着。在后面的展示中,摩托罗拉创新研究团队的Lexi Valasek展示了最新版本的Moto柔性概念手机,能够整个弯曲变成一块腕表。而手机大模型的多模态能力,能够根据用户的今日穿搭,生成风格一致的壁纸,让手机也成为时尚穿搭的一部分。

为实现这样的端侧大模型能力,联想自己开发了模型压缩技术。普通的大模型有数百亿的参数,无法在任何小型设备上运行。在联想开发的技术中,首先找到基础模型中的有哪些耦合结构(couple structure),然后评估这些结构中,哪些更重要,就分配更多的量化位给它们,来保证能够降低基础模型的大小,同时保持不错的性能。

杨元庆表示,未来,端侧大模型还将进入车端。

本文由小熊AI网发布,不代表小熊AI网立场,转载联系作者并注明出处:https://www.xiaoxiong360.com/html/info/1262.html