360梁志辉谈大模型:国内产品不如海外的三大原因
360集团副总裁、N 世界负责人梁志辉近日在接受国内媒体时,谈到国内大模型与国外大模型的比较时,他谈到,国内大模型与国外大模型有比较大的差距。差距的形成涉及到以下三方面的原因:
一是缺乏对大规模超算中心的运营和管理经验。算法实际上是开源的,大家缺少的是实际经验,使用1000张显卡与1万张显卡会产生完全不同的问题,所需的基础计算中心架构也会有所不同,这些经验只能通过实践来积累。
因此,懂得如何构建硬件架构,以支持上千甚至上万张显卡的人才就变得非常重要,这方面知识国内厂商仍然需要多交学费,多实践才能掌握,只要有一个人掌握了关键知识,国内的学习速度会很快。
二是数据因素。ChatGPT的确有先发优势,他们的数据训练样本是国内厂商望尘莫及的,国内的优势是离用户场景更近。实际上,大模型训练数据量并不是越多越好,而是数据质量越高越好,一些高质量的文本,如代码、论文和法律文书,才是真正能提升大模型逻辑推理能力的内容。
有些人可能误以为百度贴吧或知乎上的内容是高质量数据,但在实际操作中,这些平台可能包含大量不相关的信息,对大模型的逻辑处理能力无益,即便是知乎内容,很多内容也算不上高质量。
还有一部分人会拿聊天对话来训练,也是非常低效的,聊天记录可以帮助大模型获得更加口语化的表达,但无法真正拿来解决问题。核心原因是人与人之间的对话往往是主观无逻辑的,AI很难梳理出背后的对话逻辑,除非单人的样本量足够大,但这依旧很难实现。曾经有一个AI聊天机器人在上线后,由于接受了推特和Facebook中大量负面评论的训练数据,几天后它学会了说不当言论并采取了不当行为。
三是没有足够多的显卡资源,AI算法高度依赖高端显卡,设备采买的价格比以前从事计算和存储密集型数据中心的设备要高出大约5到10倍。所以,大家都在关注“国产高容量显卡”的研发进度,一旦研发出来,成本将大幅度降低,国内AI 大模型的进展将实现质的飞跃。
我们非常期待华为能降低这方面的价格,或者随着其他中国厂商加入,能否将价格降低一半或降至四分之一,这一天的到来令人期待。
目前,国内大模型目前基本都是自研,备案制度也已经不允许套壳。所以,国内的大模型企业还需要修炼好内功,以便尽快赶上并超越国外企业。
本文由小熊AI网发布,不代表小熊AI网立场,转载联系作者并注明出处:https://www.xiaoxiong360.com/html/record/702.html