欢雀日报 | 百度发布大语言模型“文心一言”:具备多模态生成能力,性能有待市场检验

[2023-03-16]

一天前发布的GPT-4将OpenAI推上了“AI终结者”的位置,关于百度能否讲好中国大模型的故事的猜测也愈甚。

百度给出了答案。北京时间3月16日14时,百度科技园工区的标志性建筑熊掌会议室中,百度宣布正式推出基于百度新一代大语言模型的生成式AI 产品“文心一言(ERNIE Bot)”。

出席阵容可谓豪华。百度创始人兼CEO李彦宏坐镇会场——这也是继2018年为自动驾驶平台“萝卜快跑”和智能视频音箱“小度在家”后,李彦宏时隔五年亲临发布会现场,为单个产品站台。

同样出席发布会的百度CTO王海峰。此前36氪报道中提及,王海峰也是文心一言项目的总指挥。

从2月7日立下发布大语言模型的“军令状”,到文心一言亮相的短短一个多月,亦是百度在AI领域十多年的积累的试金石。

预期之内的答卷

前有OpenAI公开GPT-4,后有即将接入最新版ChatGPT的微软召开产品发布会,文心一言的发布备受压力。

不可否认的是,由于中文粘连度高等难以被AI处理的特征,文心一言的研发难度并不亚于全球巨头的。百度搜索产品总监张燕蓟曾表示,中文语义的理解难度远大于非中文,因此百度必须研发一个更难、更复杂的大模型。

基于百度自研的ERNIE及PLATO系列模型,文心一言的关键技术包括监督精调、人类反馈的强化学习、提示、知识增强、检索增强和对话增强。李彦宏介绍,文心一言大模型的训练数据包括万亿级网页数据、数十亿的搜索数据和图片数据、百亿级的语音日均调用数据,以及5500亿事实的知识图谱等。

发布会上,李彦宏用文学创作、商业文案创作、数理逻辑推算、中文理解和多模态生成5个基础的Prompt(问答提示),对文心一言的能力进行了测试。

从现场演示的结果来看,文心一言具备处理基础问题的能力,回答具有一定的准确性、逻辑性和流畅性,并提供了GPT-4目前并不具备的多模态生成能力。但李彦宏也承认,在部分场景的准确性和理解能力上,文心一言仍无法克服大多语言生成大模型的通病。

此前,外界关于文心一言的产品形态就有诸多讨论。发布会揭示了最终答案。李彦宏表示,大语言模型将给产业带来三大机会,文心一言也将抓住机会:

首先是提供新型云计算服务。文心一言将通过百度智能云对外提供服务,帮助企业构建自己的模型和应用,李彦宏预告称,百度智能云将于近期举办新闻发布会,主题围绕文心一言的云服务和应用产品,既有公有云服务和也可以做私有化部署。

其次是提供行业模型精调的中间层服务。目前,百度文心大模型已经在电力、金融、媒体等领域,发布了10多个行业大模型。

最后是为应用提供大模型底座服务。李彦宏认为,对与大部分创业者和企业而言,从头开始做基础大模型并不现实。因此基于通用大语言模型抢先开发重要的应用服务,这可能才是真正的机会。

AI,百度寻求的新杠杆

去年12月底的一次内部全员会中,李彦宏正视了百度这几年的颓势。

他说:“百度这几年过得比较苦,财报、业务增长性都不是那么光鲜……有些技术同学做的事离市场很远,纯属自嗨,做了一两年发现东西没人用。”

以2010年“自然语言处理部”成立为起点,百度在AI上发力已经超过十年。但直到去年,百度全年广告营收仍占60.4%,被寄予厚望的AI还在往撑起百度第二增长曲线的目标努力。

ChatGPT爆火后,三个月达到过亿用户,其瞩目程度也让国内科技公司趋之若鹜,同样身披搜索+AI标签的百度,自然不会放过这一机会。2月初,百度CEO李彦宏的OKR曝光:“引领搜索体验的代际变革”。

拥有大量数据、技术沉淀和业务场景的百度,是现有互联网企业中跑通大模型可能性最大、速度最快的一家——芯片有昆仑,学习框架有飞桨,模型有文心,应用则有搜索、智能云、智能驾驶等广阔的落地场景。

文心一言的基座、2019年发布的通用大模型“文心大模型ERNIE”,目前以迭代至千亿级参数的ERNIE 3.0 Zeus,具备智能创作等自然语言理解和生成任务。在李彦宏的期待中,一旦文心一言与百度多项业务结合,数据和模型迭代的飞轮将会快速转动:“目前,ERNIE 3.0每天接受数十亿次用户的搜索请求。这让文心一言能够基于一个庞大的、高效的数据池,快速地学习和改进。”

3月16日起,文心一言官网针对少量用户开启了内测,后续将陆续开放给更多用户。此外,百度智能云即将面向企业客户开放文心一言API接口调用服务。

文心一言能否真能如李彦宏期待的那样,成为撬动业务发展的杠杆,还需要市场的检验。

下附李彦宏在文心一言发布会的演讲全文(略经36氪编辑):

各位媒体朋友,各位嘉宾,大家好。欢迎参加文心一言新闻发布会。非常感谢大家对文心一言的关注和支持。

最近一段时间,很多朋友问我,“为什么是今天,你们真的ready了吗”。其实从某种意义上说我们已经为此准备了多年,我们十几年前就开始投入AI研究,2019年就推出了文心大语言模型,今天的文心一言是过去多年努力的延续。

但也不能说我们完全ready了,文心一言对标ChatGPT、甚至是对标CGT-4,门槛是很高的,全球大厂还没有一个做出来的,百度是第一个。我自己测试感觉还是有很多不完美的地方。

那为什么是今天?因为市场有需求。百度的很多产品,从搜索到智能云,再到自动驾驶,到小度,大家都有需要,更重要的是我们的客户需要,合作伙伴需要,从我们承认文心一言的存在到现在,短短一个月的时间,就有超过650家合作伙伴宣布加入文心一言生态,大家都希望能早一点用上最新最先进的大语言模型。

当然,一旦有了真实的人类反馈,文心一言的进步速度会非常快,我们都希望它快点成长,早日为用户和客户创造价值。

百度希望和大家一起,推动人工智能技术进步,让所有人都能使用最先进的生产力工具,让所有人都能从中受益。

一、

下面,我会演示五个场景的Demo,包括文学创作、商业文案创作、数理推算、中文理解、多模态生成。(演示过程略)

AI要写好一篇稿子,除了需要准确理解我们的意图,还要有清晰的表达能力。

这背后有一个基础,就是庞大的数据规模。人类常说“读万卷书”,而AI可以说是 “读书破千亿卷”。文心一言大模型的训练数据就包括,万亿级网页数据,数十亿的搜索数据和图片数据,百亿级的语音日均调用数据,以及5500亿事实的知识图谱等,这让百度在中文语言的处理上,能够处于独一无二的位置。

有研究表明,数据规模足够大,参数达到千亿级,大模型就可能发生“智能涌现”,即使在没有专门训练过的领域,也能涌现出知识理解和逻辑推理能力。

文心一言已具备了一定的思维能力,能够学会数学推演及逻辑推理这类相对复杂任务。当然,现阶段准确率还不是100%,我们还需要给它更多的时间来学习和成长。

作为扎根于中国市场的大语言模型,文心一言具备中文领域最先进的自然语言处理能力。这个例子就比较清楚的展示了我们在中文上的优势。

相对应的,一言目前对英文语种、代码场景的训练还不够多,表现还不够好,接下来我们还要加紧训练,不断完善这些能力。

目前文心一言的版本,已经能够生成文字、图片和语音。生成视频因为成本比较高,还没有对所有用户开放,未来我们会逐步接入。但是熟悉百家号创作的朋友,应该都体验过这个功能了,每天有几万篇文章通过这个能力转成视频内容在百度分发。

多模态是生成式AI一个明确的发展趋势。未来,随着百度多模态统一大模型的能力增强,文心一言的多模态生成能力,也会不断提升。

从文心一言的表现看,某种程度上它具有了对人类意图的理解能力,回答的准确性、逻辑性、流畅性,都逐渐接近人类水平。

但整体而言,这类大语言模型还远未到发展完善的阶段,它们有时候会有很惊艳的表现,但不少场景下,细究起来还有明显的bug,进步空间很大。未来这段时间它一定会飞速发展,日新月异。

通过定向微调,可以在百度内外部各类产品上逐步展示出惊人的亲和力,让每一个产品离自己的用户和客户更近

二、

文心一言这样的大语言模型,会成为每个人必不可少的生产力工具。

不过,无论是哪家公司,都不可能靠突击几个月就能做出这样的大语言模型。深度学习、自然语言处理,需要多年的坚持和积累,没法速成。

人类进入人工智能时代,IT技术的技术栈发生了根本性变化。过去基本分为三层:芯片层,操作系统层和应用层。现在可以分为四层:芯片层、框架层、模型层和应用层

今天,百度是全球为数不多、在这四层进行全栈布局的人工智能公司,从高端芯片昆仑芯,到飞桨深度学习框架,再到文心预训练大模型,到搜索、智能云、自动驾驶、小度等应用,各个层面都有领先业界的自研技术。

文心一言位于模型层。2019 年,百度推出了文心大模型ERNIE 1.0。目前,ERNIE 3.0每天接受数十亿次用户的搜索请求。这让文心一言能够基于一个庞大的、高效的数据池,快速地学习和改进。

大模型训练堪称暴力美学,需要有大算力、大数据和大模型,每一次训练任务都耗资巨大。全栈布局的优势在于,可以在技术栈的四层架构中,实现端到端优化,大幅提升效率。尤其是,框架层和模型层之间,有很强的协同作用,可以帮助构建更高效的模型,并显著降低成本。事实上,超大规模模型的训练和推理,给深度学习框架带来了很大考验。比如,为了支持千亿参数模型的高效分布式训练,百度飞桨专门研发了 4D 混合并行技术。

另外,芯片、框架、大模型、和终端应用场景,可以形成一个高效的反馈闭环,帮助大模型不断去调优迭代,越做越好。更好的大模型,会让用户体验不断升级。

我还想强调一点,在全球范围内,在四层架构的每一层都有领先产品的公司几乎没有,百度的优势非常独特,相信大家会在后续文心的迭代速度上有明显感受。

三、

自2月份百度官宣“文心一言”以来,已有超过650家企业宣布接入文心一言生态,感谢每一位伙伴的支持。

这也意味着,很多的企业已经理解到,文心一言和生成式AI,代表了一个新的技术范式,是一个每家企业都不可以错过的巨大的机会。AI市场即将迎来爆发性的需求增长,其商业价值的释放将是前所未有的、指数级的。

我们对文心一言的定位,是一个通用的赋能平台,金融、能源、媒体、政务等千行百业,都可以基于这个平台来实现智能化变革,实现效率提升,创造巨大的商业价值。

文心一言不仅仅会影响搜索或者互联网公司,而是会影响到每一家公司,由于它超强的自然语言理解和表达能力,它让任何公司都有机会离自己的客户更近有机会通过这些能力去创建最好的客户体验,从而比其他人更能抓住客户,获得更强的竞争优势。

文心一言对个人的改变也会是巨大的,有机构预测,到2030年,人工智能可以将每一个知识工作者的生产力提高4倍以上。很多人的工作性质会发生不可逆转的改变。

我认为生成式AI,将催生新产品、新业态,会有很多创业和投资机会。

对于大部分创业者和企业来说,真正的机会并不是从头开始做ChatGPT和文心一言这样的基础大模型,这很不现实,也不经济。

对于大部分创业者和企业来说,真正的机会是,基于通用大语言模型,抢先开发重要的应用服务。就像移动互联网时代,最成功的商业产品不见得是安卓和IOS,而是基于安卓和IOS开发的微信、淘宝、抖音等各种超级应用。

我认为大模型时代将产生三大产业机会:

第一类是新型云计算公司,其主流商业模式从IaaS变为MaaS。文心一言,将根本性地改变云计算行业的游戏规则。之前企业选择云厂商更多看算力、存储等基础云服务。未来,更多会看框架好不好、模型好不好,以及模型、框架、芯片、应用这四层之间的协同。

文心一言将通过百度智能云对外提供服务,帮助企业构建自己的模型和应用,农业、工业、金融、教育、医疗、交通、能源等重点领域,都会因此效率大幅提升,并在每一个行业快速形成新的产业空间,助力数字中国的实现。百度智能云将于近期举办新闻发布会。主题围绕文心一言的云服务和应用产品,我们既有公有云服务和也可以做私有化部署,请大家期待。

第二类是进行行业模型精调的公司,这是通用大模型和企业之间的中间层,他们具有行业Konwhow,调用通用大模型能力,为行业客户提供解决方案。我们的文心大模型,已经在电力、金融、媒体等领域,发布了10多个行业大模型。在各行各业都有机会。非常欢迎大家来跟我们合作

第三类是基于大模型底座进行应用开发的公司,即应用服务提供商。今天,基于文本生成、图像生成、音频生成、视频生成、数字人、3D等场景,已经涌现出很多创业明星公司,他们可能就是未来的新巨头。这里面的机会非常多,可以说每家企业在现在这个阶段都有机会。

我们相信,人工智能会彻底改变我们今天的每一个行业。AI的长期价值,对各行各业的颠覆性改变,才刚刚开始。未来将会有更多的杀手级应用、现象级产品出现,将会有更多的里程碑事件发生。

四、

之后,文心一言将建立起真实用户反馈、开发者调用和模型迭代之间的飞轮,效果会迅速提升,给你“士别三日,当刮目相看”的惊喜。

最后我想说,文心一言不是中美科技对抗的工具,而是一代代百度技术人员追逐科技改变世界的梦想的产物,是我们服务亿万用户,赋能千行百业的全新的平台,是创新驱动发展的最佳证明。

谢谢大家的关注和支持。

预约产品演示