210974271_从ChatGPT爆火看人工智能大势

210974271_从ChatGPT爆火看人工智能大势


2024年4月24日发(作者:短视频制作软件哪个好)

聚焦

Focus

|

ChatGPT

从ChatGPT爆火

看人工智能大势

■ 胡滨雨 ︱ 文

开放注册两个月用户数破亿,ChatGPT火爆的背后是人工智能算法、算力和数据的再一

次融合升级。现象级的ChatGPT带动人工智能第三次浪潮的再次飞跃和各国、各企业的AI竞

赛。在人工智能领域,全球目前尚未形成绝对主导的技术依赖和产业生态,我国的新型举国体

制如能发挥更大的作用,将给AI的发展提供极为有力的支持。中国人工智能从0到1的技术突

破需要沉下心来长期深耕、从1到100的商业化则需要完整的产业生态和市场化企业低成本的

商业破局。

进行智能对话的聊天机器人。Chat与GPT

透视ChatGPT

爆火的ChatGPT

ChatGPT成为用户破亿速度最快的消费级

应用。

2022年11月30日ChatGPT上线,5

天后用户数超百万,2023年1月月活用户过亿。

从某种程度上看,与ChatGPT聊天就像与真

人聊天,“他”上知天文、下晓地理,对答如

流,明显区别于其他人工智能客服机器人,流

畅的对话之外,ChatGPT还能写论文、写歌曲、

写剧本、写小说,编代码、修复代码bug、翻

译、绘画等。

ChatGPT引来全社会的普遍关注。

科技

部近期发文强调将把人工智能作为战略性新兴

产业和新增长引擎,继续给予大力支持;国内

外各大科技公司迅速跟进,也都对外公布相关

布局;甚至有人开始担忧ChatGPT对人工的

替代,讨论ChatGPT引发的十大职业危机;

也有用户抨击对于很多问题的回答,ChatGPT

往往是一本正经地胡说八道。

何为ChatGPT

ChatGPT是由人工智能实验室OpenAI

所开发的软件应用,是一款能够模仿人类

(Generative Pre-trained Transformer,生

成预训练转换器)的结合表示ChatGPT是以

GPT为基础的聊天机器人。OpenAI官网称

ChatGPT是基于GPT-3.5架构的大型语言模

型(LLM)。ChatGPT并非由单一技术产生,

是多种深度学习技术(Transformer、自监督

学习、微调、人类反馈强化学习RLHF、AI

对齐等)叠加在一起形成质变的产物。

OpenAI成立于2015年,专注于通用人

工智能的研发。2018年,OpenAI提出GPT

模型的概念,OpenAI团队开发GPT-1,随后

该模型演变为GPT-2, 2020年又推出GPT-

3,相比前两代性能更加强大,使用45TB的

文本数据进行训练,参数超1750亿个。GPT-

3.5是GPT-3微调优化后的版本,更加强大。

ChatGPT的核心壁垒

大模型。

GPT大模型是ChatGPT的基础,

经过多个版本迭代,GPT-3版本参数量达

1750亿,ChatGPT参数数量高于GPT-3。AI

大模型(Foundation Model,基础模型)指

通过在大规模宽泛(标记和未标记)的数据上

进行训练后,通过将知识存储到大量的参数中

并对下游任务进行微调,能适应一系列下游任

36

March

03 2023 267

务的模型。目前100亿参数以上的模型称为大

模型。

大数据。

ChatGPT训练数据集规模巨大,

训练数据集包含六类数据,分别是维基百科、

书籍、期刊、Reddit链接、Common Craw

以及专门的数据集。GPT-3的预训练数据有

45TB。ChatGPT训练数据集规模未公开,推

测也是百T级别。

大算力。

GPT-3的算力需求为

3640Petaflop/s-day(假设每秒计算1千万亿

次,需要3640天),微软投入5亿美元建设

了超算中心专为GPT-3训练。业内人士认为

1万块Nvidia A100 GPU是AI大模型的算力

门槛。

大投入。

大模型、大数据和大算力带来极

高的训练成本、运营成本等投入。GPT-3训

练使用了上万块Nvidia V100 GPU和28.5万

个CPU,一次训练的成本为近千万美元,训

练时长达14.8天,ChatGPT的训练成本或比

GPT-3更高。ChatGPT的运营成本高,每次

调用ChatGPT聊天的成本为几美分,远高于

Google传统搜索。

系统在医疗、财会、制造和金融等领域广泛应

用,美英日等国家积极投入资金支持人工智能

研发。受限于各行业信息化能力弱和大数据缺

乏,专家系统能力无法展现,随后各国也降低

了在人工智能领域的资金支持,导致进入第二

寒冬。20世纪90年代,人工神经网络技术出现。

第三次浪潮:

算力持续提升,大数据积

累,叠加深度学习技术,人工智能迎来第三次

浪潮。2006年深度学习技术获得突破,2015

年Google开源第二代TensorFlow机器学习

平台,2017年Facebook开源PyTorch机器

学习平台,2020年Nvidia推出面向深度学习

的GPU芯片A100,目前A100仍是超算中

心GPU的首选。2020年以来,OpenAI推出

GPT-3及GPT-3.5更是把ChatGPT等大模

型推到前台,深度融合算法、算力、数据,带

来了AI第三次浪潮。

人工智能发展简史

人工智能的三次浪潮

历史上,人工智能发展经历了三次浪潮,

在此进行简单梳理。

第一次浪潮:

1956年达特茅斯会议上,

麦卡锡正式提出“人工智能”,是现代人工智

能学科的起始。人工智能进入第一次浪潮,此

后近20年高速发展,先后出现了神经网络感

知机(Perceptron)、工业机器人、聊天机器人、

专家系统,科研领域的新技术层出不穷,但受

限于算力并缺乏应用场景,1970年步入寒冬。

第二次浪潮:

20世纪七八十年代,专家

图2 人工智能的发展脉络及技术领域间的包含关系

图1 人工智能发展的三次浪潮

人工智能的发展脉络

中国电信业

CHINA TELECOMMUNICATIONS TRADE

37

聚焦

Focus

|

ChatGPT

人工智能是利用计算机模拟人类的智能行

为。机器学习是人工智能的子领域,专注于通

过给计算机提供大量数据,让其通过学习来改

善自身的表现。深度学习是机器学习的子领域,

它通过使用神经网络来处理数据,并逐层地学

习处理数据的细节,从而实现更深层次的学习,

可以用来处理非常复杂的数据,如图像、语音

和文本。大模型是深度学习的子领域,基于深

度学习模型使得参数量突破千亿,更多的参数

量及训练数据,使模型泛化能力更强,通向通

用型人工智能。

员的知名论文仍具有巨大的影响力。2021年

全球AI专利申请量为14.1万,是2015年的

30多倍,中国申请了全球一半以上的AI专利,

并获得了约6%的授权,与欧盟和英国大致相

同,美国获得了40%以上的AI专利授权,排

名第一,专利授权一定程度上体现专利的可信

度和有用度。

全球科技公司开启大模型竞赛

AI大模型先后经历了预训练模型、大规

模预训练模型、超大规模预训练模型三个阶

段,参数量实现了从亿级到百万亿级的突破。

2017年Google团队提出Transformer架构,

使深度学习模型参数达到了上亿的规模,奠定

了当前大模型领域主流的算法架构基础。2018

人工智能的全球竞争格局

全球人工智能加速发展

人工智能正成为科技创新和经济发展的重

要驱动力。全球范围内,AI竞赛逐渐由研究

机构、企业之间的竞争转变为国家之间的角逐,

各国将人工智能上升至国家战略层面,加强人

工智能顶层设计和统筹规划。目前,全球已有

包括发达国家和发展中国家在内的30余个国

家和地区发布了AI国家战略加速AI全球竞争。

数据显示,截至2022年7月底,全球人工智

能企业超2.3万家,半数企业成立于2017年

及之后。从人工智能技术发展趋势看,整体产

业处于发展早期。

中国AI研究和开发能力全球领先,但全

球影响力和专利授权量与美国相比仍存较大差

距。斯坦福《2022年人工智能指数报告》中提到,

过去10年,全球AI论文发表量实现翻番,从

2010年的16万篇增长到33万篇。自2018年

以来,中国论文总量持续霸榜AI顶级会刊,

但顶级会刊论文引用量美国占比为30%一直

居首,中国引用量为15%排名第三且2020年

及2021年均较上一年有所下降,美国研究人

年,谷歌提出了基于Transformer架构的大规

模预训练语言模型BERT,其参数首次超过3

亿规模;同年,OpenAI提出了生成式预训练

Transformer模型——GPT,此后全球各大科

技公司开启大模型竞赛。

今年年初ChatGPT的火爆,使更多的公

司加入到大模型的竞争之中。目前,国内拥有

超过1万块GPU的企业不超过5家,其中,

拥有1万块A100 GPU的企业只有1家。单是

从1万块A100 GPU这一算力指标来看,国内

能在短期内布局类似ChatGPT的选手十分有

限,在国内也许只有云厂商才有资格下场。

38

March

03 2023 267

人工智能的发展趋势

算力成为制约AI发展的最关键因素

对算力的极致追求使大模型以及未来的

人工智能成为寡头之间的竞争,算力低位的

国家以及企业会逐渐失去对人工智能技术的

话语权,而算力领先将造就头部国家以及企

业发展人工智能的基础壁垒。2020年,微软

为OpenAI建设的专门用来训练GPT-3大

图3 OpenAI &中泰证券1985-2025E全球算力需求

模型的超级计算集群算力为3640Petaflop/

s-day,算力建设成本为7500万美元,云端

训练的单次训练成本近千万美元。OpenAI

发布的AI模型算力报告中指出,2012年起,

基于GPU集群的超大规模深度学习模型高

速发展,AI训练的算力呈指数级增长,每3.4

个月翻一番。从2012年到2020年,AI算

力增长超600万倍,预计从2023年到2028

年,AI所需算力再增加100万倍。(见图3)

算力的寡头化可能带来通用人工智能的

寡头化

算力成为继电力之后新时代的核心生产

图4 IDC 2021年-2022年全球计算力指数与GDP回归分析

力,也是数字经济的核心生产力,全球主要

国家都在投入巨资,加快算力布局,算力成

为大国战略竞争的新焦点。算力时代,谁掌

表1 全球主要科技公司AI大模型

地区公司名称

Google

OpenAI

国际

微软

Meta

Nvidia

百度

阿里

华为

国内

腾讯

科大讯飞

字节

京东

AI大模型代表

BERT,T5,

LaMDA,PaLI

GPT-1,GPT-

2,GPT3

MT-NLG

OPT-

175B,LLaMA

Megaton-Turing

NLG

ERNIE

M6

鹏城盘古

混元

中文预训练模型

DA-Transformer

K-PLUG

自应用场景

自动驾驶、智能搜索

ChatGPT(包括人机对话、

自动文本生成、自动摘要、编

写代码等)

智能搜索、智能办公

大模型工具

低成本训练大模型

智能搜索、自动驾驶、汽车智

能化解决方案、智能家居

阿里云、钉钉

知识问答、知识检索、知识推

理等文本模态

内容创作、检索、推荐、游戏

同声传译、内容审核、内容分

文本分析、图像

智能城市、供应链管理、智能

零售、智能客服

握先进的算力谁就掌握发展的主动权。IDC

报告显示,算力规模与经济发展水平呈现显

著的正相关关系,算力规模越大,经济发展

水平越高。算力将成为决定GDP发展的最

核心因素,GDP领跑国家强大的算力将领

先追赶者和起步者,呈现全球算力寡头化趋

势。高端AI芯片是算力的组成关键。美国

政府2021年8月将英伟达、AMD两家企业

的GPU产品列入贸易限制范围,国内现有

A100储备均是存货。

算力的寡头化将带来以ChatGPT为

代表的通用人工智能(Artificial General

Intelligence,AGI)的寡头化。IDC全球算力

中国电信业

CHINA TELECOMMUNICATIONS TRADE

39

聚焦

Focus

|

ChatGPT

指数报告指出,美国和中国算力排名前二,处

于领跑者阵营,其余国家为追赶者、起步者阵

营。近年全球各国间的算力竞争在加剧,大多

数国家算力均有提升。各国家所属阵营较上一

年未变化,一定程度上反映出全球各国算力竞

争格局已初步形成。起步者阵营和追赶者阵营

国家算力差距在缩小,而领跑者阵营与追赶者

阵营、起步者阵营的差距在拉大。

深度学习仍是人工智能发展的主流方向

2006年,Hinton在《Science》上发

表论文,提出了深度学习算法,用多层的卷

积神经网络实现比机器学习的特征提取更强

的特征学习能力,AI进入新发展阶段。深度

学习典型算法包括卷积神经网络(CNN)、

递归神经网络(RNN)、前馈神经网络(FNN)、

生成对抗网络(GAN)等。2017年谷歌提

出Transformer算法,此后Transformer

广泛应用于自然语言处理,并逐步在计算

机视觉等领域应用,OpenAI最近发布的

ChatGPT也是以Transformer为基础构建

的。深度学习仍是人工智能未来发展的主流

方向。

多模态融合的大模型是未来人工智能的

发展方向

人工智能正在从文本、图片、语音、视

频等单模态智能,向着多种模态融合的通用

人工智能方向发展。多模态统一建模,目的

是增强模型的跨模态语义对齐能力,打通各

个模态,使得模型逐步标准化。随着算力、

数据和AI技术的发展,多模态融合的大模

型将向更深的认知智能方向发展,加速通用

人工智能的发展。基于多模态融合的大模型

有望成为人工智能的基础设施。

我国人工智能的发展建议

人工智能发展要发挥新型举国体制优势

发展人工智能产业必须发挥新型举国体

制优势,用好政府、国家队和市场三方面力

40

中国电信业

CHINA TELECOMMUNICATIONS TRADE

March

03 2023 267

量,将有效市场和有为政府有机结合,将自

主创新与开放创新协同互动。政府顶层规划

推动人工智能长期性、系统性、创新性发展,

引导长期投资;国家队在人工智能基础科学

领域取得突破,并建设一批关键人工智能基

础设施;市场端重视发挥市场力量和产业生

态的重要作用,建立以头部人工智能企业为

主体的技术创新攻关机制,重视各行业人工

智能的产业化规模落地。

充分强化数据、算力和算法的铁三角

算力是基础、数据是养料、算法模型是

中枢,三者配合式的闭环循环使人工智能稳

定、快速发展。目前,我国数据分散、算法

不足、算力薄弱等问题不容忽视。算力是未

来人工智能发展的基础,亟待不断强化人工

智能算力网络基础设施建设,以满足AI大

模型及算法等对算力的需求。鼓励相关数据

和模型的资源共享已经成为美、英、日、韩

等国家在AI管理上的重要共识,我国在加

强数据保护的基础上,要充分利用大数据资

源,鼓励数据开放共享。

大模型迭代),与国外的差距可能会被拉大。

大模型已成行业与场景创新突破的共识,持

续不断降低通用或行业大模型的建设、训练

和使用成本成为商业化的关键。今年3月,

OpenAI推出API使开发人员集成成本降低

为1/10。有别于从0到1不计成本的技术突

破,商业化需要我国企业提供性价比更高、

成本更低的解决方案以及落地能力更强的行

业大模型。

重视人才培养、AI伦理、安全和法规建设

重视AI人才培养、补齐人才短板,是

我国AI发展的当务之急和长期需求。根据

相关部门测算,我国人工智能人才缺口超过

500万,国内的供求比例为1:10,供需比

例严重失衡。ChatGPT刚兴起,伦理和安全

问题较少被关注,未来多领域加速应用,将

导致相应的伦理和安全问题逐渐凸显,需提

早布局,将AI伦理治理融入AI全生命周期,

增强数据安全和隐私保护能力。政府要根据

AI在各应用领域的落地进程及时完善相应行

业法律法规,让新业态有法可依、有规可循。

搭建产业生态并密切跟踪全球发展趋势

无论是PC时代的Wintel体系(微

软+Intel),还是移动时代的AA体系

(ARM+Android),美国都打造了完整的

产业生态来把控产业的主导权和实现行业的

垄断。人工智能领域目前尚未形成绝对主导

的技术依赖和产业生态,我国应加快产学研

用联合攻关,搭建自主“AI芯片+框架软

件+大模型+产业应用”的人工智能生态体

系。同时,也要持续密切跟踪AI领域全球

前沿技术发展趋势,掌握发达国家在研发、

支持、监管等方面的最新动态,并结合我国

炼大模型并聚焦低成本商业化

“炼大模型”阶段,我国起步稍晚于国

外,在这个领域也研究多年,但是如果国外

寡头效应愈显(大数据积累、大算力支持和

国情学习借鉴。

作 者单位:中国信息通信研究院产业与规划研究所

中国电信业

CHINA TELECOMMUNICATIONS TRADE

41


发布者:admin,转转请注明出处:http://www.yc00.com/xitong/1713969958a2354944.html

相关推荐

发表回复

评论列表(0条)

  • 暂无评论

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信