人工智能从“大炼模型”到“炼大模型” 大模型有大智慧
2021-04-12 09:04:29 来源: 科技日报
人工智能可以分为几个发展阶段:基于数据的互联网时代、基于算力的云计算时代,以及接下来可能将进入的基于模型的AI时代,这相当于把数据提升为超大规模预训练模型。未来,研究人员可以直接在云模型上进行微调,很多公司甚至不用维护自己的算法研发团队,只需要应用工程师即可。
写小说、和人聊天、设计网页、编写吉他曲谱……号称迄今为止最“全能”的AI模型GPT-3,当然远远不止会这些。作为2020年人工智能领域最惊艳的模型之一,GPT-3无疑把超大规模预训练模型的热度推向了新高。
3月下旬,我国首个超大规模人工智能模型“悟道1.0”发布,该模型由智源学术副院长、清华大学教授唐杰领衔,带领来自清华大学、北京大学、中国人民大学、中国科学院等单位的100余位AI科学家组成联合攻关团队,取得了多项国际领先的AI技术突破,形成了超大规模智能模型训练技术体系,训练出包括中文、多模态、认知和蛋白质预测在内的系列超大模型。
已启动4个大模型开发
据悉,“悟道1.0”先期启动了4个大模型研发项目:以中文为核心的超大规模预训练语言模型文源、超大规模多模态预训练模型文澜、超大规模蛋白质序列预测预训练模型文溯,以及面向认知的超大规模新型预训练模型文汇。
唐杰介绍,文源拥有26亿参数,文澜则为10亿,文溯是2.8亿,文汇则达到了百亿以上。虽然相对于GPT-3的1750亿参数而言还有差距,但“接下来会有更大的模型”。
目前,文源模型参数量达26亿,具有识记、理解、检索、数值计算、多语言等多种能力,并覆盖开放域回答、语法改错、情感分析等20种主流中文自然语言处理任务,在中文生成模型中达到了领先的效果。
“目前这些模型既有一些交集,但也存在明显差异。文源的重点是在中文和跨语言,未来也会加入知识;文澜的重点主要是图文;文汇则更多地瞄向认知。”唐杰表示,认知是人工智能技术发展的趋势和目标,关系到机器是否能像人一样思考这个终极问题。
“下一代人工智能技术的发展方向一定是认知。”据唐杰介绍,在作诗任务中,目前文汇已经通过了图灵测试。从算法的角度上来看,文汇能通过图灵测试的关键在于“生成”,而不仅仅限于“匹配”,这种生成能力是多样的。
被问及为何会选择这4个预训练模型项目时,唐杰说,这是综合考虑了国内外同行的相关工作、国内人工智能发展的现状、团队人员构成、北京区域优势等作出的决定。“当时GPT-3刚发布不久,悟道团队认为首先要对标其卓越的少样本学习能力,同时还要做出差异化,做短、中、长3个阶段的布局。于是,中文版GPT-3即清源CPM(文源的前身)应运而生,这是短期布局。之后,文源要向中英文模型乃至多语言模型发展,这是中期布局。最后走向认知智能,这是长期布局。”唐杰说,与此同时,国内顶尖的企业人才、学术人才和自然科学人才所组成的团队给了项目巨大的想象空间。
大模型有大智慧
自2018年谷歌发布BERT以来,预训练模型逐渐成为自然语言处理(NLP)领域的主流。
2020年5月,OpenAI发布了拥有1750亿参数量的预训练模型GPT-3。作为一个语言生成模型,GPT-3不仅能够生成流畅自然的文本,还能完成问答、翻译、创作小说等一系列NLP任务,甚至可以进行简单的算术运算,并且其性能在很多任务上都超越相关领域的专有模型。
以GPT-3为代表的超大规模预训练模型,不仅以绝对的数据和算力优势取代了一些小的算法模型,更重要的是,它展示了一条通向通用人工智能的可能路径。在此背景下,建设国内的超大规模预训练模型和生态势在必行。
在唐杰看来,为了提高机器学习算法的效率,改变传统的行业布局,过去几年,大家拼命做模型,导致模型越做越多。然而,一般的模型训练效果并不如人意,花了大量财力精力却达不到理想的训练效果,“为了优化效果、提高精度,模型越来越复杂,数据越来越大,很多公司的能力不足以应对这种状况,效率越来越低。”唐杰举了个例子,小炼钢厂往往条件简陋,能炼钢,但质量不好。大炼钢厂买得起设备、花得起电费,炼出的钢质量就好,大模型就是大炼钢厂,它可以获得大量数据,并把数据清洗干净,提升算力,满足要求。
与此同时,“小模型可能只需要几个老师和学生就能完成算法的设计,但是大模型的每一层都要找专人来做,这样可以把模型的设计和训练精细化,模型设计也从单打独斗变成了众人拾柴。”唐杰说。
小团队将成最大受益者
据唐杰透露,团队目前正在跟北京冬奥会合作,开发可通过文本自动转成手语的模型,“医疗方面我们的主要方向是癌症早筛,如上传乳腺癌图像,找到乳腺癌相关预测亚类,通过影像识别宫颈癌亚类等。”
而谈到“悟道1.0”的发展,唐杰坦言,目前还存在需要持续攻关的问题。一是模型能否持续学习的问题,即能否不断地从新样本中学习新的知识,并能保存大部分以前已经学习到的知识。就目前来看模型还需要调整,其效果还有待加强;二是面对一些复杂问题,目前模型还无法回答;三是万亿级模型的实用性问题,即如何在保证精度的同时压缩模型,从而能让用户低成本地使用。
“这是一个全新的产业模式。原来大家数据上云、算力上云,现在模型上云。”唐杰说。
他认为,人工智能可以分为几个发展阶段:基于数据的互联网时代、基于算力的云计算时代,以及接下来可能将进入的基于模型的AI时代,这相当于把数据提升为超大规模预训练模型。未来,研究人员可以直接在云模型上进行微调,很多公司甚至不用维护自己的算法研发团队,只需要应用工程师即可。
唐杰表示,随着超大规模预训练模型系统的开放,小团队是最大的受益者,大家不必从零开始,预训练基线智能水平大幅提升,平台多样化、规模化,大家在云上可以找到自己所需的模型,剩下的就是对行业、对场景的理解。这将给AI应用创新带来全新的局面。
唐杰透露,“悟道1.0”只是一个阶段性的成果,今年6月将会有一个规模更大、水平更高的智慧模型发布。届时,模型规模会有实质性的进展:模型会在更多任务上突破图灵测试,其应用平台的效果也会更加让人期待。(记者 崔 爽)
标签: 人工智能
为您推荐
精彩放送
热门文章
-
看好拉美业务中长期增长前景 安信国际将伟禄目标价调至18.5港元
-
陆金所控股一季度净利润同比增6.5% 八成新增借款流向小微企业
-
深圳共享单车市场或将重塑 暂不发展互联网租赁电动自行车
-
高管撑股价13家上市银行获增持 后续走势值得期待
-
A股退市名单再添两家 年内退市公司增至25家
-
年内可转债募资超千亿元 募资规模略低于去年同期
-
北交所首家转板公司诞生!观典防务在科创板上市
-
南京银行第4次被股东增持 城商行为何受“青睐”?
-
多家中小银行下调存款利率 存款降息潮是否来临?
-
南下资金持续流入港股 年内增持中海油等43只港股逾亿股
-
降息“靴子”落地!深圳银行均已执行最新LPR报价
-
韦尔股份增持北京君正 增持后累计持有不超过5000万股
精彩图片
-
迄今最具破坏力小行星将掠过地球 飞行速度比高速飞行子弹快20倍
-
全球变暖影响人们睡眠时间 每年平均失去44小时睡眠时长
-
“下一代奇迹材料”石墨炔首创成功 填补碳材料科学空白
-
早期动物五亿多年前已形成复杂生态群落 为寒武纪大爆发奠定基础
-
西藏察隅发现中国最高树 高达83.2米胸径207厘米
-
揭示月背月壤粗细规律!月球表面年龄与月壤内部非均匀性呈正相关
-
长期暴露于野火中的居住人群 脑瘤发病率提高10%
-
研究发现:海草底部蔗糖浓度约比记录高80倍
-
4月苍穹精彩纷呈 群星“成团出道”
-
科学家发现新方法 提高鹿角珊瑚种植成功率
-
湖南首创数字贸易综合服务平台 1.2万家企业入驻
-
研究:每周吃5次或更少的肉与较低的总体癌症风险相关
热文
-
哪些基金是红利指数基金?红利指数基金的好处是什么?
-
车险投保人有什么风险?车险投保人是受益人吗?
-
存货周转率多少合适合理范围是什么?存货周转率小于1说明什么?
-
银行定期存款利率是多少?七日年化2.3%一万一月多少钱?
-
美巢专注家装环保辅料领域,致力于打造室内完美墙面
-
中视酒业供应链十大解决方案突破行业痛点多方共赢!
-
沈腾、马丽今晚做客“蘑菇屋“ 容声冰箱为新鲜美食保驾护航
-
资管机构遭仿冒,hopingclub华英会紧急澄清,请投资者提高警惕
-
QCY AilyPods蓝牙耳机预售10分钟破千台:够小够轻够性价比!
-
坚果投影仪O1和峰米R1 Nano,居家观影必备!
-
轻燃卡卡:轻体健康领域品牌林立,轻燃卡卡凭什么破圈出局?
-
数据表明母婴的风口要来了 选择靠谱的品牌是关键
-
郑明明抗皱凝时胶囊精华有效吗?要怎么用呢?
-
青海省商业性住房贷款利率下调 首套房贷利率调整为4.8%
-
太原多家楼盘已按房贷利率新标办贷 太原市民购房能省多少钱?
-
前5月兰州新区商品房销售面积环比增长约12% 价格同比增2.75%
-
5.26苏州楼市成交稳定 住宅房源共成交34367.37㎡
-
高管撑股价13家上市银行获增持 后续走势值得期待
-
A股退市名单再添两家 年内退市公司增至25家
-
银保监会拟全方位透视险企综合风险水平 全新划分风险等级
-
年内可转债募资超千亿元 募资规模略低于去年同期
-
前四月发放就业补贴超亿元 惠及高校毕业生3.8万人次
-
618选机困难症?一文读懂iQOO Neo6 SE、红米 Note 11T Pro怎么选
-
2022冰箱高峰论坛成功举办,海信真空冰箱获权威肯定
-
股票哪些技术指标最有用?如何设置股票技术指标参数?
-
深港通的标的股有哪些? 什么股票属于深港通?
-
95开头的电话能接不?9521是什么电话?
-
上折和下折什么意思? 现货折盘价是什么意思?
-
余额宝双休日也有收益吗? 零钱通周末有收益吗?
-
深发展信用卡怎么样?信用卡申请进度查询方法是什么?
-
余额宝转出10万要多久?余额宝实时到账吗?
-
乐蜂网创建时间是什么时候?乐蜂网还存在吗?
-
信用卡积分兑换订单怎么查询?5000积分兑换多少话费?
-
国美电器是做什么的董事长是谁?国美有哪些股票代码?
-
腾讯持有快手多少股票?快手与腾讯是什么关系?
-
余额宝一万块钱一天收益多少?余额宝可以当日提现吗?
-
中欧基金刘建平:优化机制和文化 提升专业能力 切实保护投资者利益
-
稻香村集团(山东公司)一行到访山东朱氏药业集团参观交流
-
蓝湾壳寡糖和壳寡糖益生菌 为您保肝护菌
-
品效双赢,“抖音520宠爱季”引领行业加倍“宠爱”
-
朱氏药业集团朱坤福:把握爆品时代机遇、迈进品牌时代新征程
-
招行信用卡借势金融科技,为客户创造更多价值
-
高新科技培育钻石,或掀时尚界新热潮
-
连续四年!用友精智成为国家级跨行业跨领域工业互联网平台
-
北交所首家转板公司诞生!观典防务在科创板上市
-
hoping club华英会成功的十个法则
-
618购游戏神机iQOO Neo6超优惠,至高24期免息+全程价保+保值换新
-
2022年新形象!AMIRO品牌全新视觉升级!
-
贵州酱酒集团“启航”,助力贵州白酒产业产业升级、产区发展
-
赛克斯发布2022年英国度假屋出租市场展望报告