快播:复旦MOSS距离ChatGPT还有多远?
2023-02-23 10:06:46 来源: 科技日报
最近上热搜的MOSS,不是《流浪地球2》中量子计算机550W给自己起的新名字,而是复旦大学计算机科学技术学院教授邱锡鹏团队最新发布的国内第一个对话式大型语言模型,也被称作中国版ChatGPT。
2月20日,MOSS悄然上线,邱锡鹏团队发布至公开平台(https://moss.fastnlp.top/),邀公众参与内测。但是由于瞬时访问火爆,计算资源无法支撑,内测窗口已暂时关闭。
(相关资料图)
悄然上线,又匆匆关闭,MOSS这一“快闪”的举动,让它的亮相饱受争议。
科技日报记者在浏览器上输入公开平台的网址,其中对MOSS这样介绍:一种像ChatGPT的对话语言模型。MOSS能够按照用户的指示执行各种自然语言任务,包括问答、生成文本、总结文本、生成代码等。MOSS还能够挑战不正确的前提,并且拒绝不适当的请求。
那么相对于美国OpenAI的ChatGPT,中国的MOSS有何特别之处呢?记者在主页看到了这样的介绍:MOSS和ChatGPT的区别——如MOSS的参数量比ChatGPT少得多;MOSS通过与人类和其他AI模型交谈来学习,而ChatGPT是使用来自人类反馈的强化学习(RLHF)进行培训;MOSS将是开源的,以促进未来的研究,但ChatGPT可能不是这样。
据介绍,MOSS开发的基本步骤与ChatGPT一样,包括自然语言模型的基座训练、理解人类意图的对话能力训练两个阶段。作为MOSS主要作者之一,邱锡鹏表示:“MOSS与ChatGPT的差距主要在自然语言模型基座预训练这个阶段。MOSS的参数量比ChatGPT小一个数量级,在任务完成度和知识储备量上,还有很大提升空间。”
ChatGPT语言模型的参数量高达1750亿,而在它问世前,世界上最大的语言模型是微软开发的Turing-NLG,其参数量为170亿。自去年11月30日正式发布以来,ChatGPT上线5天,注册用户就突破百万。目前,其用户规模已达到1亿,成为互联网发展史上用户增长最快的消费级应用。
在关闭内测之后,MOSS官网发布公告称,MOSS还是一个非常不成熟的模型,距离ChatGPT还有很长的路要走。“我们是一个进行学术研究的实验室,无法做出和ChatGPT能力相近的模型。”科研团队相关负责人指出,当前版本的MOSS表现不够稳定,部分回答或存在事实差错、逻辑不顺等问题。不仅如此,MOSS的英文回答水平较中文回答水平更高,这主要受到其模型基座的单词收录量影响,MOSS学习了3000多亿个英文单词,但中文词语只学了约300亿个。
复旦大学计算机科学技术学院教授张奇是推出MOSS的复旦大学NLP实验室核心成员之一。对于ChatGPT背后模型所拥有的1750亿的参数规模,他在一次公开讨论中表示,学校这类机构很难去完成,目前百亿级的规模都已经非常困难。
按照ChatGPT目前开源的最简单复现版本、最便宜模式去计算,要做到1750亿的参数规模,需要大概6000万元的硬件成本,同时运算3.5个月。这还是所有事情都做对的情况,如中间有参数调整,或者想加速训练过程,就需要更高规模的投资。
归根到底还是研发投入的问题。而除了学术界,国内科技企业也纷纷摩拳擦掌开发自己的ChatGPT:原美团联合创始人王慧文近日明确表示,要“组队拥抱新时代,打造中国OpenAI”;百度此前宣布将在3月上线百度版ChatGPT——文心一言(英文名为ERNIE Bot);阿里达摩院正在研发类ChatGPT的对话机器人,目前已开放给公司内员工测试;科大讯飞也表示,Al学习机将成为公司类ChatGPT技术率先落地的产品……(侯树文 王 春)
为您推荐
精彩放送
热门文章
-
全球关注:从ChatGPT聊微软的云战略
-
个人养老时代,你准备好了吗? 招商和惠养老2045五年首发ing
-
全球速读:再度加码奶酪市场,君乐宝有几层意图?
-
中国人保“一把手”被免,继任者的压力不会小
-
热头条丨泰康受邀成为百度“文心一言”首批生态合作伙伴
-
世界播报:快狗打车,终究逃不过 58 系 ” 魔咒 “?
-
每日速讯:长虹宣布接入百度文心一言能力打造大屏8K人工智能全系产品和服务
-
今日热议:方正富邦基金乔培涛:重点挖掘困境反转行业和新技术新产业投资机会
-
焦点快看:这个氢能的细分赛道也值得关注|行业发现
-
当前热讯:罗永浩交个朋友回应被曝欠薪
-
全球快看:大浪淘沙,爱驰汽车未上岸
-
全球最新:每日财报|吉峰科技定增申请获批 TCL中环拟41亿投资单晶硅项目
精彩图片
热文
-
【天天新视野】2023年02月23日全国外三元生猪价格行情涨跌表
-
全球今亮点!2023年2月23日全国氯化苄价格最新行情预测
-
天天信息:2023年2月23日全国二乙醇胺价格最新行情预测
-
世界热点评!受冬季风暴影响 美国已有1442架次航班被取消
-
当前视点!时隔四年重启!中日安全对话在东京举行
-
韩媒:韩国下月起取消自华入境人员落地检
-
世界简讯:旅美大熊猫“丫丫”受关注,知情人士:中方已派专家赴美协商回国事宜
-
焦点简讯:【环时深度】鼓励“返乡入乡”,日本德国有什么好对策
-
世界关注:创金合信基金管理有限公司关于创金合信货币市场基金增加海通证券为代销机构并调整创金合信货币市场基金A类份额申购金额下限的公告
-
诺安优选回报灵活配置混合型证券投资基金限制代销机构机构投资者大额申购、转换转入及定投业务的公告
-
当前快讯:关于新增兴业证券股份有限公司为上投摩根基金管理有限公司旗下部分基金代销机构的公告
-
焦点热门:2018年7月:全国各省市中型拖拉机产量排名,河南省当月产6113台登顶
-
俄总统普京发表视频讲话 庆祝俄罗斯祖国保卫者日
-
全球实时:联大重启乌克兰问题紧急特别会议
-
今日讯!0:0战平爱尔兰队 中国女足结束欧洲拉练将启程回国
-
焦点精选!关于华富中证人工智能产业交易型开放式指数证券投资基金新增中国中金财富证券有限公司为一级交易商的公告
-
关于方正富邦基金管理有限公司旗下部分基金新增华安证券为申购、赎回代办券商的公告
-
世界微速讯:华安基金管理有限公司关于上证龙头企业交易型开放式指数证券投资基金变更基金场内简称及扩位简称的公告
-
焦点精选!海富通基金管理有限公司关于旗下部分基金新增平安银行股份有限公司为销售机构的公告
-
世界热点评!大成基金管理有限公司关于旗下部分基金增加深圳前海微众银行股份有限公司为销售机构的公告
-
2023年2月22日全国锰硅价格最新行情预测
-
2023年2月22日全国硅铁价格最新行情预测
-
2018年7月:全国各省市水泥专用设备产量排名,江苏省当月产22868.5吨登顶
-
全球即时看!2018年7月:全国各省市金属冶炼设备产量排名,上海市当月产17542.5吨登顶
-
环球最新:2018年7月:全国各省市大型拖拉机产量排名,河南省当月产1822台登顶
-
【世界聚看点】朝中社谴责日本举办“竹岛日”活动,“抢夺领土只会加速日本覆灭”
-
全球热点!俄媒:祖国保卫者日前夕普京出席集会,与现场民众同唱国歌
-
普京在祖国保卫者日前夕出席活动:俄全体人民都是祖国的保卫者!
-
旅日大熊猫“永明”及双胞胎女儿飞抵成都
-
焦点速递!胎压监测板块2月22日涨1.55%,必创科技领涨,主力资金净流入8597.72万元
-
【天天时快讯】声母表正确读法_生母表
-
天天热资讯!2023年02月21日吉林省中药材报价分析
-
世界新消息丨2023年02月21日甘肃省中药材报价分析
-
每日热闻!2023年02月21日海南省水果报价分析
-
天天快消息!2023年02月21日全国黑豆报价分析
-
环球微资讯!美国新一轮冬季风暴来袭 超6500万人处于预警之下
-
今日聚焦!联合国安理会强烈谴责马里稳定团维和人员遇袭身亡事件
-
环球快讯:冬季风暴致美国近1000架次航班取消或延误
-
2023年2月22日全国福美锌价格最新行情预测
-
全球观焦点:2023年2月22日全国橡胶促进剂DPTT价格最新行情预测
-
世界观天下!2023年2月22日全国苯甲胺价格最新行情预测
-
天天快资讯:2023年2月22日全国橡胶促进剂SDBC(TP)价格最新行情预测
-
当前看点!2023年2月22日全国橡胶促进剂PZ价格最新行情预测
-
世界新资讯:中印举行边境事务磋商和协调机制第26次会议
-
巴西马托格罗索州发生枪击案 已致7人死亡
-
当前讯息:俄罗斯一座油田发生爆炸致2人死亡
-
世界速读:韩国抗议日本高官出席“竹岛日”活动
-
天天热讯:巴勒斯坦卫生部:以军在纳布卢斯打死10名巴勒斯坦人
-
世界微资讯!2023年2月22日湖南省丙二醇甲醚价格最新行情预测
-
2023年2月22日河南省氢氧化钙价格最新行情预测