复旦MOSS距离ChatGPT还有多远?

2023-02-23 08:44 来源:中国网   阅读量:6432   

最近上热搜的MOSS,不是《流浪地球2》中量子计算机550W给自己起的新名字,而是复旦大学计算机科学技术学院教授邱锡鹏团队最新发布的国内第一个对话式大型语言模型,也被称作中国版ChatGPT。

2月20日,MOSS悄然上线,邱锡鹏团队发布至公开平台,邀公众参与内测。但是由于瞬时访问火爆,计算资源无法支撑,内测窗口已暂时关闭。

悄然上线,又匆匆关闭,MOSS这一“快闪”的举动,让它的亮相饱受争议。

那么相对于美国OpenAI的ChatGPT,中国的MOSS有何特别之处呢?记者在主页看到了这样的介绍:MOSS和ChatGPT的区别——如MOSS的参数量比ChatGPT少得多;MOSS通过与人类和其他AI模型交谈来学习,而ChatGPT是使用来自人类反馈的强化学习进行培训;MOSS将是开源的,以促进未来的研究,但ChatGPT可能不是这样。

据介绍,MOSS开发的基本步骤与ChatGPT一样,包括自然语言模型的基座训练、理解人类意图的对话能力训练两个阶段。作为MOSS主要作者之一,邱锡鹏表示:“MOSS与ChatGPT的差距主要在自然语言模型基座预训练这个阶段。MOSS的参数量比ChatGPT小一个数量级,在任务完成度和知识储备量上,还有很大提升空间。”

ChatGPT语言模型的参数量高达1750亿,而在它问世前,世界上最大的语言模型是微软开发的Turing-NLG,其参数量为170亿。自去年11月30日正式发布以来,ChatGPT上线5天,注册用户就突破百万。目前,其用户规模已达到1亿,成为互联网发展史上用户增长最快的消费级应用。

复旦大学计算机科学技术学院教授张奇是推出MOSS的复旦大学NLP实验室核心成员之一。对于ChatGPT背后模型所拥有的1750亿的参数规模,他在一次公开讨论中表示,学校这类机构很难去完成,目前百亿级的规模都已经非常困难。

按照ChatGPT目前开源的最简单复现版本、最便宜模式去计算,要做到1750亿的参数规模,需要大概6000万元的硬件成本,同时运算3.5个月。这还是所有事情都做对的情况,如中间有参数调整,或者想加速训练过程,就需要更高规模的投资。

归根到底还是研发投入的问题。而除了学术界,国内科技企业也纷纷摩拳擦掌开发自己的ChatGPT:原美团联合创始人王慧文近日明确表示,要“组队拥抱新时代,打造中国OpenAI”;百度此前宣布将在3月上线百度版ChatGPT——文心一言;阿里达摩院正在研发类ChatGPT的对话机器人,目前已开放给公司内员工测试;科大讯飞也表示,Al学习机将成为公司类ChatGPT技术率先落地的产品……

《科技日报》2023年2月23日第02版

郑重声明:此文内容为本网站转载企业宣传资讯,目的在于传播更多信息,与本站立场无关。仅供读者参考,并请自行核实相关内容。

热门

一键全自动换电——泰州市首家蔚来第三代换电站在兴化戴南上线
一键全自动换电——泰州市首家蔚来第三代换电站

一辆新能源汽车稳稳地停到蔚来充换电一体站的停车平台上,汽车下部的换电装置自动开启,卸下用完电的电池,换上充足电的...更多>

azg集团多维度赋能品牌,助力打造可持续产业生态
azg集团多维度赋能品牌,助力打造可持续产业

日前,由azg集团与Bubs贝儿联合举办的“Bubs贝儿纯净营养,守护新队友”五一特别场线下亲子活动圆满结束,门...更多>

喜报!中诚信托荣获深交所优秀债券投资交易机构奖项
喜报!中诚信托荣获深交所优秀债券投资交易机构

2月27日,深圳证券交易所组织召开2022年度债券监管发展业务座谈会,并表彰在服务国家重点战略、推进债券市场高质...更多>

银保监会就保险保障基金管理办法公开征求意见
银保监会就保险保障基金管理办法公开征求意见

为促进保险业稳健经营和高质量发展,更好发挥保险保障基金的积极作用,维护保单持有人合法权益,银保监会商有关部门对2...更多>

人民银行:指导银行将个人信贷延期还款政策落到实处
人民银行:指导银行将个人信贷延期还款政策落到

2022年第一季度金融统计数据新闻发布会现场。人民网黄盛摄人民网北京4月14日电(黄盛)今日,中国人民银行(以下...更多>

聚焦

发放消费券、举办消费节、推动线上线下消费融合,近期一批促消费措施密集推出—— 为消费升温积聚合力
消息称特斯拉墨西哥工厂选址范围缩小,预计下月
,据外媒报道,在全球已有4座整车工厂投产的特斯拉,有建设更多...更多>
长青科技IPO:董事长周银妹曾任世界妇女大会
乐居财经严明会2月20日,常州长青科技股份有限公司于深交所主...更多>
机械革命蛟龙16K游戏本官方测试:RTX40
,机械革命日前上架了新款蛟龙16K笔记本,R77735H+R...更多>
奥联电子:公司与华能清能院无任何业务往来正沟
针对华能清能院“澄清声明”中所说情况,记者与奥联电子取得联系...更多>
漫步者花再零感降噪耳塞发布:最高32dB,售
,漫步者旗下品牌“花再”推出了一款零感降噪耳塞,售价79元。...更多>
华硕ROGPhone6/Pro手机海外开始推
,华硕高端游戏手机ROGPhone6和ROGPhone6Pr...更多>
荣耀30系列等6款机型开启鸿蒙Harmony
感谢IT之家网友朱丶工作室、hyafee、归去如风、佳哥专属...更多>
2023-02-21苹果iOS无内购限免应用
AnchorPointer:步行路线导航4.8分使用指南针导...更多>
三星已连续17年称霸电视市场,Omdia报告
,根据市场调查机构Omdia的统计数据,三星电子在2022年...更多>
贵州遵义:积极争取债务“退红”试点坚决守牢“
2月21日,贵州省遵义市发改委发布《2022年国民经济和社会...更多>