北京智源发布悟道3.0大模型系列

2023-06-11 09:42 来源:IT之家   阅读量:5016   

感谢IT之家网友 华南吴彦祖、肖战割割 的线索投递!

,在“2023 北京智源大会”上,北京智源人工智能研究院发布悟道 3.0 大模型系列,包含悟道?天鹰语言大模型系列、“天秤(FlagEval)”大语言评测体系及开放平台以及悟道?视界视觉大模型系列。

IT之家附详细内容:

  • 悟道?天鹰 Aquila 语言大模型是第一个中英文双语大模型,支持商用、符合数据合规要求,在中英高质量合规的语料数据库基础上从零开始训练。这次发布了该系列模型中的 7B、33B 和 AquilaChat 对话模型,即 70 亿参数、330 亿参数的基础模型,AquilaCode 文本代码生成模型。

7B、33B 在技术上继承了 GPT-3、LLaMA 等的架构设计优点,替换了一批更高效的底层算子实现、重新设计实现了中英双语的 tokenizer,升级了 BMTrain 并行训练方法,在 Aquila 的训练过程中实现了比 Magtron+DeepSpeed ZeRO-2 将近8倍的训练效率。

AquilaCode-7B 代码模型,是基于 Aquila-7B 基础模式的代码模型,它也是 7B,用小数据集、小参数量实现了高性能,支持中英双语。

  • 大语言模型评测体系“天秤”在能力、任务、指标三个维度上建立了全方位的评测体系,包括 30 多种能力,加上 5 种任务,再乘以 4 大类的指标,总共差不多 600 维的评测体系。目前天秤开源大模型评测体系已经面向公众开放注册申请。在硬件方面支持英伟达、华为的昇腾、寒武纪、昆仑芯等多种芯片架构,以及 PyTorch 等多种深度学习框架。

  • 视觉大模型方面,智源大会公布了在多模态序列中补全一切的多模态大模型 Emu、最强十亿级视觉基础模型 EVA、性能最强开源 CLIP 模型 EVA-CLIP、首创了上下文图像学习技术路径的通用视觉模型 Painter、分割一切的视界通用分割模型、以及首个零样本视频编辑方法 vid2vid-zero 等成果。

郑重声明:此文内容为本网站转载企业宣传资讯,目的在于传播更多信息,与本站立场无关。仅供读者参考,并请自行核实相关内容。

热门

一键全自动换电——泰州市首家蔚来第三代换电站在兴化戴南上线
一键全自动换电——泰州市首家蔚来第三代换电站

一辆新能源汽车稳稳地停到蔚来充换电一体站的停车平台上,汽车下部的换电装置自动开启,卸下用完电的电池,换上充足电的...更多>

azg集团多维度赋能品牌,助力打造可持续产业生态
azg集团多维度赋能品牌,助力打造可持续产业

日前,由azg集团与Bubs贝儿联合举办的“Bubs贝儿纯净营养,守护新队友”五一特别场线下亲子活动圆满结束,门...更多>

喜报!中诚信托荣获深交所优秀债券投资交易机构奖项
喜报!中诚信托荣获深交所优秀债券投资交易机构

2月27日,深圳证券交易所组织召开2022年度债券监管发展业务座谈会,并表彰在服务国家重点战略、推进债券市场高质...更多>

银保监会就保险保障基金管理办法公开征求意见
银保监会就保险保障基金管理办法公开征求意见

为促进保险业稳健经营和高质量发展,更好发挥保险保障基金的积极作用,维护保单持有人合法权益,银保监会商有关部门对2...更多>

人民银行:指导银行将个人信贷延期还款政策落到实处
人民银行:指导银行将个人信贷延期还款政策落到

2022年第一季度金融统计数据新闻发布会现场。人民网黄盛摄人民网北京4月14日电(黄盛)今日,中国人民银行(以下...更多>

聚焦

发放消费券、举办消费节、推动线上线下消费融合,近期一批促消费措施密集推出—— 为消费升温积聚合力
邮储银行常州市分行积极开展“金融知识万里行守
中国网middot;美丽江苏讯为深入贯彻落实以人民为中心的发...更多>
为科创企业注入金融动能记邮储银行常州市分行“
中国网middot;美丽江苏讯专精特新中小企业、高新技术企业...更多>
LPR连续9个月保持不变、首套二套房贷利差加
5月的楼市表现并不尽如人意。中指研究院等多个研究机构的数据显...更多>
百度“根据场景生成数字人”专利获授权,可应用
感谢IT之家网友肖战割割的线索投递! 科技有限公司申请的“...更多>
微软将GitHubCopilot与Visua
,微软目前正在改善VisualStudio的开发体验,并将G...更多>
消息称三星正开发“类ChatGPT”AI大语
感谢IT之家网友雨雪载途、华南吴彦祖的线索投递! ,据韩媒...更多>
第三方厂商推出Switch游戏机用外壳式手柄
感谢IT之家网友华南吴彦祖的线索投递! ,相信IT之家的不...更多>
徜徉碧水蓝天 踏马天边草原——盛夏纯美乌拉盖
这片草原在乌拉盖河的孕育下,生长得端庄秀美、落落大方。辽阔天...更多>
文旅融合绘就“诗和远方”——乌拉盖管理区乘势
“天苍苍野茫茫,风吹草低见牛羊”。草原的美,只有身临其境才能...更多>
尝特色美食 品草原文化 ——“舌尖”上的乌拉
“金杯银杯斟满酒,双手举过头,炒米奶茶手扒肉……”最能震撼心...更多>