AI存储暗藏玄机 中国原创技术在美国大放异彩

2026-01-14 08:48 来源:朝闻天下   阅读量:8021   会员投稿

近日,一篇《2100亿独角兽即将诞生!被英伟达、谷歌、xAI同时看中》的文章在AI业内流传,揭开了一个被国人忽略的AI新赛道——AI存储。

在中美科技竞争的大背景下,芯片一直是重中之重,说举国之力也不为过,而以Deepseek为代表的中国公司在芯片被“卡脖子”的情况下,在算法上的突破也获得了足够多的关注,但在这场大模型的全球争霸赛中,芯片(算力)和模型(算法)之外,还有一个至关重要甚至称得上“卡脖子”的领域,却被国人忽视,那就是AI存储。

AI 存储是AI产业的 “刚需”

公众一般都知道AI算力靠GPU,GPU尤其是高端GPU是稀缺资源,实际上在AI计算时还有一个“效率中枢”,决定着GPU的运行效率,这就是AI存储。

大模型训练/推理不只是算力竞赛,也是“数据管道”竞赛:把成山的训练样本、检查点(checkpoint)、特征向量在微秒级送进上万张 GPU。如果存储端跟不上节奏,昂贵的 GPU 就会闲着“等数据”,高额的算力投资被浪费。

从Google、英伟达、Hugging Face等公司的论文中可以看出,GPU的利用率往往只有50%左右。昂贵的GPU算力在AI计算时大约有一半被浪费,“是可忍孰不可忍”,于是AI产业界就削尖脑袋加以改进。提高存储性能,避免读写时卡顿就成为“刚需”。

AI存储是创新技术的蓝海

传统的存储技术并非为满足当今AI训练推理而设计,现有存储技术在面对规模越来越大的AI训练推理集群时已经越来越力不从心。

AI 训练需要处理海量数据,且数万张GPU卡都要共享训练参数。要保证读训练数据时数据流稳定,哪怕只有1%的微小抖动,都会导致高达数百GPU卡顿;AI训练还需要频繁写Check Point(相当于训练参数存档),写Check Point时这么多GPU同时集中写,这是传统存储系统不会经常遇到的情况;在分配训练数据时,海量小文件的读写是传统存储一直未能解决的难题, 有时仅文件列表加载就需耗时数小时;在推理时,长上下文又有新的存储需求……华为 MLPerf 测试数据显示,传统存储在AI训练场景中 GPU 利用率仅 30%。

因此迫切需要构建为AI专门设计的数据存储架构,能够低成本高效率地处理数据,让昂贵的算力不再被浪费。

Shared-Everything架构撑起300亿美元巨头

分布式存储是很多台服务器(称为服务器集群)组成的存储系统。传统分布式存储是Shared-Nothing架构的,即数据盘属于存储服务器私有。这就像商品都归本地供销社管理,每个人只能在本地供销社买东西,要去买其它地方的商品就必须让本地供销社和对方供销社协商,将对方货物调过来才能买。这种供销社之间的协商和调货被称为Cross Talk,是分布式存储最大的性能瓶颈。

而Shared-Everything架构则是数据盘在共享存储池,任何服务器都可以不经过其它服务器读写所有的盘。这就像电商,任何人不管在什么地点都可以直接下单购买,而无需供销社之间协商调货。Shared-Everything架构下数据路径更短,消除了Cross Talk这一性能瓶颈,性能有质的飞跃。

美国创业公司VAST Data宣称,Shared-Everything是分布式存储20年来第一次架构性创新,传统Shared-Nothing架构正在走向末路。我们可以理解为相当于电商会取代供销社。

VAST Data基于Shared-Everything架构的AI存储系统使得GPU利用率比传统存储技术提升 10–25 %,Checkpoint 时间从 10 分钟级降到 1分钟级。数据恢复速度提升 5–8倍,迅速成为了AI存储市场的独角兽。该公司2016年成立以来,获得了包括英伟达在内的多轮投资,客户名单包括马斯克旗下大模型创企x AI、皮克斯动画、zoom、谷歌,最新一轮估值更是高达惊人的300亿美元。

300亿美元估值意味着什么?要知道世界上最大的传统存储厂商EMC(也就是常说的“去IOE”中的“E”),2016年EMC被Dell时存储业务价值也不过245亿美元。这就像特斯拉的市值超越丰田、奔驰、宝马等传统汽车厂商一样,代表新架构对传统架构的超越。同时,这个数字甚至也超过了中国联通的市值。

Shared-Everything是中国原创技术

虽然Shared-Everything技术在美国大放异彩,但事实上该技术却是中国首创。多年前,中国的IT科学家王东临和他领衔的书生公司技术团队就发明了Shared-Everything技术(当时称为分布式共享存储技术),并研发了基于该技术的第一代SurFS分布式存储系统,性能非常出色,在当时世界上最快的分布式存储系统性能在500微秒左右时,SurFS提高到了60微秒左右,充分展现了Shared-Everything技术的优越性。

王东临是得过多项国家级科技荣誉、在中国IT业历史上留下多个足印的技术专家,陆续发明了多项国际领先的创新技术,有的(如电子印章技术)已经得到广泛应用,有的(如果中国软件业首个国际标准)树立了中国IT业的里程碑,有的(如Shared-Everything架构)仍然待字闺中。就在今年,他基于Shared-Everything架构设计的量子模拟机集群也同样打破了记录,用两颗普通CPU跑出了比英伟达8张GPU卡还高的性能;前不久,他还带领南开大学人工智能团队和北京大学量子神经网络团队做出了全球首个基于量子算力实现智能对话的AI大模型成果,其预印版论文刚刚发表……

2016年2月,书生公司申请了一批Shared-Everything技术架构的发明专利,并随后对第一代SurFS进行了开源,倪光南院士、时任工信部电子信息发展产业研究院院长卢山等领导出席了SurFS开源仪式。

AI存储暗藏玄机 中国原创技术在美国大放异彩

开源的意义在于让公众都能共享创新成果(尤其是架构性的重大创新),让新技术能得到更广泛的应用。但开源也会被不劳而获的同行窃取,经常有人调侃说“美国一开源,中国就有了创新技术”。但这一次,在书生公司SurFS开源后不久,VAST Data公司成立了;在SurFS开源21个月后,VAST Data“发明了”Shared-Everything技术,并于2017年11月在美国申请了相关技术的专利。根据知识产权专业机构的分析,双方专利高度相似,技术方案完全覆盖,属同一个技术。

中国原创技术,会被美国用来收割中国吗?

目前,书生公司已经重启了新一代SurFS技术的研发,宣称新技术在核心技术指标上将超越VAST Data。日前,书生公司还向专利局提交了宣告VAST Data专利无效的申请。

AI竞赛的大幕已经拉开,芯片、模型……刀光剑影,电力、基础设施枕戈待旦,现在,存储领域的渔阳鼙鼓声响起。当VAST Data身后集结了英伟达、迪士尼、谷歌、x AI、chatGPT、CoreWeave等一系列美国AI公司,其客户名单中还包括NASA和美国能源部时,王东临、书生公司和他的Shared-Everything专利背后,应该有谁?VAST Data数月前刚在中国设立了总代理,将来会不会出现美国人用中国技术卡中国脖子的景象?

郑重声明:此文内容为本网站转载企业宣传资讯,目的在于传播更多信息,与本站立场无关。仅供读者参考,并请自行核实相关内容。

热门

一键全自动换电——泰州市首家蔚来第三代换电站在兴化戴南上线
一键全自动换电——泰州市首家蔚来第三代换电站

一辆新能源汽车稳稳地停到蔚来充换电一体站的停车平台上,汽车下部的换电装置自动开启,卸下用完电的电池,换上充足电的...更多>

喜报!中诚信托荣获深交所优秀债券投资交易机构奖项
喜报!中诚信托荣获深交所优秀债券投资交易机构

2月27日,深圳证券交易所组织召开2022年度债券监管发展业务座谈会,并表彰在服务国家重点战略、推进债券市场高质...更多>

人民银行:指导银行将个人信贷延期还款政策落到实处
人民银行:指导银行将个人信贷延期还款政策落到

2022年第一季度金融统计数据新闻发布会现场。人民网黄盛摄人民网北京4月14日电(黄盛)今日,中国人民银行(以下...更多>

发放消费券、举办消费节、推动线上线下消费融合,近期一批促消费措施密集推出—— 为消费升温积聚合力
发放消费券、举办消费节、推动线上线下消费融合

4月20日是海南离岛免税政策落地实施11周年。11年来,海南离岛免税销售金额和购物人数不断攀升,离岛免税购物已成...更多>

线上线下加速融合,新型业态惠民便民—— 商业新模式激发消费新活力
线上线下加速融合,新型业态惠民便民—— 商业

在上海街头,一家集合了艺术展览、画材、图书、生活家居、艺术衍生品、服装零售等多种业态内容的超级百货集合体验店,吸...更多>

聚焦

京东方A:第一季度净利润43.89亿元同比下滑16.57%
甘肃庆阳手艺人“变废为宝”碎布条拼出黄土塬“
近日,在甘肃庆阳市西峰区,民间手艺人张锐利正向来往顾客介绍自...更多>
JINS睛姿以“高性价比”眼镜矩阵,开启新年
2026年新年伊始,随着个人形象焕新需求与“开运”心理的双重...更多>
世帆MCN如何让普通人成为带货明星
从宝妈到网红,这家公司让普通人突破收入在北京望京SOHO的世...更多>
公告重要事项,多股复牌跳水!银行、保险股崛起
今日市场主要指数集体低开后,快速翻红。 盘面上,大金融板块...更多>
法恩莎2025年度印记:与艺术共生,与智净同
亲爱的法恩莎生活家:水流相拥的温润,净澈守护的笃定,卫浴间的...更多>
AI时代最大的宝藏,也藏得最深:80%的企业
2026年,AI进入“应用爆发年”,但一个残酷现实浮出水面:...更多>
韩国总统李在明访华,走进韩国制茶人金容纹20
近日,随着韩国总统李在明率庞大经贸代表团访华、中韩两国签署多...更多>
非农夜临近,交易环境成关键,创富国际进入投资
随着美国政府停摆风波告一段落,即将在本周五(1月9日)公布的...更多>
魅力精致·新城关|地方文化,声动世界
18日,“看见城关·声动世界”外媒行暨城关区国际传播中心账号...更多>
张胜兵品《伤寒论》点亮现代健康之路
在现代快节奏的生活中,健康问题纷至沓来,而中医智慧宛如一颗璀...更多>