业界首个《分布式融合存储研究报告》发布,打造智算时代新存储底座
北京2023年11月30日 /美通社/ -- 2023年11月30日,业界中国电子技术标准化研究院、首个式融算存储产业技术创新战略联盟联合华中科技大学、分布中山大学、合存之江实验室、储研存储浪潮信息、究报天翼云等20多家学研机构、布打企业和用户代表,造智共同撰写的代新底座业界首个《分布式融合存储研究报告》(以下简称:《报告》)正式发布。《报告》首次系统梳理并深入分析了分布式融合存储的业界概念、技术架构和应用场景,首个式融算为融合存储产业发展提供参考和指引。分布
中国电子技术标准化研究院领导表示,合存"数据成为重要的储研存储生产要素,数据存储和数据管理在信息技术变革中的究报作用更加显著。分布式融合存储作为存储新技术,在数据存储领域将会发挥更大作用。"
中国计算机行业协会信息存储与安全专委会会长、华中科技大学教授谢长生表示,"存储作为数字技术底座之一,既得到空前发展也面临巨大挑战,分布式融合存储就是迎接这种挑战的关键技术,该报告汇聚了学术界、产业界和用户的集体智慧和经验,描述了一副全景视图。"
《分布式融合存储研究报告》
分布式融合存储将成为智算时代的数据基石
中国工程院院士、清华大学教授郑纬民指出,"数字化和智能化催生数据量爆炸式增长,分布式融合存储技术的出现,不仅可以提供数据存储的效率和安全性,还可以实现数据的动态管理和智能优化,为各种应用场景提供更加全面和可靠的数据支持。"
《报告》指出,相较于传统的分布式存储技术,分布式融合存储是在传统的分布式存储架构的基础上,实现了同一存储集群同时提供多种存储服务,并且在非结构化数据协议间实现了协议融合、数据融合互通的存储技术,其能够提供跨模式/格式数据共享互通的能力,并支持块、文件、对象、大数据多协议接入以及多协议关联统一管理,满足多应用跨不同协议实现高效的数据互通访问。
该报告明确了分布式融合存储的四大关键技术:统一存储池,保证数据能够均衡地分布在各个存储节点中,支持存储池的横向扩展,以及数据自动修复能力;存储服务融合,在一套存储系统中同时提供文件、对象、大数据和块存储服务,同时具备丰富的多协议支持能力;数据管理融合,采用统一的非结构化数据和元数据管理架构,保证各协议的原生访问;存储协议融合,支持NFS、CIFS、HDFS、S3等非结构化数据协议的融合互通,保证了各种协议共享同一份数据和元数据。分布式融合存储通过对底层硬件资源进行高通用性且细粒度的管理,可极大地缓解智算时代数据急剧增长所导致的存储资源紧张问题。
分布式融合存储架构
为五大典型场景提供强大存力支撑
分布式融合存储在海量多源异构数据处理和"通信、感知、计算"一体化的边缘场景方面提供了强有力的存力支撑,使其能够满足不同场景对于存储的需求,为当前的数字化转型时代提供了高效、多维、贯通和定制化的生产要素,让数据驱动向全场景渗透。
《报告》总结了分布式融合存储的五大典型应用场景:
- 以自动驾驶为代表的深度学习场景:自动驾驶场景中数据量比较大,并且数据类型复杂。在整个数据生命周期中,根据不同阶段的应用,需要使用不同的协议。而分布式融合存储则实现多协议互访互通,并具备极致聚合性能,能够满足数据采集、数据标注、模型训练对于存储带宽、小文件处理、存储 IO 等方面的要求,使业务流程更加简洁高效;
- 以 AI/AIGC 为代表的大模型应用场景:模型的训练是AI开发的核心,这要求存储系统提供高带宽和高并发性能。分布式融合存储可避免因访问协议不同造成的数据拷贝,并提供海量多源数据、高性能、低延迟的存储基础设施,为AI应用的训练和推理提供强大存储能力的支撑;
- 以湖仓一体为代表的数据智能应用场景:湖仓一体的架构,数据来源多种多样,面向的服务和存储协议多种多样,所以融合存储是必然趋势。分布式融合存储为该场景提供了更高的计算扩展性,可为各类计算引擎同时提供存储需求,并实现协同合作和数据共享;
- 金融风控场景:金融风控场景的特殊性意味着,其对于存储系统的可用性、数据一致性、可扩展性、数据安全性、性能都提出了很高的要求。分布式融合存储通过高可用、高安全、高扩展、高性能设计,能够支撑系统实时数据访问和灵活扩容,满足大规模数据存储与分析的需求;
- HPC高性能计算场景:在高性能计算领域,分布式融合存储技术的应用作用愈发重要,它通过将多种存储业务资源集成为一个整体,以满足对文件、对象、块功能的需求,以及性能和容量的要求,并提供高可靠性和可扩展性,为科学计算和数据分析提供了可信赖的数据基础。
分布式融合存储正成为用户首选的存储底座
《报告》预测,分布式融合存储这一新兴技术目前正处于发展早期阶段,仍面临多服务融合的高性能挑战,新存储形态的标准化挑战和智能化的运维管理挑战。
同时,分布式融合存储拥有广阔前景,首先分布式融合存储有助于"存力"构建,符合政策方向;其次,分布式融合存储在一套存储架构有效组织管理不同存储介质、存储协议和存储服务,使得"一套存储架构支持一个数据中心"成为可能;以AI大模型为基础技术,未来涌现的各类新应用需要更强大的数据基础设施和数据平台能力,带来不可估量的市场空间,注定分布式融合存储未来大为可期。
存储产业技术创新战略联盟秘书长李仁刚提出,"云计算、大数据和人工智能等技术的快速发展,将推动分布式融合存储的进一步应用、推广,成为越来越多行业用户的首选存储底座。"
-
文章
52295
-
浏览
47
-
获赞
9458
热门推荐
-
卫生间装修踩坑太糟心!过来人的经验总结,建议这6点千万要记牢!
【建材网】卫生间装修的重要性大家都心知肚明,但是卫生间细节,如防水等都要求有一定的技术,稍不注意就可能踩坑,没装好就追悔莫及。尤其防水、坡度和地漏这三个关键部位,6个环节稍微出现问题都很麻烦。这里小编春色正好整修赶巧兔宝宝315开门红一全国火热进行中!
【建材网】春日有阳光,有温度更有无限惊喜兔宝宝家居315开门红一“促”即发活动时间2月20日—3月19日实木装整家健康进万家兔宝宝家居315开门红春日钜惠等您来抢!聚焦双碳目标,立邦中国 旗下三款产品上榜绿色设计产品名单
【建材网】近日,国家工业和信息化部发布《2022年度绿色制造名单》。立邦中国 旗下雅士利涂料苏州)有限公司的三款产品作为绿色设计产品典型,成功上榜“绿色设计产品公示” 名单[1山东德州一男子驾车冲撞行人致2人死亡 驾驶人被当场抓获丨滚动
3月1日 18:56山东德州一男子驾车冲撞行人致2人死亡 驾驶人被当场抓获2024年3月1日13时41分,山东德州市公安局交警部门接群众报警:105国道与101省道交叉口北侧宝信加气站附近发生一起交通美诗固惊艳靓相“大年初一”的中国建博会!
【建材网】7月8日,众所瞩目的“中国建博会”如期开幕,美诗固招商首年展位现场客似云来,参展观众、同行展商、卖场高层、知名媒体纷纷驻足现场。现场,以简约、时尚、科技风为设计风格的快手副总裁岳富涛:移动互联网用户和时长都进入存量市场争夺
摘要:“我们在虚拟世界和现实世界当中的时长其实已经开始发生主从关系的变化,现在在争夺移动互联网用户上,无论是人数还是时长,都是一个存量市场的争夺。”岳富涛说。春色正好整修赶巧兔宝宝315开门红一全国火热进行中!
【建材网】春日有阳光,有温度更有无限惊喜兔宝宝家居315开门红一“促”即发活动时间2月20日—3月19日实木装整家健康进万家兔宝宝家居315开门红春日钜惠等您来抢!儿童涂料能安心使用吗?上海市消保委发布比较试验结果
中国消费者报报道(记者 刘浩)为孩子的健康成长,家长往往会选择更安全、更环保的涂料作为儿童房的装饰材料,但专为儿童研发设计的涂料产品的价格普遍高于普通内墙涂料。近日,上海市消费者权益保护委员会发布儿童中国家博会(上海)/中国建博会(上海)(“双展”)宣传片震撼发布
【建材网】9月5-8日,第50届中国家博会上海)将与2022中国建博会上海)在国家会展中心上海)同期举办,“双展同期,大展身手”。近日,“双展”宣传片《泉州市城管局开展专项整治:售卖孔明灯一律没收
本报讯 记者王金植)元宵佳节即将来临,昨日,记者从市城管局获悉,元宵节期间,中心市区开展孔明灯、氢气球专项整治,商家不得销售孔明灯,如果违反规定被发现,一律给予取缔。昨日11时许,在中心市区中山路,一“苗乡”采茶忙 监管助复产
中国消费者报南宁讯(曾凡益 记者 顾艳伟)“根据法律规定,食品包装一定要规范,食品标签必须要标明生产者的名称、地址以及生产日期、保质期、生产许可证编号等事项。”3月18日,广西“消协帮你选”小程序上线 同类产品性能性价比一目了然
中国消费者报北京讯(记者任震宇)近日,由中国消费者协会开发,基于全国消协组织比较试验数据库的“消协帮你选”微信小程序正式上线。比较试验工作是消协组织履行《消费者权益保护法》赋予九江一幼儿园在小便池清洗餐具,官方:属实,责令该园停业整顿
6月7日,反映“九江某幼儿园在小便池清洗餐具”的短视频在网上传播。我市立即成立由市教育局和市场监督管理局组成的联合调查组。经调查核实,涉事幼儿园系柴桑区阳光幼儿园,视频反映情况属实。目前,市联合调查组“消协帮你选”小程序上线 同类产品性能性价比一目了然
中国消费者报北京讯(记者任震宇)近日,由中国消费者协会开发,基于全国消协组织比较试验数据库的“消协帮你选”微信小程序正式上线。比较试验工作是消协组织履行《消费者权益保护法》赋予火锅料理师国家职业标准颁布施行
记者从重庆市人力社保局获悉,人力资源社会保障部办公厅、商务部办公厅近日联合颁布中式烹调师火锅料理师)国家职业标准。这一国家职业标准的颁布施行,填补了火锅行业技能人才培养没有标准依据的空白,将为从业者搭