当前速讯:让数据融合互通,为“云数智”应用构筑新平台
2023-02-02 18:11:56 来源: 人民政协网
数字经济时代,云计算、大数据、人工智能等新技术快速发展,非结构化数据爆发式增长,数据类型变得愈发复杂多样。在自动驾驶、基因测序、气象预报等云数智应用场景中,一次数据处理可能会涉及文件、对象、大数据等多种协议,数据间的互通转换成为数据存储中至关重要的一环,具备平台化能力的融合存储成为数字基础设施建设的核心。
以基因测序场景为例,一次完整的基因测序涉及到数据采集、格式化、脱敏、压缩、分析、发布等操作,其过程可以大致分为样本采集、DNA/RNA测序、数据分析和发布四个步骤。在不同的处理阶段,需要使用不同的数据协议进行操作。其中在样本采集和DNA/RNA测序阶段采用NFS文件协议,数据分析阶段采用HDFS大数据协议,数据发布阶段则是通过公网数据共享采用S3对象协议。整个数据处理过程涉及三种协议格式,这就意味着完成一次基因的测序流程需要在NFS、HDFS和S3之间进行两次数据拷贝和数据格式的转换。传统存储仅支持单一的访问协议,这就会造成两个问题:一是数据格式转换和数据拷贝会降低整个数据处理流程的效率;二是多套存储副本增加存储空间成本。
基因测序应用需要使用多种数据协议
(资料图片)
浪潮分布式存储平台AS13000基于对非结构化数据协议(NFS/CIFS/HDFS/S3)融合互通的研究进行技术创新,采用统一的数据管理和元数据管理、统一的增值特性服务、统一的分布式存储资源池和统一的管理软件系统,保证各种协议共享同一份数据和元数据。访问过程中无需数据转换和拷贝,并且为每种协议提供原生语义服务,每种服务均可直接访问,无需安装网关、插件或在计算侧或应用层进行改造。
AS13000非结构化数据融合架构
基于“多合一”极简架构,浪潮分布式存储得以实现四个“统一”。
首先,提供统一的数据管理和元数据管理。
数据管理和元数据管理是非结构化数据存储的关键,浪潮分布式存储平台AS13000根据NFS、CIFS、HDFS和S3的语义和元数据特点,抽象各协议的数据和元数据操作,通过一套统一的非结构化数据和元数据管理架构有效地保证各协议的原生访问。
其次,提供统一的增值特性服务。
基于统一的数据访问接口和元数据管理的架构设计,浪潮AS13000对外提供统一的增值特性服务,包括统一配额、QoS、加密、压缩、快照、回收站、分级存储、远程复制、元数据检索等等。
以下图为例:同一个元数据检索服务ElasticSearch支持NFS、CIFS、S3、HDFS多种协议,并且各协议为同一配置入口和查询入口。
统一增值特性示例:元数据检索服务
再次,构建统一的分布式存储资源池。
AS13000支持NFS/CIFS/HDFS/S3等多种服务协议共享非结构化存储资源池,并且同一个文件不同协议访问的数据和元数据为同一份。例如,通过文件NFS协议写入的一个文件,通过对象存储AWS S3协议、大数据HDFS协议和文件CIFS协议均可读取;每个节点都可以启动文件NAS、大数据HDFS和对象存储S3服务。
最后,打造统一的管理系统。
管理软件负责集群的安装、部署、业务配置、设备管理、监控、告警等功能。浪潮分布式存储平台AS13000打造了融合互通的管理系统,可同时支持NFS/CIFS/HDFS/S3等多种服务协议,增值特性通过统一的配置入口对所有非结构化存储协议同时生效,减少了企业的管理成本。
浪潮分布式存储平台AS13000通过多年来的持续技术创新,以一份数据支持多种协议访问,实现了非结构化数据融合互通,在提升数据处理效率的同时降低了存储购置和运维成本,保障各协议的语义无损和性能无损,构筑了面向“云数智”应用的融合存储平台,助力企业数字化转型,加速释放数据价值。
标签: 数据格式转换 分布式存储 数据融合 ElasticSearch
为您推荐
精彩放送
热门文章
-
全球时讯:透过“2021年度险企经营评价”,俯瞰险企的“跃升”与“掉档”
-
“反腐、改革”,何时才能助元气森林突破成长困境?
-
热门:每财君|多家钛企业上调产品售价 江苏银行2022年净利润增长29.35%
-
全球观焦点:比亚迪将进军保险业
-
石头科技,依旧“身不由己”
-
焦点!每日财报|九安医疗200亿委托理财 拉卡拉2022年净利润下降超六成
-
天天看热讯:头部信托遭监管点名,重庆信托涉4项违规
-
动态:2022年的信托业,不容易
-
世界快看:每财网|牧原股份去年净利润逆势大增 北汽蓝谷预计净亏损52亿-58亿
-
【全球独家】邮储银行450亿定增获批,此次增资能带来什么?
-
酒鬼酒“奔”不动了?
-
天天即时看!监管48问下,“认养一头牛”何谈成长性
精彩图片
-
当前速讯:让数据融合互通,为“云数智”应用构筑新平台
-
全球播报:我国吸引外资有哪些有利因素?商务部解读
-
“阳康”后哪些人要体检?
-
世界热讯:绿色建筑在亚洲渐成主流 中国绿色建筑发展迅猛
-
世界微速讯:地方两会为何热议新能源汽车
-
中国首套固体氧化物燃料电池热电联供系统面世
-
高能同步辐射光源储存环隧道设备开始安装
-
环球讯息:AI新工具解决全新任务表现媲美人类
-
热点评!漫漫星空,探索未有穷期
-
每日热门:全国首个超大太空展览馆开馆
-
农村地区如何“保健康、防重症”?为何要搞好村内环境卫生?——从《农村居民新冠病毒感染防治健康教育手册》看当前疫情防控重点
-
天天新动态:长江江豚“保姆”:守护“水中大熊猫”健康成长
热文
-
环球关注:2023年秸秆发电行业数据统计:市场发展前景广阔
-
世界速读:2016年5月:全国各省市程控交换机产量排名,广东省当月产138.67万线登顶
-
02月02日猪价:市场博弈情绪激化,猪价上涨支撑不足?
-
国际奥委会发文庆祝北京冬奥会成功举办一周年
-
今日讯!乌安全局捣毁由移民部门官员牵头的卖淫团伙,泽连斯基表态
-
观天下·俄乌冲突|加码拱火 美国首次准备向乌克兰提供远程火箭弹
-
230.3亿元!2022年四川外商直接投资规模创历史新高
-
天天热文:澳央行:新版5澳元纸币不会采用英国君主形象
-
世界看点:突破50亿元!汽车成宁波自中东欧进口额增长“发动机”
-
2022年南通地区生产总值11379.6亿元
-
美国1月发生52起大规模枪击事件
-
乌兰察布市今年计划签约落地项目800个以上
-
山西:在煤炭产量13亿吨基础上 力争今年增产不低于5%
-
A股全面注册制改革正式启动 进一步改进主板交易制度
-
流感新冠咳嗽治疗选择连花清咳片
-
兔年首家券商股信达证券上市 网下投资者弃购14320股
-
兔年首家主动撤回IPO申请公司!深圳槟城电子终止IPO
-
湖南:产业链创新 打造先进制造业高地
-
激发社会投资活力、提高政府投资效益
-
成人出现咽痛发热肌肉酸痛,医生指导这样居家用药
-
世界微速讯:地方两会为何热议新能源汽车
-
中国首套固体氧化物燃料电池热电联供系统面世
-
全球时讯:透过“2021年度险企经营评价”,俯瞰险企的“跃升”与“掉档”
-
连花清瘟不仅能清瘟解毒,还可以治疗这5种病
-
【天天速看料】2023年02月01日全国干菜报价分析
-
2023年02月01日全国冲饮报价分析
-
天天观点:蔬菜产品报价预警:山东潍坊市寿光市毛芋头价格4周暴跌-75.96%(2023年02月01日)
-
世界焦点!播恩博士后在《微生物组》(Microbiome)杂志发重磅文章,影响因子16.874
-
【焦点热闻】俄企称摧毁或缴获西方坦克者奖励500万卢布 克宫支持
-
环球快讯:伊拉克古城拉格什发现5000年前酒馆:有长凳、烤箱和冰箱
-
全球最新:信用卡逾期国家出手了有什么政策?无力偿还怎么办?
-
天天新资讯:相城区积分入学申请地点+联系电话
-
世界热资讯!蔬菜产品报价预警:河南新乡市辉县市鲜平菇价格4周暴涨96.64%(2023年02月01日)
-
2023年02月01日全国复合肥报价分析
-
2016年5月:全国各省市房间空气调节器产量排名,广东省当月产635.27万台登顶
-
2023年透析器市场不断拓展 透析器国产替代趋势明显
-
每日热文:2023年电子出版物发展迅猛 传统出版受电子出版物冲击较大
-
焦点热议:外媒:白宫办公厅主任在交接仪式上多次抽泣,称赞拜登是“好父亲”
-
天天热头条丨俄罗斯去年液化天然气产量增加8%
-
世界看点:征兵报名进行中 甘肃出台政策激励大学生参军
-
逾期法务协商靠谱吗?协商还款技巧有哪些?
-
2016年5月:全国各省市民用钢质船舶产量排名,江苏省当月产102.46万载重吨登顶
-
2023年大型锅炉市场集中度提升 技术水平逐步提高
-
环球观速讯丨2023年有机肥料需求量保持增长态势 粪便肥产量占比最大
-
热点评!2023年it服务市场稳定增长 行业覆盖广泛
-
【天天时快讯】2023年火鸭备受消费者喜爱 市场需求日益扩大
-
世俱杯揭幕战开罗国民队晋级 中国裁判执法创历史
-
每日时讯!马克龙发表涉向乌提供战机言论,扎哈罗娃怒批:荒谬!
-
世界今亮点!扎哈罗娃嘲讽马克龙涉向乌提供战机言论:要从战机上发饼干和糖果?
-
全球信息:梅西五大联赛进球数超越C罗