基于应用场景的存储形态演进,青云存储U10000升级发布

2022-05-30 18:18:21

无论是从国家政策层面,还是市场层面来看,迎接数字中国的到来已是大势所趋,这也是存储发展的大背景。从云而来,向云而去,这也决定了青云科技(qingcloud.com,股票代码:688316)对存储的思考不是孤立的。所以用青云科技存储产品总监冯相东的话来说,除了硬件技术本身的演变之外,青云已将场景、算力和数据,作为了其存储形态发展最重要的趋动因素。

用专业的存储服务专业的场景

目前青云存储产品线由两款核心产品构成:一是 QingStor NeonSAN,二是 QingStor U10000。

QingStor NeonSAN,主要面向的场景是云盘、数据库以及虚拟化存储资源池场景的应用。作为一款分布式块存储,NeonSAN是为 I/O 极致性能而设计。

如果说NeonSAN主要面向数据库、虚拟化等结构化数据,那么U10000 则主要面向非结构化数据的场景。主要包括各种影像数据、音视频数据、数据湖、大数据、物联网、人工智能等场景。产品设计初衷就是帮助客户更好地实现海量数据的价值挖掘,该产品的核心特点包括:同时提供对象、文件、大数据接口,不同协议之间实现数据无损访问互通;单存储桶支持100 多亿个对象,并且性能不会随之下降。

与大多数存储厂商不同的是,青云存储以这两款独立的产品或者两种独立的软件架构分别支撑两大类场景:QingStor NeonSAN面向的是结构化数据的高性能业务场景的需求,QingStor U10000是面向非结构化海量数据存取和利用的业务场景的需求。两款产品有各自面向的专业场景,有各自专业的分工。

“我们没有用一种架构同时满足结构化和非结构化的数据场景,主是因为从专业视角来看,没有哪一种存储架构能同时做到既能满足极致的性能设计要求,又能满足海量数据吞吐、计算、并发利用的需求。青云希望通过专业的存储分工能更好地服务专业的场景。”冯相东如此解释说。

值得一提的是,U10000是青云在多年存储技术积累基础上的一次产品全面升级。U10000 继承了原来青云对象存储、文件存储的所有能力,并且在多个维度上实现了产品力的增强和迭代(青云存储之前主要包括QingStor NeonSAN块存储、QingStor对象存储、QingStor文件存储)。

因此,QingStor U10000不能算是一款全新的产品,而是针对非结构化数据,融合对象存储与文件存储的全面升级。

QingStor U10000的定位是面向海量非结构化数据的统一存储平台,帮助客户把数据存得稳、算得快、管得好。

QingStor U10000相比于之前的QingStor对象存储和文件存储,除了产品力的全面继承之外,在以下几个方面都有明显提升:实现数据协议的互通,功能和性能的增强,整个算力平台对接的强化。

接口层、存储服务层和运维平台构成了U10000的核心架构。

让数据更好地流动起来

“新应用层出不穷,随之而来就是不断产生新的数据形态,数据分析的需求也在不断变化。存储作为数据管理的核心,其重要性也越来越明显。另外,计算单位的密度越来越高,计算的敏捷性越来越强,所以算力的演变对存储的变革也起到一个非常明显的推动作用。”冯相东如此分享存储形态变化的重要因素。

在场景和算力推动整个存储形态向前变革的基础上,如何让数据更好地流动起来,这与存储技术能力紧密相关。

在数据流动的完整链条里,从最初的采集、处理到归档、再利用、销毁,都会涉及到存储与大数据技术、存储与 AI 计算技术的结合,这能让数据更高效地被捕获、被索引、被分析和被加工,从而实现数据层面的点石成金,这也是青云存储这些年一直在努力研究的方向。

比如,QingStor U10000的一个重要特点就是多协议无损互通,从而实现数据的访问和流通的高效。

U10000在技术层面提供了统一的索引架构,并且基于此提供多种层次的能力。它为应用带来的好处很明显,即:存储和读取数据中间不需要经过格式转化,从而避免了性能和语义的损失。

其次,U10000提供多协议存储接口供企业选择。U10000在文件、对象、HDFS等语义里,每种存储形态里都提供了多种存储接口,比如POSIX、SMB、NFS、FTP、HDFS、S3、SDK等多种接口的支持,满足常见应用。另外,协议互通让数据分析更高效。这在自动驾驶、基因测序等场景下比较常见。

U10000的另一大特点就是算力的无缝对接,它能让数据“点石成金”。得益于多年的积累,U10000 具备丰富的数据处理的功能特性,能够提供一系列完善的API、SDK,可以轻松地对接大数据平台、数据处理的框架和服务,实现数据和算力的高效结合,最终让数据实现点石成金。

以我们常见的图片处理、音视频转码、AI大数据分析、HPC超算平台为例,在数据生命周期流转中,经常会用到的数据备份归档的技术,QingStor U10000都有一整套完善的对接机制,能对接算力和计算生态。

青云科技产品技术解决方案总监张忠华也谈到:“U10000 是以业务场景为驱动,我们将文件、对象整合统一起来,其价值是比较明显的,这大大提升了客户体验。”

抛开文件在基因测序这类对性能极致追求的场景,大多数文件还是应用在非结构化场景中,这一点也得到了青云科技大部分客户肯定性的反馈。

张忠华认为,对象和文件存储各有特点,产品优化即使很好,也会存在一些技术瓶颈。以文件存储为例,目录深度、小文件的性能,这是文件系统绕不开的话题,同样对象存储的接口适配也是绕不过去的问题。所以U10000的产品架构可以很好地取两者之间的优势,结合协议互通,用户就可以很好地把数据做接驳,然后在文件和对象之间流转。

目前U10000在很多领域得到了广泛应用,比如,在医疗体检、智能驾驶、智慧工厂的IoT场景和多元化的超算场景等等。

如张忠华所说,这些场景很多时候都不是孤立的存储场景,同时还需要多元化的算力。从应用场景的角度来看,客户更关注的是整体算力平台能带来什么价值,而存储又是构成算力的非常重要的一部分,甚至可以说算力的一半要靠存储,尤其是在HPC场景下。青云的基因是算力,从云而来,向云而去,所以青云对软件定义存储的思考不是孤立的,而是把核心聚焦在如何满足算力对存储的需求这个维度上,让存储更好为算力和数据赋能。

关闭