对象存储在企业级存储领域的应用处于早期阶段,但增长的趋势十分明显。IDC预测在2017年到2021年期间,全球软件定义存储市场的复合年增长率将达到13.5%,到2021年收入接近162亿美元。
自从20世纪90年代中期首次提出概念,对象存储已经成为最大规模应用的数据存储方法之一。在软件定义存储市场中,下一代云数据中心的要求正在有力地推动对象存储的发展。
毋庸置疑,我们现在处于一个数据爆炸的年代,特别是非结构化数据(图片、视频、归档以及企业级备份等各种数据)成为企业数据的重要组成部分。这种海量数据就需要对应的存储来解决,而传统企业存储比如NAS或者SAN等无法应对这种海量的非结构化数据。
对象存储看过来
通常,传统的存储技术可分为直连存储(DAS:Direct Access Storage)、存储区域网络(SAN:Storage Area Network)和网络附加存储(NAS:Network Attached Storage)。
从存储形态来看,DAS和SAN属于块存储,也就是说存储系统对磁盘(块设备)进行操作,数据存取的接口是块设备驱动。NAS属于文件存储,主要是对文件及目录进行管理,数据存取的接口是文件协议,比如NFS。从抽象层次来说,文件存储要高于块存储。
目前,整个企业级存储市场正在从“垂直扩展”向“水平扩展”发展。业界关于新一代企业存储有很多名词,比如软件定义存储、分布式存储、水平扩展式存储等,它们所表达的意思是一样的,就是在相对比较廉价的X86服务器之上通过软件进行存储管理。
在这种水平扩展存储中,我们会面对块存储、文件存储和对象存储等类别,它们各自适用的场景不同。其中分布式块存储适用的场景相对来说比较特定,比如Oracle数据库,需要挂高性能硬盘做数据库的存储;此外,最适合存储非结构化数据,即图片、视频等类型数据的是分布式文件存储和对象存储。
而且对象存储与块存储不一样。对象存储没有逻辑单元(LUN)、卷及磁盘阵列(RAID)这些概念。对象存储与文件存储也不一样,对象存储不是通过目录来查询文件。对象数据不是存储在块或者LUN中,而是在大小可变的容器(Bucket)里。
对象存储的核心思想是将数据通路(数据读或写)和控制通路(元数据)分离,并且基于对象存储设备构建存储系统,每个对象存储设备具有一定的智能,能够自动管理其上的数据分布。
所以,对象存储结合了块存储和文件存储的优点,既有块存储的高性能,也有文件存储的共享便利,是目前最主要的云存储方式。
我们访问对象存储中的数据,可以直接通过REST API来访问对象存储,就像用URI访问一个网络资源文件一样的方便。
从对象存储的设计思想,我们可以看出其适应了目前新技术的发展趋势和企业的数据存储和业务应用的需求变化。
比如在应用场景上,对象存储可以广泛应用于Web和移动应用、企业网盘、静态网站托管、大数据分析、IaaS/PaaS服务、图片处理、视频云、备份归档、数据迁移等。
对象存储成云计算厂商标配
诚如上述,对象存储会是企业存储的蓝海市场。现阶段对于对象存储进入企业级市场是一个非常好的阶段,它处于被广泛采纳的早期阶段,各路玩家纷纷布局。
在对象存储市场,云计算厂商、存储厂商、IT厂商、软件厂商都有所布局。比如IBM、HDS、EMC、Nutanix、VMware都有自己的相应产品。但是公有云提供商是绝对的主力玩家。
对象存储的发展和商业化一直与云计算行业紧密相连。云计算市场经过这几年发展,已经趋向成熟,而应用比较广的对象存储服务,现成为云服务公司的一项基础业务,市面上能够提供这项服务的厂商数不胜数。
作为历史上最早期的云存储服务,简称S3的Simple Storage Service的目的和功用就是为AWS未来的云服务用户提供最基础、最简便的云存储服务,无论是图片、视频还是文本,S3都能够提供存储服务,简单、集中、性价比高。
微软Azure推出了高度可缩放的非结构化数据对象存储——Blob存储,凭借百亿亿字节容量和巨大的伸缩性,Blob存储可根据数据访问频率,将数百至数十亿的对象存储在“热”、“冷”或“存档”层中,企业可以轻松并经济高效地存储任何类型的非结构化数据(图像、视频、音频、文档等)。
国内云厂商也积极布局对象存储,比如阿里云对象存储(Object Storage Service,简称OSS)已实现商业化服务5年以上,其是基于阿里云飞天分布式系统的海量、安全和高可靠的云存储服务。
UCloud则提供了对象存储UFile服务,UFile具有存储无上限、支持高并发访问、成本更低等优势;解决业务架构的文件存储问题,有效降低海量文件的存储成本,支持热点数据的高并发访问,提升终端用户访问体验。
企业级云服务商青云QingCloud也提供了基于公有云的QingStor对象存储服务,还有QingStor对象存储私有云一体化解决方案。
对象存储在公有云的成功,已经对企业存储生态和部署模式产生了影响。比如现在OpenStack Swift和Ceph这些开源对象存储的流行,Amazon S3成为事实上的对象存储访问标准,都是公有云对象存储普遍部署的影响。
所以,对象存储与云计算市场特别是公有云的快速发展息息相关。在公有云快速发展的今天,对象存储也迎来了自己的“春天”。
在企业级市场里,对象存储已经过了教育阶段,正处于一个比较好的时期,对象存储将占据企业级存储容量里75%左右的份额,它处于被广泛采纳的早期阶段。
不过,虽说对象存储迎来了快速发展的“东风”,但是如何顺应发展大势和满足客户需求是对象存储提供商赢得市场的关键。
云计算厂商如何玩转对象存储?
虽说对象存储将会是企业存储的蓝海市场,现在云计算厂商也纷纷布局对象存储,但是决定市场竞争的关键是产品和技术,对象存储如何才能帮助云计算厂商“攻城略地”,或许以下几点可以作为参考。
从接口层(协议层),对象存储需要兼容AWS S3 API,支持多种协议,包括NFS、FTP、HDFS等。只有这样才能满足客户的应用需求,毕竟对于企业级应用来说,接口和协议的丰富度是必不可少的。
在交付模式上,对象存储可以通过公有云、私有云、混合云等模式进行交付,并实现统一管理。虽然最初对象存储是公有云厂商推出的,但是对于某些行业而言,他们更倾向于在自己的数据中心里构建一个数据池,进行统一的管理,以及后续的分析和利用。所以,交付方式的多样化是必不可少的,而且对于对象存储厂商来讲,需要具备多种交付模式上的统一管理能力。
现在企业级存储市场呈现融合趋势,比如开源存储软件Ceph,将块存储、文件存储以及对象存储以同一套架构输出。
但是有的云计算厂商认为,不管是块存储、文件存储还是对象存储,它们所要解决的问题很不一样。因此如果想从上到下都是同一套架构去解决几种存储形态的话会顾此失彼。
产品体系化,对象存储API的使用方式非常简单,通常对象存储厂商也提供了各样语言的SDK。但是这样还不够,对于存储厂商来说,产品体系化非常重要,因为你的产品需要和用户的各种应用场景相结合,提供各种各样的解决方案。
在架构层面,对象存储有两个比较重要的趋势:一是事件驱动的框架,因为用户的数据并不是简单的存储,而是需要进一步处理,这就需要事件驱动的框架,它可以接驳各种各样的数据处理服务,甚至用户自己开发的处理应用,也可以接入进来。
此外,对象存储和大数据平台的集成或者接驳非常重要。在公有云形态上,大数据和对象存储的关系非常紧密,大数据是对象存储所存储数据的主要来源。但在私有云上还是缺失的状态,对象存储应该在私有云上加深与大数据的集成关系。
再次,对象存储与数据相关的SaaS服务。比如用户希望分析对象存储本身的使用情况,指导整个IT设施的规划和构建,这就属于与数据相关的SaaS服务。
最后,企业级存储软件生态与合作,企业级存储生态里不只是块存储、文件存储、对象存储,还有很多其它的,比如DR、灾备、传统的备份软件等。
综上所述,可以预见的是对象存储技术将成为未来存储技术的重要组成部分,随着整个云计算市场的快速发展,对象存储市场的发展也将被提速,从而加速企业存储的转型。