大数据在信息社会中正在扮演着越来越重要的角色,推动了商业社会转型,催生了新型消费业态;但是,海量、非结构化以及需要实时快速处理的大数据也给传统数据中心带来了巨大的挑战。在日前由人民邮电报社、中国信息产业网主办,埃普威承办的“2013信息通信行业数据中心与大数据峰会(第三届)”上,众多专家呼吁在大数据时代“重构数据中心、重塑商业生态”。
大数据大价值:扩大信息消费新引擎
数据已经成为现代企业的核心资产,成为信息社会的矿产和“石油”,一个大规模生产、分享和应用数据的大数据时代正在来临。耐德电气IT事业部中国区副总裁曲颖介绍,“数量单位Z代表10的21次方,而全地球上水的总量是1.4Zg,全地球上所有的空气总量大概是0.6ZL,2012年,全球所有的数据达到了2.7ZB。到2020年,全球的数据量将超过40ZB,这个数字将会是到去年年底的14倍。2020年中国数据量将突破8ZB,它的增长速度超过全球的增长速度,是2012年的23倍。”
DCCI互联网数据中心给出的数据表明:每1秒有60张Instragram照片被上传;每1分钟,有60小时视频被传到Youtube;每1天,搜索引擎产生的日志数量是35T。自人类有史以来至今产生的信息量为5艾字节(50亿GB),过去3年产生数据量比以往4万年的数据量还要多。北京宽广电信高技术发展有限公司技术总监陈陆颖认为,“数据已经成为企业核心资产,对数据的掌控决定对市场的支配权,越靠近最终用户的企业,将在产业链中拥有越大的发言权。掌握海量有效数据的企业和有强大数据分析能力的企业这两种企业将在大数据产业链处于重要地位,关键还是谁拥有更多、更准、更有价值的数据。”
人民邮电报社总编辑武锁宁指出,大数据带来大价值,在互联网与大数据时代,商业生态已经发生了翻天覆地的变化,凡是人们能够想象到的与人类活动相关的一切几乎都在被重新定义,为了应对市场竞争与满足用户需求,运营商要像重视网络资源、用户资源一样重视数据资源,充分挖掘大数据的商业价值,成为大数据的运营商。
工信部通信发展司政策标准处谢雨琦处长表示,在当前我国促进信息消费,拉动国内需求的大环境下,大数据将成为扩大信息消费的新引擎,通过对大数据的采集、分析获得更加精确的洞察,作出更加科学的预测和决策,从而可以提供新的信息通信的服务业务。比如说借助大数据的分析合理地规划交通,进行流行病的监测,帮助政府创新社会管理,将实时的数据处理与分析和实时广告业务联系起来,还可以通过对用户行为数据的挖掘,帮助客户进行个性化推荐和精准营销。这些手段创新了信息消费业务和商业模式,大大提高了信息消费的吸引力。
大数据大挑战,构建绿色智慧安全的数据中心
大数据是信息通信领域演进发展中最亮眼的新业务,未来可能会有更多的新技术、新业务出现,但是任何新技术、新业务的发展,都离不开高水平的信息通信基础设施,特别是数据中心。数据中心的能耗现在已经是全球性的问题了,有关调查显示在过去5年全球数据中心的能耗增长率是56%,我国对数据中心流量处理能力的需求增长更快,数据中心能耗的问题就更加突出。
华为数据中心基础设施产品线总经理迟久虹表示,过去因为数据中心规模不够大,缺乏节能的意识,实际上数据中心机房里面的环境温度一直是18到25度。一直到2008年、2009年大家才达成共识,将这个温度提升到27度,这就给利用自然冷却带来了巨大的空间。例如北京全年的平均温度是12度,如果从25度提升到27度,可利用自然冷却的时间将提升17%,全年的制冷效率可以提高30%。如果利用风冷的数据中心从25度提升到27度,每一度可以节约能量2%。如果是用水冷的数据中心,每一度可以提升3%,这是一个巨大的节能。谷歌的数据中心一年的耗能达到22.6亿度,目前其全球的数据中心50%是完全用自然冷却的,前十大数据中心的PUE都在1.2以下。
工信部电信研究院互联网中心主任,云计算发展与政策论坛秘书长何宝宏表示, IDC的能耗在整个ICT行业占的比例是相当高的,占全球的供电能耗大概是1到1.5%之间,在美国数据中心能耗占整个美国能耗的1.7%到2.2%,中国数据中心能耗基本上是占2.5%到3%之间,而未来5年我国数据中心流量又会有大概7到10倍的增长,数据中心的容量至少要扩展一倍,数据中心的节能问题非常地重要。为此,国家出台了绿色数据中心分级标准,提出了绿色管理、设备和建筑布局方面的具体要求指标。目前国内数据中心绿色评级获得的最高级别只有4A级,还没有5A级绿色数据中心。
谢雨琦指出,近几年在各地数据中心发展的过程中,也出现了一些盲目和过热的问题。为此工信部综合考虑能源供给、自然环境、市场需求、土地供应、产业环境、人才支撑、交通等多方要素的条件下,结合基础网络布局和信息安全的要求,在今年年初和发改委、能源局、国土部、电监会四个部委共同发布了《关于数据中心建设布局的指导意见》,提出市场需求导向原则,资源环境优先原则,区域统筹协调原则,多方要素统筹原则以及发展与安全并重的原则等,通过半年的实施,已经在行业企业中逐步形成了共识,对合理规划数据中心建设,实现资源节约的作用越来越明显。以超大型数据中心为例,从2011年到现在,全国规划建设设计超过1万个标准机架(10万台服务器)以上的超大型的数据中心大概20来个。PUE基本上都在1.5以下。
专家们在会上还表示,大数据爆炸式的增长使得数据中心存储系统的容量、扩展能力、传输瓶颈等方面也都面临着巨大挑战。与之相连的还有服务器的计算能力,内存的存储能力、数据中心交换机传输能力等等都面临着新的技术攻关。从数据中心自身来看,随着用户对大数据存储、挖掘、传输以及按需动态分配资源的需求的不断增长,传统的数据中心网络架构正面临着重大的变革,新一代云计算数据中心将是升级演进的方向。思科中国数据中心首席架构师谢军表示,现在有150亿的终端设备挂在互联网上,平均每个人会有2.2台终端设备连接在互联网上,而这个数据在2025年会翻到250亿;社交网络大量的活跃带动了我们在互联网上传递更多的信息,非结构化数据会成为主流。虚拟化的应用会得到广泛地使用,虚拟化的节点已经超过了实体机的节点。因此,思科将大力推动无边界网络,支持SDN的网络运作,并在数据中心内部建立大数据通用的支撑平台。
此外,数据中心安全也在会上得到了高度关注。近期发生的信息安全事件再次给我们敲响了警钟,当前我国公共基础设施自身安全防护能力仍存在不足,大数据、云计算等新技术的特点和服务模式又使我们面临各种新的安全风险。IT基础架构开放共享加大了安全防护隐患,海量数据清洗过滤和身份认证接入等带来了数据安全隐患,不良信息处理和个人隐私保护等方面也存在很大挑战。Check Point的中国区技术经理程文杰表示,现在63%的数据中心正在做整合,引入虚拟化技术、向云计算转换,这对整个安全的形势造成了很大的挑战。因为云计算平台引入之后网络的边界会变得非常地模糊,很难再通过VLan的方式划分安全域,怎么样让这些平台在被使用和动态迁移的同时确保它的安全性,是非常头疼的问题。
大数据大生态:运营商发力大数据应用
大数据技术的推广应用在仍存在一些困难与挑战,武锁宁表示,我们需要加强规划设计,多管齐下构建良好的商业生态。一方面抓好基础数据规范,这是大数据发展的基石。另一方面要抓好现有数据利用,这是大数据发展的动力。中国人口居世界首位,将会成为产生数据量最多的国家,但我们对数据保存不够重视,对存储数据的利用率也不高。此外,我国一些部门和机构拥有大量数据却不愿与其他部门共享,导致信息不完整或重复投资。我们应积极呼吁,通过体制机制改革打破数据割据与封锁,注重公开信息,重视数据挖掘。同时,加强对大数据的技术与产品研发的支持,探索大数据服务的良好商业模式。
运营商通信网络以及运营支撑系统中每天都会产生大量的用户行为信息和接触信息,包括客户的交往圈、位置轨迹、消费习惯、内容偏好等数据,这些都是运营商开展大数据应用的先天优势和核心财富,运营商近年来也在积极推动大数据应用。中国电信政企客户事业部总工程师万军表示,运营商对大数据的应用探索分为四个方面:第一是基于语音识别技术的数据分析,在国内将近16万的呼叫中心坐席外包市场里中国电信占有6万的市场份额,可以分析呼叫中心海量语音数据,建立呼叫中心测评体系和进行产品关联分析;第二是基于视频数据的智能分析,中国电信在全国有百万级的摄像头部署在各个角落,可以从海量视频挖掘信息,提供公用视频图像分析服务;第三是进行网络流量分析,通过DPI深度包检测技术等,可以对一般性网络使用者的行为习惯分群组提供有针对性的网络便利性服务;第四是进行位置数据分析,对移动通信使用者的位置和运动轨迹进行分析,实现热点地区人群频率的概率性有效统计。此外,云时代中国电信在数据中心上会布局4+2的结构,除在北京、上海、广州、成都四个原有的核心地区建设云计算中心,还将在内蒙和贵州建设大规模的云计算中心。
中国移动互联网基地副总经理白琳表示,大数据应解决好两个问题,第一个是储备的问题,如何把数据储备加工好,第二是解决好如何输出出去,把数据有效地推送到真正的生产服务当中去,并且定义好规则和模板,这是未来大数据真正能够产生商务模式的非常重要的前提。正在筹建中的中国移动互联网公司管理运作着中国移动飞信、彩云、无线城市、灵犀、号簿管家、139邮箱等相关的全网20多项业务,MM每个月的活跃用户接近2700万次,飞信和邮箱差不多6000万次,飞信是8000万次,将重点从用户导入、运营支撑、产品盈利以及产品功能等方面构建开放平台提供能力共享,并于今年6月份在内部解决了互联网通行证的问题。中国移动核心网络和互联网业务中每天产生超过10T的话单、30T的上网日志、100T的信令数据以及100T的音视频和非结构化数据。针对海量的用户网络通信行为数据中国移动为为开发者提供“有数”、“有推”等产品,集成现在的互联网平台、计费平台、大网数据的内容进行整合分析,变成最终的分析报告提供给开发者。
中国联通云数据公司运维与服务部经理康楠表示,中国联通在全国范围内,已规划廊坊、呼和浩特、郑州、东莞、南宁、无锡、重庆、西安、哈尔滨等城市布局,开工建设9大数据中心生产基地。以面向云能力提供为核心,要形成辐射全国、规模分布、虚拟存储、弹性调度、安全防护、绿色节能等功能特点。九大数据中心之间通过高速、大容量、性能优的新一代网络实现互联,为城市数据信息存储提供安全可靠的保障。