数据中心经过多年的发展,正在由数据的保管者和服务者转变为数据的管理者和决策者,从被动的响应领导的要求转变为主动向领导及各业务部门提供数据服务。大数据时代的到来,赋予了数据中心更多新的使命。这种背景下,打造有灵魂的数据中心成为同方的发展方向,延伸到智慧城市的市场理念,“用数据管理城市运行体征,用数据驱动智慧城市发展”也就成为了同方的重要发展目标。
同方物联网应用产业本部软件开发部总监 王丰锦
城市运行体征大数据中心形成过程
城市运行体征这个概念由同方在2010年首次提出。形象的解读“城市运行体征”,就是把城市看成一个人,“城市”是一个生命体,同样需要依靠各种神经去感知各项身体状况。依照人的身体健康体征如身高体重等,同方从五个方面去描述城市运行状态即基础设施、公共安全、监测评价、综合服务和绩效考核。继续对以上五个方面进行细分,比如在公共安全方面,分为应急资源的分布情况以及对于整个应急预案的情况,还有应急考核指标情况,把这些数据从顶往下分就形成一个能够完整描述城市运行体征的指标体系树,以这个指标体系树为依据,再去梳理现有的众多基础数据和业务数据进入这个系统里面,这些数据从物理上是集中的,从逻辑上是按照智慧城市指标体系进行逻辑化,这样就形成了智慧城市的城市运行体征大数据中心。
同方提出“城市运行体征”理念,是运用物联网、云计算等科技手段进行基于“城市运行体征”管理的“智慧城市”建设,对城市体征进行监测分析、数据处理,对事件和事故进行应急处理,有效保障城市高速、健康运行,让城市更具智慧的感知能力。
城市运行体征大数据中心落地应用
用数据管理城市运行体征,就是采用大数据相关技术及应用,对城市运行体征进行管理。关于城市运行体征的大数据中心如何驱动智慧城市的发展,同方物联网应用产业本部软件开发部总监王丰锦日前在接受采访时通过南水北调东线工程项目介绍了城市运行体征大数据中心的应用状况。王丰锦介绍说,南水北调东线山东段调度运行管理系统项目从今年5月25号到6月25号是试通水阶段,从10月22日开始为通水试运行,目前都已经获得了成功,每秒大概以500立方的抽水速度北上,送至鲁北、胶东地区。在这个运行过程中,基本实现了预期的信息监测与管理,自动化数据采集和闸泵站自动监控等等。
在技术上,南水北调东线山东段调度运行管理系统利用城市运行体征的大数据中心所涵盖的公共基础服务平台、GIS公共服务平台、数据分析平台等系统,实现了信息自动采集、数据存储、数据转发、数据分析服务以及可视化大数据展示等功能。
王丰锦继续介绍说,这个项目目前的主要监测对象为94个闸站,每5分钟采集一下水位、流量、闸门开度和基础运行状态这些信息,每天的数据量大概在50万条左右,每一年将近是1.5亿条,每天就将近有一个G的数据量会产生。在这个系统里面,可以分别实现对大数据的实时采集、数据存储、数据分析和综合查询等。首先基于同方原有的ezM2M平台进行升级,改造成信息采集平台。通过这个信息采集平台去实现对94个闸泵站的水位、水情、水质和闸门开度等基础信息的采集。南水北调东线山东段调度项目是通过传感器和PLC自动化控制设备利用信息采集平台实现了实时的传感信息和设备运行信息的自动采集,这使得同方的大数据具备物联网的特色。考虑到南水北调调度系统目前还是以业务系统为主,分析辅助决策为辅,所以同方在数据库设计上还是以关系型数据为主,但为了适应大规模数据量日志分析,也会采用混合数据结构的方式来进行技术支持。
落地应用过程中需注意的问题
数据转移存储难度大
“通过具体的项目,我们发现数据整合是很耗时耗人的过程,一方面你要对业务数据进行理解,需要了解原有数据,第二要进行转换,要把原有的结构形式甚至非结构化的形式转化成符合现有系统的要求。第三,原有数据有可能出现数据口径、数据含义、数据含义不一致的情况,这就需要数据质量校核,把数据质量不一致的情况筛选出来,用来判断哪个是最终数据。所以这方面的工作量是很大的。”王丰锦这样向记者表示到。为此,同方制定了非常独特的元数据指标体系,比如智慧城市指标体系和具体行业的指标体系,以这个指标体系为依据去梳理现有的基础数据和业务数据,然后再对它们进行标准化、体系化和关联化。这样就能保证不同的业务数据有统一的业务体系规范标准,按照这个标准进行数据查询、综合分析和挖掘应用。
数据安全是重中之重
有人说,大数据时代无隐私,尤其是“棱镜门”事件后,关于数据安全的问题持续发酵。同方一直重视数据安全问题,从技术上加强数据安全管理。第一,业务上进行权限的控制,细粒度的基础数据是单独存在一个数据库的,在基础数据基础之上生成的分析数据和综合数据就相当于是比较中观和宏观的,这个库根据系统设置的权限访问规则可让相应的用户能够访问。第二,技术上也有严格的权限管理,从这两方面进行考虑,既支持业务功能访问权限的设置,又支持数据访问权限的设置,以此来保证数据的安全。一方面是功能访问权限,不同的功能模块是控制不同的人能够访问的,比如说像基础数据查询,只有具体的操作业务人员授权,非授权的人员是无法使用基础数据查询功能的,而只能查到综合数据,就相当于把隐私的基础数据抹掉了,另一方面是数据访问权限,不同部门、不同地区、不同层级的数据是可以设置不同的人可访问的。关于数据安全这块,王丰锦表示,“技术上的保障并不足够,还需要相应的管理措施、条例及数据的保护法等方面的加强。”