详情
深圳检验检疫局积极开发应用质检大数据取得初步成效
作者:包先雨 程天任 刘春晓
时间:2014-06-13 14:39:12
据统计,深圳检验检疫局每年所产生的实验室检测、视频监控、报检通关及电子文档等相关电子材料的数据量超过10PB(1PB=210TB),近10多年累积数据已接近EB量级(1EB=210PB),而历史上全人类说过的所有的话的数据量也仅是5EB左右。由此可见,在这片质检数据的“海洋”中有效撷取大数据既有难度,又至关重要。

  对许多人来说,大数据是一个既熟悉又陌生的词汇。熟悉在于大数据已成为科技界和企业界关注的焦点,继云计算、物联网之后IT产业又一场技术革命,并在各个领域被广泛提及;陌生在于,这一具备Volume(海量)、Velocity(快速)、Variety(多样)、Value(价值)——4V特点的概念,究竟如何开发应用仍显困难。

  潜心调研寻矿

  据统计,深圳检验检疫局每年所产生的实验室检测、视频监控、报检通关及电子文档等相关电子材料的数据量超过10PB(1PB=210TB),近10多年累积数据已接近EB量级(1EB=210PB),而历史上全人类说过的所有的话的数据量也仅是5EB左右。由此可见,在这片质检数据的“海洋”中有效撷取大数据既有难度,又至关重要。

  该局以科研应用为导向,对全局业务进行了走访调研、技术研讨,找到了质检大数据的源头——出入境检验检疫综合业务计算机管理系统(CIQ2000)和实验室信息管理系统(LIMS)。CIQ2000在全国范围内实现了电子报检、签证、转单、审单、收费,并配套有进境许可证、电子身份认证等其他系统,拥有国内最完善的出入境检验检疫监管电子数据;LIMS系统覆盖了动植、食品、工业品、玩具以及卫生检疫业务,拥有最真实、最详细的实验室检测信息。二者有机融合,就代表了出入境检验检疫的“数据矿藏”。

  巧寻工具开矿

  要当一名优秀的矿工,不仅要有找矿的本事,更要有挖矿的“好榔头”。

  为确保“开采”工作有序进行,该局成立了专门的软件开发团队,并将目光锁定在了目前大数据中应用最广泛的开源分析工具Hadoop上。该工具可与现有的CIQ2000和LIMS业务系统进行交互,将相关出入境监管、实验室检测等数据汇聚至“中间库”,随后对大量、多维度的数据进行深度精炼、关联对比。

  如针对老百姓关心的进口奶粉问题,可预先依据奶粉有关标准设置质量信息监测条件和阀值,从CIQ2000和LIMS业务系统中分别获取奶粉的实验室检测数据、生产/加工、代理报检、运输等信息,运用Hadoop分析工具进行动态监测、数据分析。“近日,工作人员自某贸易有限公司向盐田口岸进口一批新西兰奶粉中检出标签不合格”——这样一条孤立的数据,经过处理后,与其关联数据进行对比分析,最终汇总反映趋势,可以用于指导进口企业进行国际贸易。

  千方百计用矿

  2013年10月,深圳局开发的“国境口岸卫生检疫决策支援系统”发现,深圳口岸鼠类密度超出控制标准,鼠类总群构成发生变化,并就此发布了深圳口岸鼠传疾病风险预警。于2013年11月、2014年初,先后三次从鼠体内检出汉坦病毒,同时向深圳市卫生部门进行了通报,为深圳市应对出现的地方出血热疫情发挥了重要参考作用。

  “国境口岸卫生检疫决策支援系统”正是该局应用大数据分析搭建的业务系统之一,该系统引入云计算技术,对口岸现有的医学巡查、体温监测和旅客自主申报等疫情采集方式进行整合,借助大数据分析手段收集国内外传染病发展动态并进行趋势分析,可有效为口岸疫情防控提供指导。

  深圳局以大数据技术发展为契机,将进一步专注聚焦质检行业资讯,精准剖析业务数据特性,助推科技质检在“大数据时代”熠熠闪光。

上一篇:中国云计算专有云市场不断增加 下一篇:全国政协热议利用大数据提升政府治理能力