大数据分析和云计算是欧盟钢铁行业数字化转型的12个重点科研基金项目之一。大数据分析关注基于历史数据的算法，以识别产品质量问题从而减少产品故障。钢铁行业中的传统数据库技术在完成对大量结构化和非结构化数据的捕获、存储、管理和分析方面，尚存在一定的困难。大数据分析技术采用新的处理模式，从各种数据类型中获取有价值的信息，进而深入了解、获取信息并洞察和识别其中的内涵，以便做出准确的决策。

大数据分析和云计算领域有以下6个主要项目：

一是“钢包全过程跟踪”项目。

该项目根据多目标优化(MOO)框架和数据分析，采用了包括声学在内的各类传感器，以提高工厂产量、提高钢厂的安全性。项目目标是实现钢厂作业环境中的钢包的自动跟踪，涵盖从炼钢、连铸到板坯交付的全过程。准确跟踪钢包位置是炼钢工艺数字化转型的基础之一。钢包跟踪系统即要在保证平稳生产的条件下，也要确保在生产计划突然受到干扰的异常情况下优化钢包物流，以确保安全并提高产量。

二是“质量4.0”项目。

该项目基于高级人工智能(AI)、机器自学习分析方法和大数据处理，开发自适应平台，允许在线分析大数据流，从而实现产品质量决策并提供量身定制、高可靠性的质量信息。对于欧洲钢铁行业来说，产能过剩导致廉价钢铁充斥着整个钢铁市场，欧洲钢铁生产商迫切需要差异化，积极推广一个通用平台具有战略意义。但是，共享错误的质量信息可能会导致客户的严重不确定性并且损害客户的信心。自适应的“质量4.0”项目平台可以实现整个供应链上质量信息的横向整合，在线分析大数据流，采用机器学习算法的创新方法，建模客户关系并自动交换数据自动匹配可用的客户和订单信息，通过与客户双向交换量身定制的高可靠性信息，以实现差异化的产品质量水准决策并降低成本。

“质量4.0”平台作为面向服务的体系结构(SOA)，可以灵活地组合单个模块并集成到现有的IT基础架构中，不需要依赖单个产品或技术。“质量4.0”平台由3个服务模块组成：一是质量数据生成服务模块(QGS)，生成质量数据及其合理性值;二是质量分配服务模块(QAS)，将客户订单与产品合理分配，并选择相关的质量数据; 三是质量交换服务模块(QXS)，交换为每个客户订单编译的选定质量数据。

其中，“质量4.0-QGS”的主要功能是估计所有可用数据源的质量数据，并通过可能值(PV)量化该估计的置信度，以最终保证所提供质量信息的可靠性。可能值的确定可以用一个函数表达。

有效可靠地检测异常质量指标对“质量4.0”项目起着基础性的作用。在整个生产过程中收集的与质量有关的数据可能因检测等各种原因出现异常值。由于离群值的类型和多样性，目前还没有一种公认的方法可以在任何情况下有效可靠地检测异常值。离群值概念的非正式定义涉及其偏离正态性，可分为5类：基于分布、基于深度、基于距离、基于聚类和基于密度。该项目使用了FUCOD算法来检测异常值，该方法结合了现有的4种离群点检测方法，利用模糊推理系统(FIS)对每种方法的贡献进行动态管理，根据处理后的数据挖掘其优点，避免其缺点。FUCOD是为处理多维数据而设计的，这意味着离群值水平的计算不仅要考虑构成质量数据的单个变量的特性，还要考虑它们之间的相互作用。这些特点使得FUCOD方法特别适用于处理大量任务的工业数据集。该方法已成功应用于欧洲钢铁行业。

“质量4.0-QAS”结合质量数据和客户相关知识，实现对产品质量的自适应性监督，可提供估计的质量数据及反映质量数据置信度的专用合理性值，将收到的信息与目标客户的知识相结合，自主分配和交换相关订单的质量数据、编制质量缺陷以创造有价值的信息，并向供应商反馈这些信息。然而，在供应商和客户之间交换相关质量信息的系统必须能理解“相关性”的含义。因此，确定质量信息相关性所需的所有信息都是基于可用的客户信息和订单数据进行语义建模的。这种模型中包含了客户亲密程度，反映了供应商和用户之间的相互信任关系，从而能够合理定义质量信息的类型和数量。

“质量4.0-QXS”根据“质量4.0-QAS”提供的结果，为每个订单分别编译所选的质量数据，并使用标准通信协议交换数据。QXS是唯一可在工厂边界之间访问的服务，并管理“质量4.0”平台之间的质量数据交换，可实现以客户为导向的双向质量数据交换，并通过横向集成建立对产品质量的同步关注。为了确定合适的IT标准并在客户和供应商之间进行质量数据交换，目前已形成的解决方案有：QDX系统、 STEP系统和质量跟踪系统。由于没有适用于质量数据交换的免费标准，因此将在“质量4.0”框架中定义和实施特定的IT标准。

FADI是一个可定制的端到端大数据平台，是一个能够以可移植和可扩展的方式部署和集成的开源工具，也是一个多用户和多参与者(即专业分析师，数据科学家/工程师，IT管理员等)的平台。FADI有5个主要特征：一是收集来自各种数据源的批处理和流数据，二是将数据存储在不同类型的数据存储区中，三是使用ML和 人工智能技术，四是在用户Web界面中可视化和分析数据，五是生成和发布报告。

三是“传感器数据挖掘以提高产品质量”项目。

该项目提出了一个基于大数据、特征提取、机器学习、分析服务器和知识管理的解决方案，以自动分析感测时间序列数据。项目通过开发新的方法和工具，以帮助工厂提高产品质量并降低生产成本，其方法主要是关注3个方面的质量标准：外观、内在质量和机械性能。项目的开发内容一方面包括通过识别质量不良的主要原因，以优化制造过程;另一方面包括快速预报产品质量，以更好地表征产品特性并降低成本。

这些新方法在从大量复杂数据中提取知识，例如，基于相当长一段时间(2年～3年)的和高频(1Hz～10Hz)的、大量参数(数百个)的传感器时间序列，摘出特定信息(例如，平均浇铸速度)用于统计分析。为了自动大量分析这些传感器时间序列数据，该项目提出了围绕5个主轴构建的综合解决方案：

1.大数据：设计和管理适合于对大量数据进行数据分析的新数据库类型。

2.从时间序列中提取特征：开发用于构建更合适指标的算法，以更好地表征可能影响质量的过程。

3.机器学习：对机器学习的描述性和预测性分析，以查明质量不良的原因和进行更好的预测。

4.Analytics Server(数据分析服务器)：开发分析服务器以提高建模效率、优化管理并改善流程专家和数据挖掘专家之间的交流。

5.知识管理：实现专业知识资本化和有价值的统计数据，以规范和优化工艺知识和统计知识之间的交流。

四是“基于大数据开发实时监测、控制和预测的突破性技术，以提高钢铁生产过程的稳定性和产品质量”项目。

该项目专注于钢铁行业的应用场景开发和实施方法，基于钢铁工艺、并利用最新技术的数据处理和数据分析进行性能监控。随着欧洲钢铁生产对产品质量和工艺效率要求的不断提高，工艺和产品的数据和信息收集量也在不断增加。同时，也需要新的方法来分析和控制生产过程、确定和预测中间产品和最终产品的性能。该项目以钢铁行业的专用用例为重点，利用数据处理和数据分析的最新技术提供的所有技术和科学可能性，综合利用钢铁厂收集的大量信息资源。该项目的最终目标是：1.研究出制造过程分析和控制的开发和应用方法，以及评估和预测(中间)产品质量的扩展工具;2.提供此类方法的适用性和有效性的证据;3.发现在调查用例之外开发新方法的可能性并提出建议

该项目中包括的基础子项目有：

1.大数据的应用。

由于其数据存量具有规模大、多样性和快节奏性的特点，传统数据处理应用软件无法充分处理过于复杂的数据集的研究和应用。该项目以产生经济效益为目的，对来自多个来源的大量数据进行高速分析，既涵盖了结构化的数据，又涵盖了半结构化和非结构化的数据，同时也应用于孪生数据。在保证数据质量的前提下采用NoSQL(not only SQL)数据形式，应用于“质量4.0”(全流程质量管理)、钢铁产品全流程数据跟踪的无缝跟踪(位置识别与找正)。

2.事件处理。

事件处理是指一种跟踪和分析(处理)有关所发生事情(事件)的信息(数据)流并从中得出结论的方法。该子项目由意大利RINA负责。RINA集团下属的意大利材料研发中心CSM(宝钢欧洲研发中心在欧洲的联合研究中心)负责M设计、开发和验证了创新的大数据架构，以管理来自钢铁生产的数据(过程和质量数据)。实现了Lambda架构，并能够以实时流和批处理两种方式处理数据。这种体系结构可对钢厂自动化系统的数据进行实时分析，并将其存储起来进行历史分析，是一个适合人工智能模型集成的场景。

目前已经成功实施的实际案例包括：“基于机器学习技术的过程机器预测维修”“基于深度学习模型的过程数据缺陷预测”“预测过程关键绩效指标，以防止过程偏差”“利用深度学习和图像分析进行缺陷分类”。

3.机器深度学习和大数据分析。

该子项目由德国BFI集团负责。大数据分析是收集、组织和分析大数据集以发现有用信息的过程。机器深度学习的方法包括：深层神经网络(监督)、经常性网络(监督)、卷积网络(监督)、“深信不疑”的网络(无监督)。

五是“基于网络物理系统，将智能数据驱动的维护操作应用于轧钢区域”项目。

该项目可预测质量降级、故障、异常、关键部件的剩余寿命，以便及时规划适当且具有成本效益的维护及干预措施。

该项目通过在“Industry 4.0”基础上建立的实验系统和工具，开发了应用于轧制区域的“集成维护模型4.0”(IMM4.0)，将钢铁行业的维护策略从预防性维护转变为优化的预测性维护。该模型通过预测关键单元的质量下降、故障、异常和剩余寿命，从而及时做出维护和干预。

六是“实现钢厂无人机自主飞行监视和点检”项目。

该项目中采用新的传感器数据，在两个钢铁厂(蒂森克虏伯的Duisburg工厂和ILVA的Taranto工厂)检验了用无人机(UAV)代替钢厂传统基础设施维护和保障相关岗位人员安全的技术效果。

该项目采用无人机进行点检，提高了钢厂工人的安全性并显著降低了维护成本。该项目在硬件方面改进了无人机的结构，以确保事故发生时工人的健康和安全;设置了自主充电站，足以适应钢厂作业环境;设立了集成系统，可从无人机传感器获取数据。同时，该项目在软件方面采取了用于在复杂区域中进行自主且稳健飞行的算法、协调激活和调度无人机机队的策略、适用于基于智能手机的无人机的人机界面。此外，该项目在管理方面开发了无人机控制/管理人员培训系统，并确保满足所有有关无人机的法律要求和公司内部限制条件。