2.2.1 大数据工业领域案例
本文介绍的案例主要有:
- 面向制造业的全流程数据管理平台（海尔）
- 联想大数据企业应用解决方案（联想）
- 岸海一体的智能船舶运行与维护系统（中国船舶工业）
- 宁夏工业大数据总和管理与应用系统（宁夏回族自治区网络与信息监测中心）
- 基于工业数据的设备全生命周期智能预警及诊断分析平台（观为监测技术）
- 基于工业大数据的产品创造过程质量管控解决方案（西安美林）
- 钢铁在线监测预警平台（河北宋唐大数据产业）
面向制造业的全流程数据管理平台
为了支持海尔网络化战略及互联工厂的实现，海尔提出制造业全流程数据管理平台，以应对制造企业对全流程大数据技术应用的需求。本案例的全流程数据管理平台包含"3个数据流，5个功能层，12个业务模块"。可以完整支撑海尔互联工厂生态体系，帮助传统制造企业实现数据驱动的转型升级。
一、应用需求
中国制造业面临严峻的挑战和难得的机遇，面对资源环境压力、劳动力成本上升的现状，中国制造业必须寻求新的发展方向和路径。国内制造业和发达国家的差距在于，制造业全流程的数据不能分析挖掘，无法驱动产品决策。要想使得中国制造业在世界之林有立足之地，必须使制造企业“产品的数据“进化为”数据的产品“，帮助企业实现精益制造乃至”中国制造2025“的数据驱动。
海尔承接“中国制造2025”、“互联网+”的国家战略，由原来的以企业中心转变为以用户为中心。从大规模制造转向大规模定制，积极探索基于“物联网”和“务联网”的互联工厂模式，这样工厂不在是传统的生产线串联流程，而是为满足用户个性化需求的全流程生态系统。与用户、供应商等利益相关方构建共创共享的商务生态圈，满足用户的最佳体验。
为了支持海尔网络化战略及互联工厂的实现，海尔提出打造“制造业全流程数据管理平台”产品，以应对制造企业对全流程大数据技术应用的需求，针对制造业大数据的分析技术核心是要解决重要的三个问题——隐匿性、碎片化及低质性。本大数据解决方案将“物联网”与“务联网”配合起来，向海尔上千家上下游企业提供数据服务，促进中国制造业的大数据发展进程。
二、应用效果
海尔全流程数据管理平台已实现海尔互联工厂体系内100家企业的数据服务，并通过发掘产业链间的数据价值，实现上下游超过5000万元的收入增长。
海尔全数据管理平台前瞻性的规划了四大目标：
- 客户数据可视化，提供工作效率，监控风险预警
- 数据资产化，依靠软件系统来实现对数据精确和智能管理
- 用数据驱动互联工厂发展，利用这些大数据，实现对设备预警和检修，工艺配比优化，质量问题追溯，甚至排产等进行分析，提高效率和质量
- 实现用户付薪，信息实时显示驱动决策。将用户在网上的评价评论进行语义分析和结构化，最终变为可衡量用户评价的指标，以指标对员工进行考核，驱动实时决策。
三、解决方案架构及关键技术
本解决方案以海尔为制造业代表，设计的全流程数据管理平台包含“3个数据流”、“5个功能层”、“12个业务模块”，完整的支撑海尔互联工厂的生态体系,帮助传统的制造业实现数据驱动的转型升级。全流程数据管理平台的全景图:
3个数据流
- 在海尔互联工厂生态系统中，用户、资源、设备、系统、应用之间的互联交互中产生的数据落入到海尔各专业业务系统中。
- 全流程业务支持系统的数据，包括结构化和非结构化两部分，通过ETL过程装在进大数据平台的数据源层。
- 数据在大数据平台中，经过建模、整合、分析对上层数据产品提供数据服务。
5个功能层
- 数据源层: 来源于企业内各个业务系统及外部网站媒体信息，包括结构化和非结构化数据。
- 数据整合层：包括贴源存储部分ODS、企业数据仓库EDW、企业ERP部分BW和外部非结构化数据存储平台Hadoop。其中结构化数据通过企业级ETL工具information调度抓取；非结构化数据通过MapReduce采集。
- 模型区：统一整合数据建立以用户、条码、资源、员工为索引的360°全景视图。
- 数据分析平台：奔曾提供完善的数据分析工具进行建模分析。
- 应用产品层：形成模块化的数据产品，可独立对外提供服务。
12个业务模块层
一、 信息门户模块
信息门户模块整体架构如图所示，包括数据源管理层、指标库层、权限管理层、工具层和显示层，通过几层的配置和管理操作，即可完成信息可视化系统的建设工作。
二、渠道全景视图模块
渠道全景视图模块采用三层架构。采用Oracle进行数据存储，使用ETL进行数据抽取和清晰，以及R语言进行数据挖掘。
数据层: EDW代表数据仓库
分析层：在EDW之上建立数据集市(DW)，以客户为索引来支持分析模型的数据需求。
应用层：以数据集市为支撑，主要包括模型结果的展示与客户360全景视图，同时还支持指标库的查询和展示。
元数据管理：以Metaone软件作为技术支撑，独立与其他模块之外，实现元数据系统的各种功能。
三、用户多维透视模块
数据层，即数据采集及存储层：负责处理结构化数据和非结构化数据的采集、清洗、整合、存储工作。建设开放性的采集接口、清洗规则引擎、数据整合引擎，最终形成用户360°全景视图。
分析层：包括数据分析环境的建设及分析工具的内嵌、数据仓库。主流软件包括SAS，R，SPSS等。
服务层：即数据共享服务层：包括数据共享接口的开发、数据共享流程的开发、数据订阅接口的开发，最终实现数据的灵活、安全共享。
应用层：即数据应用展示曾。支持PC，APP等多种展示手段。
四、产品全流程追溯模块(条码大数据)
该模块采用四层架构，基于大数据平台，通过EDW实施方法论，业务蓝图及数据需求将海尔供应链各个节点条码、二维码数据以及海尔用户各个方面行为数据使用ETL工具按照数据规范统一手机至大数据平台中的ODS中；并使用基于第三范式实体-关系模型建模方式在DW中建立条码大数据模型及用户大数据模型，采用手机App、OBIEE等展现方式将这些模型与售后信息关联显示，实现售后信息到人。
五、云图识别模块
云图识别模块能够按照一定的逻辑来分析任何纯文本类型的内容它的分析包括自动识别文本信息中的热词、热点内容排行和按照人工逻辑设定来区分内容的所包含的情感。
六、供应链SCOR模块
该模块采用Oracle OBIEE，显示流程、显示KPI、闭环推进；后端采用Oracle硬件存放基础数据，并使用ETL工具同Informatica对数据抽取、清洗和转换。供应链SCOR模块架构如图：
七、智慧家庭U+模块
智慧家庭U+模块包括能力平台、接入应用服务及门户展现、大数据分析三部分。
八、销售网络化精益管理模块
使用B/S架构，前端采用大数据显示计划包括BO，BIEE等于信息门户集成，同时支持手机、pad等移动互联网设备。
九、供应商全景视图
数据层整合了几千家供应商十多套业务系统数据，通过ETL工具编写源系统到ODS的ETL脚本程序，实现数据清洗、抽取、及转换加载等功能。
分析层使用Oracle Exadata为物理设备，构建供应商数据中心，满足各种以供应商为索引的应用需求。通过模型搭建、对供应商进行分类，简历各指标标签。
数据分析：使用多元回归、决策树、k-means等算法，结合SPSS，完成数据挖掘的任务。
应用层基于HOP框架，结合J2EE，SSH，Echarts等实现前端Web模块的相关功能，包括数据挖掘结果展示、业务指标体系展示及客户360°视图等。
十、智能制造分析模块
该模块采用互联网开源技术，包括HTML5，CSS3，JS等。后端采用Oracle存放数据，DUBBO进行系统间通信，并采用information和Oracle OGG对数据进行抽取、清洗、转换。
十一、数据标准模块(数据治理)
通过对数据库统一管控，实现各系统之间数据的标准化，并通过各系统提供的核心服务，实现复用，降低开发工作量。同时，通过企业数据模型的设计，整合系统功能。
十二、数据安全模块(数据脱敏)
通过数据脱敏平台形成data hub, 提供统一接口，为敏感数据共享提供平台化支持。海尔使用HOP