工业AI时代,大数据云平台未来5年迎最佳发展时机

2018-08-22    来源:raincent

容器云强势上线!快速搭建集群,上万Linux镜像随意使用

从工业大数据到智能制造,工业大数据云平台将为工业创新和产能提高带来新的机遇,在万物互联的时代助力生产力的提高,给全球工业带来深刻的变革,创新企业的研发、生产、运营、营销和管理方式。

三一重工的Witsight工业大数据云平台就是国内工业大数据云平台的典型代表。通过三一重工这面镜子,我们得以一窥工业AI的应用现状,包括三一重工在内的工业4.0大数据云平台在“中国制造2025”计划中将扮演的角色,以及当工业界与人工智能相遇,将碰撞出的火花。

正文:

1942年,美国科幻巨匠阿西莫夫提出“机器人三定律”, 一、机器人不得伤害人,也不得见人受到伤害而袖手旁观;二、机器人应服从人的一切命令,但不得违反第一定律;三、机器人应保护自身的安全,但不得违反第一、第二定律。

半个世纪之后,我们已随处可见智能机器人的身影。2018年8月,OpenAI实验室研制的机械手,已经能够灵活控制六面立方体,这表明仿真操控做到了极佳的优化。

?

?

 

我们身边越来越多的智能产品说明,我们已不可抵挡地身处于一个智能的时代。事实上,除了日常生活中普通人可以切身体会的语音助手等智能产品,在我们不常看不到的工厂车间里,智能化的步伐早已来临...

当人工智能遇见冷冰冰的工业,会碰撞出什么样的火花呢?今天我们将通过三一重工的工业大数据云平台Witsight,来一窥在万物互联的人工智能时代,大数据云平台在其中扮演着什么样的角色。

揭秘三一重工Witsight工业大数据云平台

在大多数人的印象里,三一重工可能就是一家大型重型机械生产商,最容易联想到在施工场地忙碌的挖掘机、起重机等。

事实上,三一重工研究所是三一重工旗下的一个全资子公司,全称是上海华兴数字有限公司,其核心产品包括显示屏、控制器、遥控器以及易维迅系统,被应用于挖掘机、履带吊、挖掘钻机、泵车、起重机、装载机、矿山车以及搅拌站等工程机械的监控、管理与维护。但在随着工业物联网在快速发展,华兴也尝试利用云计算、大数据等技术丰富产品的功能,2014年华兴采用大数据的方式取代经验值,通过统计档位、模式与操作习惯来实现设备的高效匹配。

2016年,华兴开始建设WitSight工业大数据云平台。主要应用有两个,一个是智慧风场(用于管理分析风力发电机),一个是易维迅系统(用于管理挖掘机等工程机械设备)。利用云平台在资源调度上的优势和大数据系统对海量信息实时处理的功能,将设备上传数据的间隔由分钟级缩短秒级,并建立事件数据库。

据悉,三一重工目前拥有 30 多万台大型的工程机械设备的保有量,每一个设备都有大量的传感器参数上报到三一重工自主研发的Witsight工业大数据云平台上,每天存储处理的数据容量为200G,一年70T左右的数据量。三一重工华兴工业大数据云平台主要用于管理挖掘机、桩机为主,以公司的自身需求为主,但在设计之初就考虑到了平台的通用性,在设备接入层,除了三一重工设备专有协议的开发之外,同时也支持MQTT等国际通用协议;在数据存储与数据建模层也考虑到了对接不同厂商、不同类型的多元化设备。

张翔从技术和架构两个层面讲解了Witsight工业大数据云平台是如何工作的。

技术层面:

??

 

Witsight采用DCOS 技术方案,通过大数据平台整合Spark、Kafka、Cassandra、Mysql、Redis、Netty、Rabbitmq等关键技术和应用,实现对于工程机械设备数据的采集、分析、存储的需求。

**Spark:**:提供系统高效的并行计算能力,能够准实时地处理100万台海量设备上传的工况数据。

**Cassandra:**提供海量数据的快速高效存储及查询,保障设备工况数据及时写入,数据延时小于10s。

**Kafka:**一种高吞吐量的分布式发布订阅消息系统,它可以处理挖机所有动作的流数据。

**Mysql:**使用主从集群模式,提供设备基本数据的存储和报表数据的存储。

平台架构层面

??

 

如上图所示,华兴EVIcloud整体架构分为计算平台、业务平台与可视化三个部分。其中计算平台主要用来实现数据的采集、传输、存储、处理与分析等功能。业务平台又分为通用业务与产品业务,通用业务用来实现设备管理、运维人员管理、安全管理以及运行监控,而产品业务则会根据不同产品的属性和功能进行合理的建模。可视化部分则用于实现数据、矢量组态与报表的多终端显示、分布式控制以及图形自由编排与联通。

WitSight的优势在于本土化

在工业大数据云平台领域,GE(Predix)、SIEMENS(MindSphere)开创了大数据平台的先河,在行业内占据绝对领导地位。与之相比,三一重工的WitSight核心能力和优势体现在哪里呢?

对此,张翔引用了百度和谷歌的故事、阿里与eBay的故事。他说道:“国外的企业和产品进入国内,往往第一个要考虑的是本土化的问题。 三一重工是中国大地上孕育出来的世界级企业, 三一重工华兴工业大数据云平台也是中国土生土长的工业大数据云平台。人家说背靠大树好乘凉,三一重工华兴工业大数据云平台以管理三一设备开始,从2010开始开发并投入使用,工业大数据云平台经过了这么多年的打磨与经验积累,现在已经可以处理30万在线设备,处理速度提升到了秒级。”

开发过程并非一帆风顺

万事开头难,尤其是搭建这样大规模的工业大数据云平台。张翔告诉我们,三一重工团队在整个构建工业大数据云平台的过程遇到了不少的难题,比如在平台运行的过程中,分布在全球各地的机器与装备的传感器需要实时地将数据传送至WitSight数据分析平台上,然后经过平台的传输、处理和分析最终将数据通过可视化的方式灵活地呈现给用户。整个数据传输和处理的过程虽然看似简单,实现它们却需要精心地设计整体架构,组合多种软件和工具并且要经过反复的测试验证和不断的迭代。WitSight平台中的数据传输、数据存储以及数据处理等平台需要集成Kafka、Cassandra、Spark、HDFS、Mongodb等软件。此外,平台也需要集成devops等工具,从而实现业务的敏捷开发与交付。在开发WitSight平台以及智慧风场、EVIcloud应用的过程中,华兴曾经设想并尝试过多种解决方案,利用传统的虚拟机交付或者申请公有云IaaS资源交付,但这会面临着下述的一些问题:

部署配置复杂,每种软件都需要相关专业的人员进行部署和配置,即使采用第三方工具,交付周期也需要数天甚至数周。

每个虚拟机只能用于特定的服务,同一个虚拟机不能同时运行多种应用,资源的整体利用率得不到提高。

遇到业务高峰时,需要申请新的IaaS资源,然后在虚拟机上继续部署软件,整个流程繁琐,效率低下,无法做到全自动化地完成资源的弹性伸缩。

Kafka、Cassandra、Spark、HDFS、Mongodb等软件架构相对复杂,在生产环境中往往需新招聘相关大量运维技能的人员或者花费大量的时间培训内部员工。这种方式大大提升了软件的使用门槛、复杂度以及成本。

无论是采用开源软件还是使用企业版软件,当Kafka、Cassandra、Spark、HDFS、Mongodb等软件在使用中遇到了难题或者生产过程中出现故障时,研发人员与运维人员需要自行查询资料解决问题或者单独联系各个软件供应商解决问题,管理分散,无法快速突破技术难题、保证故障在第一时间内得到响应。

网络与数据的安全无法得到有效的保证,无法实现网络保护以及平台数据的备份与恢复的集中管理。

面对这些实际的问题,三一重工上海华兴更需要的是一个以应用为中心,在同一套基础设施上能够支撑不同类型业务负载的新一代云原生应用平台。经过反复的思考、测试与验证,三一重工决定彩用DC/OS(Mesos)作为底层平台来支撑WitSight上的各种应用、工具和业务。这样,上述难题就得以解决了。

未来5年将是工业大数云平台发展最好的时机

在万物互联时代,的出现是顺应时代发展要求的产物,在推动工业发展上它会扮演什么角色呢?另一方面,在“中国制造2025”计划目标的驱动下,包括WitSight在内的工业大数据云平台会为中国未来的发展做出什么贡献呢?对此,张翔有着自己的理解。

?

?

 

“万物互联,即指的是物联网,这几年物联网的概念遍地开花,比如穿戴设备出现、家庭智能设备的出现,都标志的物联网的发展,物联网的英文是IOT,工业物联网的英文叫IIOT, 工业物联网就是物联网在工业行业的应用。工业4.0是由德国最先提出来的,之后中国马上提出了中国自己的“中国制造2025”,所以可以看出,工业物联网的发展不仅是产业层面的需求,同时得到了国家政策层的支持,是未来的一个发展方向。工业大数据云平台就是在这样一个天时地利人和的环境下的产物,它顺应产业与时代的发展需求,我相信未来5年将是工业大数云平台发展最好的时机。”

不破不立,不新不进,创新对于工业企业转型来说至关重要。对于工业大数据云平台,三一重工在公司层面有三年规划与五年规划,有一整套的商业模式与发展战略(详细内容不便透露)。但在创新之下,三一在挖掘机领域的国内销量已经多年第一,张翔认为公司未来在大工业大数据云平台领域也能引领行业的发展。

物联网是新一代信息网络技术的高度集成和综合应用,是新一轮产业革命的重要方向和世界产业格局重构的重要推动力。展望未来,工业物联网将呈现三大演进趋势:

数据处理方面: 设备联接趋于多元化,未来的设备在种类与数量上会有几何指数的增长,如果把设备消息的解析与计算放到云端,对于云端会有很大的压力,未来的发展数据的初步处理与计算会越来越边缘化,目前行业内提倡的“边缘计算”指的就是这个。

产业生态方面: 目前很多企业都在自己做工业物联网,平台方面都是孤立的,每家的平台都不一样;信息方面也是各家独享。 在未来,每一家的工业设备厂家都是每个工业物联网体系的一员,形成平台共享、信息共享,形成一个集群效应、协同发展的新生态体系。

应用关注度方面: 工业物联网不仅能够实现设备的互联,还能够通过优化产品类型、维护客户关系为企业服务。目前工业物联网的关注点都在设备资产这块,但对于优化产品类型、维护客户关系关注比较少。未来工业物联网在收集产品与客户的信息方面发挥重要作用,对于这方面信息的收集,来提升产品的满意度、吸引力,同时又能提升客户关系。

工业AI的现状与未来

自从阿尔法狗打败了李世石和柯洁之后,人工智能就开始走进了人们的生活,同时也越来越多的走近了工业领域。OpenAI的机械手自动识别六面体属于AI,机械手自动组装挖掘机也属于AI,我们平时经常提到的机器学习也属于AI范畴。大家都知道,机器学习=数据+特征+模型。在工业物联网行业,数据不是问题,有设备就有数据,但基于数据去提取特征与建立有效的模型是工业物联网领域的难点,不同的工业领域,特征与模型可能截然不同。所以,想要AI在工业领域有所发展,对于工业行业领域的细分与深入研究是必不可少的。目前工业行业内普遍的AI水平在如下三个方面:

应用数据的可视化分析。

人工智能除了能够收集设备运行的各项数据(如温度、转速、能耗情况、生产力状况等),并存储数据以供二次分析,对生产线进行节能优化,提前检测出设备运行是否异常,同时提供降低能耗的措施。

机器的自我诊断。

比如一条生产线突然发出故障报警,机器能够自己进行诊断,找到哪里产生了问题,原因是什么,同时还能够根据历史维护的记录或者维护标准,告诉我们如何解决故障,甚至让机器自己解决问题、自我恢复。

预测性维护。

通过人工智能技术让机器在出现问题之前就感知到或者分析出可能出现的问题。比如,挖掘机在运行一段时间后设备的部件可能出现损耗,通过分析历史的运行数据,机器可以提前知道部件损耗的时间,从而提前准备好更换的配件,并安排在最近的一次维护时更换部件。

除此之外,工业AI还可用于:

自动分析设备故障情况。

自动预测设备故障。

根据设定的参数,自动进行挖掘作业。

通过挖掘机上面的摄像头,进行人脸识别与挖机手的行为分析,来对挖机手进行考核、安全提示等。

但是,和所有新兴技术一样,工业AI在发展的早期总会面临各种困难和挑战。

“工业AI越来越普及的今天与未来,‘安全’是现在与未来的一大挑战,在这里‘安全’的范围比较广,比如:信息的安全、设备的安全、以及设备对于人的安全等,这是工业AI未来面临的最大挑战,希望在不久的将来也会出来‘工来AI三定律’来解决这个问题。”

嘉宾:张翔,三一重工研究所所长。硕士毕业于复旦大学,之前在上海贝尔工作,现在就职于三一重工。 张翔拥有11年电信行业兼互联网的工作经验。11年间,他从事过所长、技术经理、项目经理、系统工程师等岗位,并且有8年管理经验,有着丰富的管理大型研发团队的经验;7年从事全球项目团队的管理经验;以及3年大数据、工业4.0、工业物联网经验。

标签: Mysql 安全 大数据 大数据平台 大数据系统 公有云 谷歌 互联网 数据分析 数据库 网络 云计算 转型

版权申明:本站文章部分自网络,如有侵权,请联系:west999com@outlook.com
特别注意:本站所有转载文章言论不代表本站观点!
本站所提供的图片等素材,版权归原作者所有,如需使用,请与原作者联系。

上一篇:数据分析师最常用的10个机器学习算法(附图解)

下一篇:一份数据科学“必备”的数学基础清单