大数据赶超信息化主战场

2019-02-26    来源:多智时代

容器云强势上线!快速搭建集群,上万Linux镜像随意使用

大数据 赶超信息化主战场作者: 邹德萍   60秒,时间长还是短?在人类历史长河中完全能够忽略不计,但对于信息家当来讲,60秒,甚至1秒,都完全能够创造历史或改变生活。不信的话,当你用一分钟,看完这行文字的时候:新浪已经发送了2万条微博,苹果已经下载了4.7万次应用,淘宝已经卖出了6万件商品,人人网发生了30万次访问,baidu产生了90万次搜索查询,浪潮天梭K1系统已经完成153.6万亿次浮点计算一而这,仅仅不过目前已知的数据。

2010年印刷版《大英百科全书》,32册,重达58.5公斤。但是,它的全部内容,还装不满一个4G的U盘。有鉴于此,《大英百科全书》出版社于2012年3月对外宣布,不再推出印刷版,内容全面数字化。

在宽带化、移动互联网、物联网、社交网络、云计算的催生下,一个大数据的时代,正在不经意间翩但是至。

全球数据总量每两年翻番

用过电脑的人都记得,从12年前购买的仅有20GB硬盘容量的家用计算机,到为满足使用需求不时扩容的80GB、120GB、250GB、500GB的主机存储空间,容量扩展,变化很快。现在2TB的硬盘都不够用,还得靠移动存储设备来备份。根据IDC(国际数据公司)的监测统计,2011年全球数据总量已经达到1.8ZB(1ZB等于1万亿GB,1.8ZB也就非常于18亿个1TB的移动硬盘),而这个数值还在以每两年翻一番的速度增长,预计到2020年全球将拥有35ZB的数据量,增长近20倍。

由于数据规模的急剧膨胀,各行业累积的数据量越来越巨大,数据类型也越来越多、越来越复杂,已经超越了传统数据管理系统、处理模式的能力范围,于是,“大数据”这样一个在含义上趋近于“无穷大”的观念便应运而生。

“最初在于体量大,是一个数据全集的观念”,国家工信部软件服务业司司长陈伟曾为大数据概述出四方面特征,“第二是类型多,包括结构化数据、半结构化数据、非结构化数据等多种类型,其中视频数据在目前占到了90%以上的总数:第三要求速度快,需要以秒级为指标进行实时动态处理。”“最终在于价值密度”,由于大量有用和可能没用的数据并存,“遍地是金子,又遍地是沙子”,所以大数据的目的就在于从庞大的数据聚集中找寻有价值的数据和知识,通过分析挖掘为各行业提供真正的智慧,“能够说21世纪是‘数据钻出石油’的时代”。

以交互数据为例,目前一些自媒体平台,比如新浪微博,每天都有超过2500万条的微博信息在发布,里面有很多有价值的信息尚未得到发掘,在这样庞大的非结构化数据背后,如何利用大数据技能,从海量堆积的交互数据中发现带有趋势性、前瞻性的信息,就可以发现并产生巨大的社会价值和商业价值。

专家和研发人员对一个小苹果背后的大数据研讨和预测后发现,数据之和的价值远大于数据的价值之和。由于数据的存储、分析、应用等方面的商业运营方式还没有定型,这个行业发展的潜力、创新空间都十分巨大,以一个“小苹果背后的大数据”为例,诸如某品种苹果种在哪里最适宜生长所需要的空间地理信息数据,与具体产区的苹果产量、含糖量等数据叠加,并通过物联网等手段赋予苹果可追溯的唯一“身份”,在种植过程中实时监控,由每一个苹果“反馈”收集而成的数据,假设足够海量,就整合而成了大数据。拥有了这些数据,最初能够通过数据租售服务的方式与潜在客户产生价值,此类商业模式体现了数据之和的价值远远大于数据的价值之和。

其次,如能运用组群分析、数据挖掘等科学方法,辅以云计算、分布式存储等手段,则能够对数据展开深层次分析和预测服务,“哪些苹果品质最好,市场反应更好,明年产量销量会怎么样,各地市场对苹果购买的喜好会有何变化”,这种数据深挖及其背后的消费者行为预测分析,曾是统计学家的特权,未来则可能花费几分钟时间就能够完成。数据经过积累,并与全国其他地方进行比对,则可为苹果家当发展提供决策支持服务,并成为政府、行业教导果农生产的决策依据,避免产品滞销和果农利益受损。

最终,随着数据和分析方法权威性的建立,数据服务商有可能搭建一个第三方大数据分析平台,为更多的数据持有者提供数据整理、过滤、分析和处理服务,甚至有朝一日发展出类似于eBay、淘宝等电子商务交易平台的第三方数据共享交易平台。同样,此类数据还能够延伸应用到其他任何家当上,比如:只要刷一下卡,从出身到如今的个人诊疗信息一目了然,这便是大数据和云应用带来的变化。大数据把一个个信息“孤岛”连成一片,解决所有个人和公共信息问题。

天梭K1打破国外垄断

2013年1月22日,注定成为被信息家当和互联网载入史册的日子,因为这一天科技部、银监会和浪潮集团在京结合宣布:我国第一台基于自主核心技能的关键应用主机产品一浪潮天梭K1系统研制成功并正式上市。这标志着我国成为美、日之后第三个掌握该技能的国家,我国信息化建设自主可控战略完成了关键布局,突破美、日技能垄断,打破了信息网络核心装备受制于人的场合。

这里不妨大略介绍两个小知识,一是什么是关键应用主机?关键应用主机是指单台可支持8颗以上处理器的高端服务器,主要用于金融、电信、能源、民航等事关国家经济命脉的关键行业的信息化建设。银行的储蓄业务系统、汇兑结算系统和银联信用卡交易结算系统,证券的交易系统和报价系统,电信领域的通信网网管系统,能源领域的电力调度系统,民航领域的空管系统、机场出港系统等,均以关键应用主机为承载平台。二是关键应用主机与超级计算机。关键应用主机是“单兵作战”,每分钟要进行百万量级的数据处理,其技能关键在于输入/输出能力;超级计算机则是成百上千台服务器“集群作战”,关键目标是计算速度。如果说超级计算机是科学研讨的“机械大脑”,关键应用主机则是社会经济信息化的“神经中枢”。

浪潮天梭K1的正式上市,让我国计算机泰斗、中国工程院院士倪光南相当兴奋:“过去我国关键应用主机全是进口,如今浪潮天梭K1填补了这个空白,对保障我国的经济平安、信息网络平安意义重大。”此前,全球能研制关键应用主机的国家惟有美、日两国,其中美国的IBM、HP等占领了全球约98%的市场份额,其余为后者所占有。长期以来,我国的关键应用主机全部依赖进口,由于国产厂商缺席、形不成必要的市场竞争,我国关键应用主机售价一直远高于国外市场。根据赛迪顾问调查数据显示,2011年,中国关键应用主机价格是美国的2.4倍,我国辛苦积攒的真金白银源源不时地流进外国人的腰包。   由于其在政治、经济、军事等领域所处的核心地位,关键应用主机技能一直是国家之间竞争和抑制的焦点领域。美国、日本等发达国家对该技能还有一套从法律、行政到出口抑制等的技能抑制体系,确保关键应用主机技能不会流向其他国家。更让人担忧的是,关键应用主机能够通过网络进行远程操作,读取、批改数据、系统等。主机设备长期依赖进口,给我国的战略信息平安埋下隐患。因为关键应用主机一旦无法正常运行,将会严重影响相关领域的正常运转,产生巨大的经济丧失,甚至直接威胁到社会安定和经济平安。以下是一组可怕的数据:Qualix Group的统计数据证明,关键应用主机1分钟的宕机平均会使运输业丧失15万美元,银行业丧失27万美元,通讯业丧失35万美元,制造业丧失42万美元,而证券业丧失则高达45万美元。

为了打破垄断,使核心技能装备不再受制于人,“十一五”期间,浪潮高效能服务器和存储技能国家重点实验室承担了“863”重大专项――“高端容错计算机研制与应用推广”,主攻关键应用主机。该项目总耗资7.5亿元,不但创造了我国IT领域单个项目投资之最,也突破了关键应用主机的多项核心技能及工程技能世界难题,建立了完整的自主化技能体系。目前,浪潮天梭K1最大可扩展32颗处理器、256核心,4TB全局共享内存,每秒可完成2.56万亿次浮点计算;系统输入/输出总带宽675GB/S,这意味着如果传输大小为15G的高清电影,处理器到内存之间每秒可传输78部,处理器之间每秒可传输73部,系统对外每秒可传输45部。专业测试证明,天梭K1系统技能水平达到国际先进行列,可用性目标达到99.9994%――也便是说,一年的非正常停机不超过5分钟。

据介绍,天梭K1自2010年8月上线测试以来,经过两年多的示范应用,最后成功完成了首个银行关键业务系统向国产主机设备的移植,实现了用天梭K1系统代替原进口主机生产运行的指标,天梭K1系统的技能成熟性得到充分验证。第一个“吃螃蟹”的是中国建设银行新疆分行,天梭K1承担了全部中间业务,支持全省14个二级分行、187个营业网点、2400多名柜员、1049台ATM机及多媒体设备,包括网上银行、电话银行等电子银行业务:系统上线运行稳定,实现了零故障运行,完全满足银行系统对关键应用主机的要求。即使在业务高峰,系统仍然处于不足10%的低载状态,完全满足客户的关键业务应用需求。科技部、银监会相关负责人表示,今后将大力支持国产关键应用主机的推广应用,筑牢中国经济社会“大数据”信息平安的基石。

中国不应缺位信息化主战场

其实,无论是智能化、物联网,还是云计算、大数据,都是不时涌现的新鲜事物,新名词让人眼花缭乱,听起来仿佛很陌生,但它却与每个人的生活亲密相关。由于不同于国际上的“公共云”、“私有云”等分类标准,中国特色的“行业云”通过行业内数据的共享和活化,提升公共服务的效率和水平。以“卫生云”为例,医院与医院之间、医院与主管部门之间、区域与区域之间存在大量没有关联的信息。以大数据为依托的云计算技能能够将其集中为行业大数据中心,实现信息共享、数据挖掘与分析。患者跨医院、跨区域看病,无需反复检查,只要刷一下卡,从出身到如今的个人诊疗信息就会一目了然。

如果说“行业云”是中国赶超世界的主战场的话,那么,天梭K1的成功问世并加入运用,将成为支撑大数据飞速发展和应用的坚强后盾,当前,以云计算为代表的新一代信息技能革命正不时推动家当链和家当力量的分化重组。业内研讨分析认为,到2015年,全球云计算服务市场规模将达到1768亿美元。我国信息家当自2009年以来的增速一直高于GDP增速1倍多,正迎来一个可以改变落后与追随状态的战略机遇期。

简要回顾,是为了更好展望,我国的信息化经过“三金”工程、“十二金”工程等周期,为大数据建设奠定了成熟的技能和应用基础。税务、工商、能源、医疗等行业用户拥有的相对封闭的海量数据,造就了世界信息化最大、最有特点、最复杂的市场。在一个城市里面。以往是各部门都在建自己的信息中心,如今只需建一个或者两个大的大数据中心就能够解决了。所以,党的十八大提出“工业化、信息化、城镇化和农业现代化”的新“四化”观念,首次将信息化上升到国家战略的重要位置。目前,大数据和云计算建设还缺乏国家层面的战略和统一规划。很多地方虽然投巨资建成了所谓“智能型”的“云”系统,但资源利用效率却相当低,这有悖于云计算提高IT资源利用率和节约能耗的初衷。因此,必须从国内的实际需求起程,解决大数据和云计算建设中的应用落地问题,同时也要防止盲目跟风炒作,造成反复投资浪费。

很多人担心,大数据和云计算时代,信息平安怎么办?从铁路、航空、核电站到水库大坝、银行等,我国有数以千计的关键信息技能基础设施,如果我们不具备自主的云计算实力,整个国家的信息平安“命脉”就会掌握在别人手中。要改变现状,说到底,还是要靠本土IT企业在重大装备、核心软件领域实现突破,打造“自主、可控、平安”的“中国大数据云”、为国内的云计算家当提供自主可靠的技能支撑,而天梭K1的问世正可谓生逢其时。

大数据带来的挑战不但在于“硬件”层面。“100年前的医生能够明白医学的所有分支,可是今天一名医生面对的是大约10000种疾病综合征、30000种药品、1100种检验方法的海量知识”,国家信息化专家咨询委员会副主任、中国工程院院士邬贺铨认为,大数据家当需要从业人员既懂数据分析工具,又懂行业分析,而这样的创新人才是奇缺的。同时,大数据挖掘开发利用和平安以及隐私保护方面,我国还缺乏相应法律保障,需要通过机制创新来推动数据共享的实现。这是一个问题的两个方面,不应成为制约大数据发展的障碍,而应该成为推动大数据可持续发展的另一种动力,我们此前许多方面都落后于世界信息化主战场,天梭K1问世后,相信这个主战场将会越来越多活跃着中国的身影,甚至在某个领域或某项技能上领航全球信息化,这一点,我们充满了自信和期待!

转载请注明来源。原文地址:https://www.7428.cn/page/2018/1203/50467/

在不久的将来,云计算一定会彻底走入我们的生活,有兴趣入行未来前沿产业的朋友,可以收藏云计算,及时获取人工智能、大数据、云计算和物联网的前沿资讯和基础知识,让我们一起携手,引领人工智能的未来!

标签: idc 大数据 大数据发展 大数据分析 大数据分析平台 大数据和云计算 大数据中心 电子商务 服务器 服务商 工信部 互联网 金融 媒体 数据分析 搜索 通信 

版权申明:本站文章部分自网络,如有侵权,请联系:west999com@outlook.com
特别注意:本站所有转载文章言论不代表本站观点!
本站所提供的图片等素材,版权归原作者所有,如需使用,请与原作者联系。

上一篇:走出云计算误区—到底什么是云计算?

下一篇:CloudStack、桉树加速开放 云平台格局渐显