快捷搜索:
当前位置: 必威 > 必威-通讯产品 > 正文

华为服务器的新型Hadoop平台在处理性能上提升了

时间:2019-09-15 23:00来源:必威-通讯产品
华为近日携手Criteo公司,成为其位于庞坦市的新Hadoop集群数据中心的服务器供应商。 中国有句老话——工欲善其事,必先利其器。 近日,江苏电信宣布成功上线全球首个基于鲲鹏处理

华为近日携手Criteo公司,成为其位于庞坦市的新Hadoop集群数据中心的服务器供应商。

中国有句老话——工欲善其事,必先利其器。

近日,江苏电信宣布成功上线全球首个基于鲲鹏处理器的运营商大数据平台。该平台的成功上线开创了鲲鹏处理器在运营商大数据领域的商用实践先河,为江苏电信的业务成长提供了新的计算引擎。

近年来,为了有效提升企业运营效率、服务能力、降低成本,越来越多的行业和企业在积极引入AI。有专业机构预测,2025年AI在企业中的普及率将达到86%。不过作为企业信息化、智能化的关键基础设施,数据中心本身的智能化程度并不高,从能耗、运维人力与成本到空间占用等,都有很大的智能化升级改造空间。仅以能耗而言,全球电力有3%是被数据中心消耗的,如果能加以优化,无疑会产生巨大的经济效益。

当下,企业数字化转型速度正逐渐加快。一方面,要求承载企业业务的基础设施需要更加灵活的交付方式。另一方面,还要提供更高的性能以快速响应用户的服务请求。因此,需要服务商具备较强的资源整合服务能力和生态构建能力来应对更多的客户需求。

经过严格的对比测试,华为FusionServer RH2288H V3服务器脱颖而出,成功中标。该服务器由众多大容量硬盘构成,采用创新的设计和散热机制,极大地提升了存储密度并降低能耗达10%。

对于这个问题的另一个解释就是,“磨刀不误砍柴工”。在如今整个IT产业都在谈智能、谈AI的今天,似乎张嘴深度学习、闭嘴Tensorflow才叫做“人工智能”。但其实,正如大厦不能建筑在沙地上一样,想要在AI时代掌握足够的话语权,首先应该做的则是夯实IT基础架构,从具体的IT产品入手。

技术创新敢为天下先,率先实现基于鲲鹏处理器的开源大数据平台混合部署

近日,华为发布了FusionServer Pro智能服务器,从“智能加速、智能管理、智能数据中心”三个层次帮助数据中心实现智能化升级。华为智能计算事业部总裁马海旭表示,华为智能计算并不局限于服务器,还包括AI模组,推理、训练板卡,边缘计算设备,移动车载计算产品等等,覆盖了端、边、云所有环节。

近日,由中建材信息携手华为共同组织的生态伙伴赋能活动在烟台成功举办。本次活动旨在让烟台地区的生态伙伴了解华为超融合存储、智能计算平台等产品与解决方案,以助力烟台地区生态伙伴开拓市场。

华为服务器的新型Hadoop平台在处理性能上提升了30%,显着优化了Criteo引擎性能。在项目的第一阶段,庞坦数据中心部署了大约700台机器。与Criteo位于阿姆斯特丹、拥有1200台服务器的数据中心相比,庞坦数据中心计算能力更强,存储容量更大。从长远看,庞坦数据中心将会部署多达5000台服务器,占地面积超过350平方米,功率达到2兆瓦。

就这一点来说,服务器更是至关重要。作为用来计算的工具,多年来服务器一直基于x86架构所实现,无论是怎样的更新迭代,英特尔至强这个名字一直象征着数据中心应用的高效、稳定与可靠。

江苏电信大数据平台承载着江苏电信所有生产系统的运行数据、存储及分析,是江苏电信最核心的业务系统之一,对计算性能、并发处理能力、运行稳定性都有极高的要求。经过多次方案论证和性能测试,江苏电信最终选择基于鲲鹏处理器的华为TaiShan服务器和开源Hadoop软件构建大数据平台。

“华为的全系列智能计算技术可以满足各种复杂场景的部署需求,让计算无处不在,让智能无所不及。”马海旭说。

Gartner此前预计,到2021年,超过80%的企业数据将会储存在云数据中心的scale-out存储上。IDC也认为易购买、部署、管理和维护的融合架构会日益成为部署web-scale应用的主流架构。按照这样的趋势,全分布式云存储似乎更适合EB级超大规模商用部署。

资深工程经理马蒂厄-布隆伯格表示:“这是迄今为止欧洲最大的私有Hadoop平台。不可否认,华为具备卓越的ICT解决方案,在大数据领域有着深厚的知识储备。本次招标过程中,华为的即时响应及其在服务器部署过程中给予的大力支持给我们留下了深刻的印象。”

近日,英特尔在中国召开发布会,宣布了全新一代基于Cascade Lake架构的至强可扩展处理器正式发布,这也是第二款基于可扩展应用的Purley平台。作为英特尔亲密的合作伙伴,华为也在第一时间升级了旗下的全线产品,发布了包括2路、4路机架式,高密X系列、刀片E系列等模块化服务器以及GPU服务器等等新一代FusionServer Pro智能服务器。

图片 1

图片 2计算也要向智能化转型

来自中建材信息的产品经理孙文申在分享中表示,华为新一代FusionStorage全分布式云存储具备99.9999%业务高可用、所买即所得的高性能、简单易用且保护投资等特性。

华为法国企业业务BG总裁杨晨评论称:“华为的目标是为客户提供最佳的技术与云解决方案,助力其成为行业领头人。能够与Criteo建立合作伙伴关系,我们深感自豪,这正是我们一直以来希望发展的项目。”

图片 3

图1江苏电信基于开源Hadoop大数据平台

如今数据中心承载着绝大部分计算任务,但随着新技术的涌现,传统数据中心以及传统服务器也面临着非常现实的压力,亟待智能化升级。比如企业的业务变化逐渐加快,价格昂贵的传统服务器却很难随需应变;服务器的计算任务往往都要依赖CPU,但有的业务场景下使用CPU却存在很大的资源浪费;传统服务器的性能提升过于依赖CPU部件,而市场上已经出现了一些智能加速技术,可以有效提升单台服务器的系统级性能。另外,计算任务正日趋多样化,用不同的资源来应对不同的计算需求,已经被证明是一种非常高效的策略。

在现场,孙文申也分享了FusionStorage支撑华为数据中心全面云化等案例。他表示,华为数据中心通过搭建700PB计算云,200PB VDI,成功承载了130万虚拟机。资源发放时间也缩短为原来的1/36,并成功替代传统数据库服务器,性能提升2-9倍。

智能加速,围绕处理器性能计算“合力”

此次项目中,江苏电信携手华为团队,完成基于鲲鹏处理器的开源Hadoop源代码编译,重建RPM,并调优Hadoop参数等工作,并实现Ambari、HDFS、YARN、Mapreduce、Tez等关键的大数据业务组件在华为TaiShan服务器上的成功部署和运行。在集群部署的具体方案上,双方在原有集群上实现了传统架构服务器和TaiShan服务器融合部署。

从数据中心的日常运营来说,服务器的部署、运维、管理成本都非常高,如果能够引入一些智能化管理工具来改善运维管理,对数据中心的成本和效率来说无疑是非常有益的。

硬件的分离,使得架构存在诸多不便。如建设成本高、占用空间大、资源利用率低、运维管理复杂等。那么,有没有更简单的解决之道呢?

新发布的英特尔第二代可扩展处理器性能相当不错,特别是其旗舰级的至强铂金9280处理器高达56颗物理核心,是上一代产品的一倍,自然其性能较上一代的顶级处理器也有明显的提升。据悉,本次发布的新一代FusionServer Pro系列智能服务器面向新型和传统负载进行优化,在计算/存储架构、网络优化、智能加速和智能管理等方面进行了全方位的提升——

图片 4

马海旭表示,从计算产业的发展趋势来看,走向智能化是必然的。计算产业作为现代经济的核心驱动力,已经高速发展了大半个世纪,它本身也需要升级进化。如果把专用大型机、小型机盛行的时期定义为计算1.0时代,把通用x86架构、数据中心盛行的时期定义为计算2.0时代,那么马海旭认为现在计算产业正处于从2.0时代向3.0时代进化的阶段。

孙文申认为,高性能、易扩展的超融合基础设施可以解决上述问题。超融合基础设施的特性可以总结为三个字。融,指消灭孤岛,实现了云化和海量数据处理;简,指业务平滑扩展无瓶颈;优,指数据处理性能大幅提升。

全面支持第二代英特尔至强可扩展处理器,计算性能较上一代平台最高可提升40%;

图2 Ambari管理平台,部署Hadoop组件的TaiShan节点视图

“计算3.0时代的主要特征是全栈全场景、AI与边缘计算等,目标是使能行业智能化。”马海旭说。“因此智能计算也是企业从数字化向智能化转型的桥梁与纽带。”

图片 5

编辑:必威-通讯产品 本文来源:华为服务器的新型Hadoop平台在处理性能上提升了

关键词: