关闭>>  
扫一扫 有惊喜
  • 产品名:NE20E-X6
  • 促销价:电议/面议
华为UDS助力CERN轻松应对EB级海量数据挑战

“CERN在执行数据密集型模拟和分析方面正在面临极限,同华为的合作为我们展现了一个令人激动的新途径,我们看到华为云存储优良的架构设计,使得CERN在应对未来EB级数据量的挑战时也能够轻松应对。”

---- Bob Jones, head of CERN OpenLAB

客户简介

CERN(European Organization for Nuclear Research),欧洲核子研究组织,成立于1954年9月,总部位于瑞士日内瓦,是世界上最大的粒子物理学实验室,也是WWW的发祥地。CERN聘用大约三千名的全职员工,并有来自80个国家的大约6500位科学家和工程师,代表500余所大学机构在CERN进行试验,这大约占了世界上的粒子物理学圈子的一半。

CERN拥有全球最大的LHC(Large Hadron Collider),即大型强子对撞机系统,用于国际高能物理学研究之用。LHC在2008年9月投入运作,每年产生约15PB的海量数据,远远超过单一研究机构的计算处理能力,因此CERN需要与全球不同国家的研究机构展开合作,将这些实验数据以串流的方式发送到世界上的各个合作实验室进行分散处理。

业务挑战

LHC实验产生的数据将分布到全世界,同时在CERN的Tier 0数据中心用磁带保留一个主备份。经过初始处理,CERN将这些数据将分流到全球11个Tier 1数据中心,并由这些Tier 1数据中心继续分流到全球140个Tier 2数据中心进行存储与分析。

随着实验规模和级别的不断提升,2012年,CERN产生的实验数据达到20PB,预计2013年将达到25PB。如此海量的数据存储需求,使CERN的数据中心面临诸多压力:

  • 海量存储。从2012年开始,每年至少新增20PB的海量数据存储需求,而根据CERN的规定,每次实验数据的生命周期最低为15年。按照最低限度计算,CERN的数据中心至少需要具备300PB的存储能力,才能满足科研的需要。目前,CERN自有数据中心的磁盘系统已经使用25PB,剩余容量不足40PB,且整个系统在架构层面无法继续支撑迅猛增长的海量实验数据。此外,CERN还有75PB的数据存放在磁带库中,庞大数量的磁带不仅降低了数据归档和索引的效率,也使磁带的管理和维护工作极为繁重。
  • 可靠性与吞吐能力。每次碰撞试验,CERN投入的人力数以千计,耗费数千万美元,来之不易的实验数据弥足珍贵,存储系统需要有与之匹配的高可靠性。同时,实验中每秒产生的待存储数据高达6GB,如何将这些实验数据实时、可靠地保存到数据中心,对存储系统的吞吐能力是一个很大的挑战。此外,全世界每年有超过500所研究机构和大学、近5000名科学家需要访问CERN的实验数据,这种国际间的协作要求CERN的实验数据能够灵活地跨地域共享,这也对存储系统的吞吐能力提出了很高的要求。
  • TCO。每年至少新增20PB的海量数据存储需求,使得CERN需要经常对存储系统进行扩容。这样不仅带来可观的设备采购、机房建设等基础设施投入,而且随着设备的增加,日常的设备能耗、维护费用等也是一笔不小的开支。因此,降低TCO对于CERN的IT部门来说是一个严峻的挑战,这迫使CERN急需寻找新的存储解决方案来改善现状并迎接未来更为复杂和苛刻的科研需求。

根据对海量数据业务和存储系统的深刻理解,CERN认为,存储系统的关键指标是可靠性、性能及TCO。但是在通常情况下,越高的可靠性或越高的性能,则往往意味着需要更高的投入成本。

解决方案

2012年初,华为向CERN OpenLAB(CERN用于验证IT基础架构和解决方案的唯一权威组织)提供了0.8PB的UDS云存储解决方案,与CERN一同探讨、测试和验证UDS在海量数据场景下的能力。

容量

UDS采用分布式架构,用户数据被分散存储到多个存储节点,这种“去中心”的设计消除了扩容的瓶颈,使得整个系统的扩展非常灵活,如跨地域部署、异地容灾等,可以轻松实现从TB级到EB级的存储容量。

可靠性

UDS分布式架构的另外一个好处是,提升了单个节点故障下的系统可靠性。与此同时,UDS将用户数据切割成小颗粒的元数据,在存储这些元数据时,UDS支持多副本与擦除编码(EC)两种方式来存储数据,提升了单块硬盘故障下的数据可靠性。从系统运行至今,CERN尚未丢失过实验数据。

性能

由于采用分布式架构,随着存储节点数量的增加,UDS的吞吐能力可以持续提升。CERN分别对4K~100M的不同大小的文件进行从单个、20个、200个客户端的长时间测试:

  • 在5Gb/s的传输带宽下,UDS可达到588.4MB/s的吞吐量。
  • 在18Gb/s的传输带宽下,UDS可达到2200MB/s的吞吐量。

测试结果表明,UDS的吞吐能力几乎达到了传输接口带宽限制的极限(将吞吐量乘以8,即可换算为传输带宽),其读写性能均高于用于参考比对的Open stack和CERN现有的EOS系统,CERN给出的性能测试结论为“Fully achieved expected performance”。

TCO

UDS采用业界独特的ARM架构,并在保证高可靠的前提下率先支持消费级硬盘。ARM和消费级硬盘的超低功耗,首先帮助CERN大幅降低了设备运行时的功耗。同时,UDS支持特有的免即时维护特性,有利于CERN减少不必要的维护人员。

由于功耗的降低,改善了机柜的散热设计,使得UDS可以提高单个存储机柜的集成度(总容量可达2.1PB),从而大幅节省了安装设备所需的机房面积。高集成度、消费级硬盘的经济性,帮助CERN大幅降低了设备投资。

客户收益

通过领先的架构设计和创新的技术应用,华为UDS云存储解决方案帮助CERN轻松应对未来EB级海量数据的挑战:


  • 系统可靠性高达11个9,确保CERN的数据不会丢失。
  • 扩容操作简单快捷且不影响业务,支持从TB级到EB级的灵活扩展,CERN可以从容面对每一次碰撞实验带来的海量数据。
  • 分布式的架构消除系统瓶颈,使系统的吞吐能力逼近传输接口带宽的极限,有效保护CERN每次实验的科研数据。
  • ARM芯片、消费级硬盘、高集成度、免即时维护等特性,帮助CERN至少降低约45%的TCO。

“CERN在执行数据密集型模拟和分析方面正在面临极限,同华为的合作为我们展现了一个令人激动的新途径,我们看到华为云存储优良的架构设计,使得CERN在应对未来EB级数据量的挑战时也能够轻松应对。”CERN OpenLAB的总负责人Bob Jones这样评价华为UDS项目。