【CBSi企业解决方案中心】华为（HUAWEI）以作数据通信、网络通信产品著名，在数年前，华为开始大规模进入数据中心领域，其中包括回购了的做存储的华为赛门铁克，以及推出自有品牌的X86服务器。实际上，这些都是华为云计算战略的一部分。 根据华为的说法，服务器是华为云计算战略的基石。大约从2002年开始，华为就开始为电信做配套的小型机替代服务器，到了2008年，华为服务器进入互联网市场，到了2010年，华为成立了企业群组，开始规模进入服务器市场。

　　华为推出的服务器产品线非常齐全，从单路到四路都有，更高路数的也有，不过一般难以得见。我们收到了华为送来的一台四路Sandy Bridge-EP服务器，型号是RH2485v2。四路Sandy Bridge-EP是个很有趣的产品，稍后我们还要继续说道。

 

HUAWEI Tecal RH2485v2四路机架式服务器，基于Intel Romley-EP 4S平台

HUAWEI Tecal RH2485v2四路机架式服务器，2U高度内集成了4个Sandy Bridge-EP处理器、32个核、64个硬件线程以及48个DDR3 DIMM

　　接下来我们先介绍一下HUAWEI Tecal RH2485v2的平台架构。

　　HUAWEI Tecal RH2485v2采用的是Intel的Romley-EP 4S平台，Romley-EP平台我们已经非常熟悉了，就是采用双路Xeon E5-2600系列处理器的产品，而Romley-EP 4S就是的4S就是4 Socket（四插槽，四路）的意思。从Sandy Bridge这代开始，Intel的产品线布局有些变化，在上一代——Westmere——这代，Westmere-EP是双路平台，Westmere-EX则是四路或以上平台，区分十分清晰，而到了Sandy Bridge，Sandy Bridge-EP既包含了二路产品，也包含了四路产品，本来应该包含四路产品的传说中的Sandy Bridge-EX早期文档中有所出现，但是现在有些销声匿迹的意思，也未见到具体的产品。因此四路Sandy Bridge就并入了Sandy Bridge-EP当中，并具有独立的名字：Sandy Bridge-EP 4S。

Intel Xeon E5平台包含2400、2600、4600三个系列，分别称为Romley-EN、Romley-EP、Romley-EP 4S，对应的处理器称为Sandy Bridge-EN、Sandy Bridge-EP、Sandy Bridge-EP 4S

　　就笔者看来，Sandy Bridge-EP 4S天生就和上一代的Westmere-EX不同，前者仅仅具有两个QPI总线用于处理期间联结，而后者则有四个之多，前者要组多路平台只能采用环形总线的方式：

Intel Sandy Bridge-EP 4S四路处理器平台属于Xeon E5-4600产品线

　　而Westmere-EX则要方便的多，在四路时可以实现任意处理器间直接通信：

Intel Westmere-EX多路处理器平台属于Xeon E7产品线，Sandy Bridge-EX被取消，Westmere-EX的接任者将会是Ivy Bridge-EX

　　在八路时Westmere-EX也可以通过一个“Glueless”的方式，任意两个处理器之间不会超过2跳（直联就是一跳，one hop），如果是Sandy Bridge-EP的话，在四路时就已经达到2跳的距离了，八路下则能达到4跳，这样在带宽和延迟上都会难以承受。实际上，四路以上的Sandy Bridge-EX计划是通过QPI Router来连结多台4路节点来进行扩展，这跟八路以上的Nehalem-EX/Westmere-EX使用的方法是一样的，只是在同样处理器规模下，Sandy Bridge-EX需要的节点数量比Westmere-EX多一倍：

“Glue”的意思是“胶水”，“Glueless”就是“无胶水”——所有处理器直接连结，对应的通过Node Controller扩展的方式就是Glue方式；上图是具有4个QPI总线的处理器的拓扑图，Node Controller可以连结4个处理器；只有2个QPI总线的话，每个Node Controller只能连结两个处理器

　　可见，Sandy Bridge-EP 4S只具有两个QPI的事实将其定位锁定在了传统的“EP”产品线。还有一点，“EX”产品线具有的高RAS（Reliability、Availability、Serviceability，可靠性、可用性、可服务性）在Sandy Bridge-EP 4S上也看不到踪影。总的来说，除了可以支持到4个处理器的差别之外，Sandy Bridge-EP 4S和Sandy Bridge-EP在架构上没有任何区别，指令集和内存支持规模等都一致。在实际产品上，由于追求稳定性的原因，Sandy Bridge-EP 4S的TDP热设计功耗乃至运行频率规格都要低一些，此外，Sandy Bridge-EP 4S的型号也没那么多，毕竟双路处理器的市场要更大一些。

HUAWEI Tecal RH2485v2四路机架式服务器

　　HUAWEI Tecal RH2485v2是一台2U规格的四路服务器产品，其计算密度算是比较高的，因为一般的双路服务器也同样是2U规格。

HUAWEI Tecal RH2485v2

　　正面面板的下方是一整块进气区域，四路服务器的散热需求要比双路的高不少。面板上方则是8个2.5“热插拔硬盘的位置以及一个5.25”光驱的位置，不过我们收到的样品并不包含光驱。

　　在左抽拉把手上有华为的菊花标志以及字样。在前置接口上，RH2485v2提供了5个指示灯分别表示4个网口的工作状态和电源的工作状态，按钮则有两个，分别是UID开关和电源开关，RH2485v2还提供了两个USB 2.0端口和一个VGA D-Sub接口。

　　右方则是型号标签。

　　机架的侧面也有散热孔，不得不说，四路处理器的散热需求确实高。

　　标准的背部面板布局。HUAWEI Tecal RH2485v2提供了5个x8的半高扩展卡位和两个水平放置的全高扩展卡位，这两个扩展卡位中，上方一个为x16，下方为x8。在以往，四路服务器具有大量的IO端口，而由于Intel处理器从Nehalem-EP开始融合了北桥/PCIE根复合体的原因，IO能力进一步增强，理论上四路Sandy Bridge-EP不算ICH/南桥芯片就有160个PCI Express 3.0信道，实际上HUAWEI Tecal RH2485v2一共对外提供1个PCIe 3.0 x16插槽、6个PCIe 3.0 x8插槽，内部还能提供一个PCIe x8的子卡界面可以有限度地扩展。这扩展能力只能说是一般。

　　电源在左方，采用的是双冗余电源单元配置 ，每个电源单元都配有理线夹。

　　下方5个RJ45网络接口是服务器集成的4个千兆网络端口和一个管理网络接口，此外还有两个SFP+的万兆网络端口、两个USB 2.0、一个VGA D-Sub和一个RS232串口。

　　顶盖打开的卡扣很容易操作，RH2485v2的大部分日常维护都不需要动用工具。

HUAWEI Tecal RH2485v2服务器的内部构造

　　打开顶盖的样子，可以取下的部件有一个全高扩展卡的RISER，两个导风罩以及一个热插拔冗余风扇排。冗余风扇排由6个热插拔双风扇组成，实际工作噪声不算太大。

　　取下所有附加部件后可以看到四路处理器的散热器以及对应的内存槽，稍后会对部件进行介绍。

　　冗余电源单元是Emerson艾默生出品的EPW800-12A，Emerson在工业电源上非常有名，这个电源的质量值得信赖。电源的规格为824W最大功率，输出电流12V为65A，12VSB为2A。这个电源还符合80PLUS白金标准，80PLUS白金（铂金）标准要求电源在50%负荷时转换效率超过94%，20%和100%负载时也要达到90%和91%。高效率的电源可以降低自身能量消耗、降低发热量，对节能减排有很好的积极作用。

　　需要指出的是，RH2485 V2标配的电源单元应该是1200W，而不是我们收到的800W。

　　热插拔硬盘槽的为按钮式，按下标带有倾斜色条的按钮就会弹出插拔把手。 

HUAWEI Tecal RH2485v2服务器主板布局，下方为接近机架前面板，上方为接近机架背板

　　先从存储部分开始介绍：

　　内置的LSI阵列卡坐落机器左后方，如图所示，图上方是全高热插拔RISER的PCI Express接口，可以看出，一个是x8宽度，一个是x16宽度。

　　基于LSI SAS2208芯片的LSI MegaRAID SAS阵列子卡，板载内存512MiB，提供8个SAS 6Gb/s端口，通过两个SFF-8087 Mini SAS端口提供。

　　阵列卡配套的iBBU后备电池单元，从标签看是锂离子电池，规格是3.7V、1.5Ah、5.6Wh，生产厂商应该是Maxell。

　　RISER上方则是集成的双SFP+端口网卡，由Emulex提供的OCM11102双万兆网卡，系统显示为Emulex OneConnect SM230。OCM11102支持端口分区功能，也支持SR-IOV功能，每个万兆端口可以支持约62个Virtual Function。OCM11102带有TOE任务分载功能。

　　被OCM11102万兆网卡遮盖的下方是板载的Intel 82580四端口千兆网卡，支持VMDq和SR-IOV功能，每个端口可提供8个RSS Queue、8个VMDq Queue，82580不支持SR-IOV。

　　随样机而来的一块QLogic 8Gb FC HBA，基于ISP2532芯片，提供一个8Gb FC端口，接口是常见的PCI Express 2.0 x8。

Intel Xeon E5-4650处理器，支持四路配置，32nm工艺，支持两个8GT/s的QPI和四通道DDR3-1600内存

　　最后是整台机的核心：Intel Sandy Bridge-EP 4S处理器，型号是Xeon E5-4650，是E5-4600系列当中最高规格的产品，基频达2.70GHz，经过Turbo Boost睿频加速可以达到2.9/2.9/3.0/3.0/3.0/3.2/3.3/3.3GHz（从八核到单核）。另一个类似的4650L型号是低功耗的版本，其频率要比4650低。

　　在下面的规格表中可以更清晰地看到Xeon E5-4650处理器和HUAWEI Tecal RH2485v2的配置：

　　我们使用了一台基于双路Intel Xeon E5-2690处理器的服务器平台进行比较，E5-2690是Xeon E5双路服务器平台当中的顶级型号（另一个频率更高的2687W面向工作站平台）。除了处理器和内存多一倍之外，两台测试平台都处于很相似的配置。至于软件系统，简直就是一模一样，我们使用的是CentOS 6.4 x64操作系统，CentOS是Red Hat Enterprise Linux的源代码重编译版本，类似的还有Oracle Enterprise Linux，这些Linux版本确保了和RHEL的兼容性。Linux内核则是最新更新的2.6.32-358.11.1.el6.x86_64，和其它Linux发行版不同，RHEL6和RHEL6类发行版的Linux内核是基于原始的2.6.32内核，并自行进行改进和补丁，因此很难和官方Linux内核进行对应。RHEL 6.4乃至CentOS 6.4内置GCC 4.4.7编译器和GLIBC 2.12基础类库。

　　我们安装的是完整的带GUI的CentOS 6.4 x64版本，安装完的第一件事就是软件更新：

　　将所有组件都更新到最新，其中Kernel升级到了2.6.32-358.11.1.el6.x86_64。RHEL 6.4/CentOS 6.4发布的时候就在Release Notes里面注明了对Intel Xeon E5处理器的支持。

　　老实说，我觉得Linux提供的系统监视器没有Windows下的好用。

　　定时器频率为1000Hz，理论上，更低的频率值可以降低系统中断运算线程的次数，更适合于大容量的计算。

　　Windows Server 2012下的任务管理器比起Windows Server 2008 R2来是变得先进了，但是缺点也很明显：在二路以上的平台上，WS2012不再显示每个逻辑处理器的占用率历史，仅仅显示为一个色块。

8核心的Intel Xeon E5-4650一共具有20MiB的L3缓存

　　最新的CPU-Z 1.65.1.x64反而不能很好地识别Xeon E5-4650处理器，将其认成了Intel Core i3/i5/i7。

　　华为的主板。值得注意的是，华为服务器的BIOS是在Insyde BIOS的基础上进行的二次开发，和一般厂商直接修改OEM厂商的BIOS或者不改直接用不同。

大量的内存

　　AIDA64，Linux下就没有这么好用的软件了。

大量的CPU

内存参数

　　看完硬件的软件信息，接下来就可以进行测试了。

　　SPEC CPU是一个应用广泛的大型CPU性能测试项目。SPEC是标准性能评估公司（Standard Performance Evaluation Corporation）的简称。SPEC是由计算机厂商、系统集成商、大学、研究机构、咨询等多家公司组成的非营利性组织，这个组织的目标是建立、维护一套用于评估计算机系统的标准。除了SPEC CPU之外，SPECviewperf系列产品也是常见的测试工作站/图形卡部件所用到的测试软件。

　　SPEC CPU是SPEC组织推出的一套CPU子系统评估软件，目前最新版本是SPEC CPU2006，它包括CINT2006和CFP2006两个子项目，分别用于测量整数性能和浮点性能。SPEC CPU的测试组件均来源于真实的应用程序，并经过修改以降低对IO子系统的影响，在测试中，测试系统的处理器、内存子系统和使用到的编译器（SPEC CPU提供的是源代码，并且允许测试用户进行一定的编译优化）都会影响最终的测试性能，而I/O（磁盘）、网络、操作系统和图形子系统对于SPEC CPU2006的影响非常之小。

　　SPEC CPU2006包括了12项整数运算和17项浮点运算，除此之外，还有两个随机数产生测试程序998.sperand（整数）和999.specrand（浮点），它们虽然也包含在套件中并得到运行，但是它们并不进行计时以获得得分。这两个测试主要是用来验证一些其他组件中会用到的PRNG随机数生成功能的正确性。各个测试组件基本上由C和Fortran语言编写，有7个测试项目使用了C++语言，而Fortran语言均用来编写浮点部分。SPEC CPU2006以一台Sun Ultra Enterpirse 2工作站作为基准参考系统，系统基于一颗296MHz的UltraSPARC II处理器，测试的得分就表明这个项目中测试系统相对基准系统性能的比值。

　　我们使用了SPEC CPU2006的1.2版本进行测试，由于测试配置文件和源代码的更改，1.2版本的测试和之前的1.1版本的测试得分无法直接对比，这也是我们对双路Xeon E5-2690平台重新进行测试的原因之一。测试使用的Inte C&Fortranl编译器版本是13.0，代码基于Intel的AVX指令集进行了优化。使用的CentOS 6.4系统以及Sandy Bridge-EP 4S处理器均支持AVX指令集。代码还使用了MicroQuill的SmartHeap 10.0进行了编译，SmartHeap可以让程序更好地管理Heap堆。

　　除了整数运算和浮点运算的差别之外，SPEC CPU2006测试还分两种：SPEED测试和RATE测试，SPEED测试类型运行单个实例，用来测试系统运行单作业的时候的运算能力，RATE测试则是运行多个实例，用来测试系统的总运算吞吐能力。SPEC CPU测试还会给出两种类型的结果：Base基准测试结果和Peak峰值测试结果，Base测试要求编译器套件按照指定的规则进行优化，而Peak测试则可以允许使用更多地优化技术，可以看出，前者可以用来简单对比不同的平台，而后者则在对比因素中加入了编译器等因素，有实力编写编译器的厂商可以从中获益。本页给出的是SPEED测试结果，按照整数到浮点、Base测试到Peak测试排列四个成绩图标，每个图表给出了测试系统及对比系统的每个子项目的成绩。图表图例中最后的"4S32C64T"字段指的是4 Sockets、32 Cores、64 Threads，意思是“4插槽32核心64线程”。

SPECint_base2006，整数，SPEED测试，Base基准测试

　　可以看出，大多数子项目都很正常，唯有462.libquantum 物理：量子计算项目的得分十分突出。实际上，只要编译得当，单实例的SPEED测试也可以多线程运行，并将负荷分散到系统的多个核/线程当中，从而获得巨大的加速——462.libquantum 物理：量子计算就是这么个情况。

SPECint2006，整数，SPEED测试，Peak峰值测试

　　关于462.libquantum 物理：量子计算项目，额外需要说明的一点是，SPEC CPU2006是每个测试均运行三遍，最后去掉最高值和最低值。在测试过程中，Intel Xeon E5-2690平台的最高值是2800，远比Xeon E5-4650平台的要高，因为前者的运行频率要比后者的要高。

SPECfp_base2006，浮点，SPEED测试，Base基准测试

　　在浮点测试当中，我们可以看到多个项目可以将单测试实例多线程化，因此它们的数字都很耀眼。

SPECfp2006，浮点，SPEED测试，Peak峰值测试

　　大部分数字都是Xeon E5-2690处理器胜出，唯一的原因就是它运行频率要高得多，E5-2690单核可以Turbo Boost到3.8GHz，而E5-4650只能达到3.3GHz。

　　SPEED测试当中，HUAWEI Tecal RH2485v2的得分是整数47.7（SPECint_base2006）和浮点69.1（SPECfp_base2006），受E5-4600系列的主频限制。

　　除了整数运算和浮点运算的差别之外，SPEC CPU2006测试还分两种：SPEED测试和RATE测试，SPEED测试类型运行单个实例，用来测试系统运行单作业的时候的运算能力，RATE测试则是运行多个实例，用来测试系统的总运算吞吐能力。SPEC CPU测试还会给出两种类型的结果：Base基准测试结果和Peak峰值测试结果，Base测试要求编译器套件按照指定的规则进行优化，而Peak测试则可以允许使用更多地优化技术，可以看出，前者可以用来简单对比不同的平台，而后者则在对比因素中加入了编译器等因素，有实力编写编译器的厂商可以从中获益。本页给出的是RATE测试结果，按照整数到浮点、Base测试到Peak测试排列四个成绩图标，每个图表给出了测试系统及对比系统的每个子项目的成绩。图表图例中最后的"4S32C64T"字段指的是4 Sockets、32 Cores、64 Threads，意思是“4插槽32核心64线程”。

SPECint_rate_base2006，整数，RATE测试，Base基准测试

　　在SPEED测试中异常的462.libquantum 物理：量子计算项目在RATE测试中也很异常，并且得分比E5-2690的平台真正要高，这是因为它是四路。

SPECint_rate2006，整数，RATE测试，Peak峰值测试

　　Peak峰值测试有很多项目和Base基准测试项目没有什么变化，一些有所提升，少数有所降低。总体上来说，仍然是提升了。

SPECfp_rate_base2006，浮点，RATE测试，Base基准测试

　　在浮点测试当中，四路系统全面胜出。

SPECfp_rate2006，浮点，RATE测试，Peak峰值测试

　　浮点Peak峰值测试中，两个平台的性能比值极为相近，均是HUAWEI Tecal RH2485v2要高出约80%。

　　RATE测试是我们最关注的测试，它实际上就是一个吞吐量测试，而HPC之类的大多数属于吞吐量运算。HUAWEI Tecal RH2485v2的得分是整数1180（SPECint_rate_base2006）和浮点870（SPECfp_rate_base2006），比对比的二路平台高78.5%和79.8%。

　　CineBench也是来源于真实应用程序的一款性能测试软件，它基于Maxon的Cinema4D三维设计软件（CineBench同属Maxon公司的产品），可以用来粗略评测系统在渲染方面的效能，它既可以测试CPU，也可以测试显卡的OpenGL渲染能力。我们使用了CineBench R11.5套件中的64位版本来测试CPU的运算能力。CineBench需要Windows/MacOS平台，我们使用了一个Windows Server 2012 Datacenter系统。图表图例中最后的"4S32C64T"字段指的是4 Sockets、32 Cores、64 Threads，意思是“4插槽32核心64线程”。

HUAWEI Tecal RH2485v2运行CineBench R11.5 x64

　　4四路32核64线程，运行这个测试真是飞快，数秒钟就完成了。

　　可以看出，单核心测试上，高频率的E5-2690平台占优，多核心测试上，四路E5-4650平台占优，得分要高约51.3%。

【CBSi企业解决方案中心】在我们的SPEC CPU2006 1.2测试当中，HUAWEI Tecal RH2485v2的得分是整数1180（SPECint_rate_base2006）和浮点870（SPECfp_rate_base2006），比对比的二路平台高78.5%和79.8%。对比平台的频率高一点，但是处理核心要少一半，RH2485v2具有80%的性能提升算是非常不错。

 
HUAWEI Tecal RH2485v2四路机架式服务器

　　四路服务器系统拥有比二路系统更强的处理能力和更大的内存容量，RH2485v2最大内存可以达到1.5TB，适合需要高计算能力和大内存的应用，如运行数据库、做虚拟化平台等。让人略感遗憾的是，RH2485v2的IO扩展能力一般。

HUAWEI Tecal RH2485v2服务器规格表