科技行者

行者学院 转型私董会 科技行者专题报道 网红大战科技行者

知识库

知识库 安全导航

至顶网CSC频道灵活的PCIe 3.0与网卡组合

灵活的PCIe 3.0与网卡组合

  • 扫一扫
    分享文章到微信

  • 扫一扫
    关注官方公众号
    至顶头条

作者:CBSi企业解决方案中心 来源:CBSi企业解决方案中心【原创】 2012年5月16日

关键字: PowerEdge 戴尔 DELL

  • 评论
  • 分享微博
  • 分享邮件

扩展篇:E5-2600系列处理器集成PCIe 3.0,在提高外设扩展能力(连接数、带宽)的同时,也缩短了延迟。PowerEdge R720和R720xd在此基础上,提供了最多7个至少PCIe 3.0 x8的插槽,更采用了可更换的精选网络模块设计,可以根据用户的不同需求灵活的提供相应的网络连接能力,其中10Gb模块的NPAR功能可以在无需改动交换机和操作系统的情况下将一个10Gb网络端口划分成多个端口使用,降低数据中心的线缆数量,也减少对交换机端口的需求,达到简化和降低成本的目的。

过去几年间,英特尔至强(Xeon)系列处理器的发展可以说是突飞猛进,生产工艺和微架构交替进步的“钟摆”(Tick-Tock)战略,使得每一代产品都能从内核数量和单内核性能的提升中获益,而公认进步最大的则非2009年初推出基于45nm工艺和 Nehalem-EP微架构的至强5500/3500系列莫属。

 Intel高端至强处理器的性能提升幅度,而主流的至强5000/E5产品线也不遑多让

 三年时间转眼过去,“钟摆”也摆动了一个完整的周期——工艺从45nm提高到32nm,微架构亦从 Nehalem演进至Sandy Bridge(SNB)。与代号Westmere的至强5600相比,同样采用32nm工艺的至强E5-2600系列内核数量、内存带宽(通道和频率)到用于处理器间互连的QPI有33%到100%的提升,无论CPU本地的处理能力,还是双路CPU之间的通信互联,都得到了巨大的改善。

 与至强5600系列相比,至强E5-2600(Romley EP)平台每CPU的DDR3内存通道从3个增至4个,频率也从1333MHz提升到1600MHz,更重要的是CPU直接提供PCIe 3.0的连接能力,而2个QPI全部用于CPU之间的互连

但是,仅仅CPU-内存子系统的性能飙升是不够的,如果外联的通道不畅,就像“茶壶里倒饺子”,再强劲的性能也要大打折扣。特别是在格外注重横向扩展(Scale-out)能力的云时代,整个计算平台对外连接的带宽和响应速度需要提升到一个新的水平。

 Intel 5520 IOH的使用场景之一:2个QPI分别连接到2个至强5600处理器上,提供36个PCIe 2.0线路

 至强5600处理器通过1个QPI连接5520 IOH,提供36或72个PCI Express(PCIe)2.0线路(lane)。至强E5-2600则是每处理器提供40个PCIe 3.0线路,双处理器配置可达80个。虽然与PCIe 2.0相比,PCIe 3.0的传输率只是从5GT/s提高到了8GT/s,但由于采用了更为高效的编码方式,实际带宽接近倍增的效果,所以至强E5-2600的PCIe带宽比 至强5600提高了一倍有余。并且,因为PCIe 3.0直接挂接在处理器上,省去了QPI和IOH的中间环节,I/O通路缩短的结果是响应时间的下降,有利于改善传输的延迟。

Intel 5520 IOH的使用场景之二:2个至强5600处理器各自用1个QPI接到1个5520,2个5520之间也通过1个QPI互连,共提供72个PCIe 2.0线路

 不难看出,如果说Nehalem-EP微架构将内存控制器(MCH)集成到了CPU中,那么 Romley-EP则进一步在CPU中集成了I/O控制器(IOH)的功能,英特尔称之为IIO(Integrated I/O),辅之以Intel DDIO(Data Direct I/O),可以进一步缩短传输的延迟。

40个PCIe 3.0线路可以4个或8个为单位自由组合成不同的端口,其中端口3a(x4或x8)可配置为NTB(非透明桥)

 至强E5-2600处理器集成PCIe 3.0最直观的好处就是,省去了1或2个IOH的成本和占用空间(以及发热量),却提供了更多的PCIe链路——用2个5520 IOH也就能提供72个PCIe 2.0,2个E5-2600处理器却能直接提供80个PCIe 3.0。这一点,在Dell PowerEdge R720/720xd上得到了很好的体现。

 PowerEdge R720/R720xd主板上的2个x24(左侧)和1个x16(右侧)PCIe 3.0转接卡插槽

 PowerEdge R720xd的3个PCIe 3.0转接卡,左侧的提供3个PCIe 3.0 x8,都属于CPU 2;右上方1个PCIe 3.0 x16(CPU 2)和1个PCIe 3.0 x8(CPU 1);右下方是1个PCIe 3.0 x16,属于CPU 1。合计CPU 2的40个PCIe 3.0都在,CPU 1只剩24个PCIe 3.0

因为不用在后面保留2个2.5英寸驱动器槽位,PowerEdge R720最靠近CPU 1的转接卡比R720xd多出来一个PCIe 3.0插槽(红色椭圆框中),但这2个都是x8的,与R720xd的1个x16总数相同

这个算术题不难算,40(CPU 2)+ 24(CPU 1)= 64,还有16个(80 - 64)哪里去了?

留给了2个x8的板载专用扩展插槽,都由CPU 1支持——如果该CPU挂掉,它们就都失效了,这是CPU集成PCIe的潜在风险。

 PowerEdge R720/R720xd上的网卡扩展插槽

 这2个专用扩展插槽,一个如前文所述留给SAS RAID卡,另一个留给网卡(NIC)。PowerEdge R720/R720xd没有直接集成在主板上的网卡芯片,而是完全通过专用网卡模块来实现。在这个千兆(GbE)与万兆(10GbE)交替的时代,这种做法具有更好的灵活性,值得借鉴。

PowerEdge R720/R720xd目前支持的网卡模块列表,有全千兆的,也有千兆与万兆混合的,总端口数都是4个

 安装好的网卡模块,芯片朝下,可以看到4个端口的标记

 Broadcom 57800网卡及Dell万兆光学模块

[an error occurred while processing this directive]
  • 评论
  • 分享微博
  • 分享邮件
邮件订阅

如果您非常迫切的想了解IT领域最新产品与技术信息,那么订阅至顶网技术邮件将是您的最佳途径之一。

重磅专题
往期文章
最新文章