评测室札记之FlashSystem840牛刀小试

在上一篇札记中，我们已经介绍了IBM FlashSystem 840，以及参与此次测试的小伙伴——Dell PowerEdge R730XD和博科的支持2、4、8、10以及16Gb/s的6510光纤交换机。并将这些设备通过15组光纤线连接。物理上已经连通，可以开始测试了。

但在正式测试之前，我们还需要进行一些验证性测试。所谓的验证性测试就是通过一些简单的测试工具来检验整个测试平台是否正常运行，并且是否能够让每台设备都能发挥其应有性能。

验证性测试的结果虽然不会被纳入最终的结果，但是这一环节却非常作用。在这一环节，我们使用一台Dell PowerEdge T630服务器作为计算端，通过一块Emulex公司的8Gb/s FC适配卡与博科的6510光纤交换机相连，然后连接到FlashSystem 840的主机接口。

出于操作简单且结果实时直观可见的考虑，在T630服务器上，使用Windows Server 2012 R2平台，测试工具选用为人所熟知的IOmeter。

从FlashSystem 840上划分出一个容量为2TB的逻辑卷，挂载到T630之上，然后使用IOmeter进行测试，测试数据块大小为4KB，测试方式为百分之百随机读。运行一段时间后，FlashSystem 840的IOPS稳定在14万IOPS左右，带宽接近600 MB/s，如下图所示：

在4KB随机数据读测试中，其性能表现超过14万IOps，带宽在550MiB左右

对于磁盘系统而言，14万IOPS已经很高了，何况只是在一个2U机箱内。但对于以追求性能为目标的全闪存阵列而言，明显未能发挥其全部优势。尤其距离FlashSystem 840所宣称的110万IOPS相距甚远。

问题出在哪儿呢？难道是单个逻辑核所提供的计算能力不够？

刚刚在使用IOmeter进行验证时，我们只是用了一个“worker”，现在使用8个worker同时进行测试。但是，所获得性能指数几乎没有变化，看来计算能力不是瓶颈。而IBM FlashSystem 840的性能瓶颈也远远未到，那么就只剩下网络方面的问题了。

刚刚使用的是随机4KB数据块，现在我们使用连续的4KB数据块来验证，是否存在网络带宽瓶颈。测试结果如下图显示：

在4KB连续数据读测试中，获得了与4KB随机读测试几乎一样的成绩——14万IOps，随机读与连续读性能一致，这在磁盘系统几乎是不可想象的。同时其带宽也保持在550MiB左右。通过这两次测试，我们初步判断是带宽不够导致了FlashSystem 840的性能发挥。下面我们将进行进一步确认。

我们继续使用IOmeter进行验证，但这次使用64KB大小的数据块进行连续读测试。获得的性能表现如下图所示：

在使用64KB数据连续读测试中，IOps超过1.2万，最为重要的是，其带宽达到了785MiB。就8Gb/s FC的性能而言，其几乎已经达到了8Gb/s的理论速度（800MiB/s），由这点可以确定，这一验证性测试环节的瓶颈在与带宽。

提高带宽通常有两种方法。第一种就是实用带宽更高的光纤适配卡，比如将Emulex的8Gb/s FC适配卡换为带宽更高的16Gb/s FC适配卡。当然这需要FlashSystem 840和博科FC交换机都支持16Gb/s FC。上一篇札记已经提到，FlashSystem 840是对16Gb/s FC提供支持的；在博科的官网上，我们也查到，这款6510光纤交换机也是支持16Gb/s FC的。但是我们希望从Emulex公司借到的16Gb/s FC适配卡却迟迟未能到位，所以第一种方法暂时不可行。

第二种方法就是为T630服务器再添加几张8Gb/s FC适配器，正好我们实验室共有三张8Gb/s 光纤HBA卡，可以全用在T630之中。但这里面还需要进行设置。因为，将多张光纤HBA卡在同一个服务器中使用，其仍是单独的网卡，需要将这多张适配卡在逻辑上被视为一张HBA卡。这就需要用到MPIO软件，即多路径IO软件。

在Windows Server 2012 R2平台下，其自带有MPIO插件，通过服务器管理器可直接安装。安装好之后，对MPIO进行设置，如下图所示：

在安装了多路径IO插件之后，就可以在磁盘管理界面为测试卷配置MPIO设置。如图，我们将策略设置为“协商会议”。

尽管安装了MPIO，但我们在同时使用3张8Gb/s光纤HBA卡时，仍遇到一些限制，比如三张HBA卡总共6个端口，但在这之中，我们却只能同时使用3个端口，另外3个端口不能使用。如果要解决这个问题，需要在进入博科6510光纤交换机管理界面创建相应的Zone。

但此时，我们是为了验证是否因为带宽问题限制了FlashSystem 840的性能发挥，所以划分Zone这一工作可以留到以后解决。

再次使用IOmeter工具，使用4KB数据块对FlashSystem 840进行随机读测试，尽管只有三个端口，但FlashSystem 840的性能表现明显提升，如下图所示：

如上图所示，在使用三个8Gb/s FC端口，并设置多路径IO的情况下，使用4KB随机读进行测试，FlashSystem 840能够提供近50万的IOPS，且带宽达到2GB/s，如果采用基于磁盘的存储系统，这几乎是不可想象的。

尽管此验证过程并没有发挥出FlashSystem 840最极限的IOPS性能，但在使用3个8Gb/s FC端口的情况下，能够获得近50W的IOPS，已经很难得，如果能将6个端口全部使用，相信应该能够最大限度发挥FlashSystem 840的性能优势。在这之中，服务器、光纤HBA卡和FlashSystem 840都发挥了各自的作用。

此次验证环节所采用的Dell PowerEdge T630虽然只是一个塔式服务器，但其配备了双路CPU，尽管CPU配备的是Intel公司最新E5 v3系列中的中端产品——E5 2660，每CPU内10个物理核，开启超线程，共计40个逻辑核，提供了充足的计算性能。

其次，Emulex公司的8Gb/s光纤HBA卡也相当给力，尽管最新的16Gb/s光纤HBA没能到位，但多个光纤HBA卡通过MPIO提供了充足的带宽。

最后当然是IBM FlashSystem 840全闪存阵列提供了强大的存储性能，尤其是4KB随机读测试中，尽管验证环节使用的是基准测试工具，并不能全部代表实际环境中的性能成绩，但其表现值得期待。

IBM FlashSystem 840在真实环境下的性能表现又是怎样的呢？请关注我们稍后的正式测试。同时，我们还将邀请两家知名互联网公司的工程师来进行实际环境模拟测试，他们又将如何测试FlashSystem 840呢？我们稍后再叙。