嗑技三人行：低功耗处理器与PCIe的野心

处理器与闪存的出现转移了数据中心的性能瓶颈，数据传输迫切需要一种新的方式，SFF-8639接口问世，但在协议方面却出现两大阵营——SCSI Express（SCSI over PCI Express，SOP）0与NVMe，那么这二者之间各自的优势是什么？未来的竞争态势将如何发展？请收看本期的《嗑技三人行》!

曾智强：我觉得可能还得提一下PCIe，因为几天之前不是9月份的时候，IDF不是刚召开的，那上面就有关于PCIE的东西，一些演讲、一些话题、一些技术分享什么的，我就感觉现在PCIe的作用真是很大，之前我们觉得可能PCIe是用在服务器里面，是用到电脑里面、PC里面，但是现在你看在移动里面，移动终端里面，你的平板，当然平板也可以说是电脑的一种，手机里面，尤其是手机里面它也要用PCIe这个协议、这个接口什么的。而且现在，以前的话可能就是说，PCIe用来通信是CPU跟内存，跟CPU跟南桥、北桥之间的，但是现在的话，它要走出去，就是说什么，有一个名词叫什么，Outside The Box，就是要作为外部连接，然后我觉得可能跟之前我们的那个SFF-8639有一点像。

张广彬：其实这个问题，我觉得稍微就是有点复杂，因为我觉得PCIe现在搞得挺复杂的，就像刚曾哥说的，以前它就是总线，其实这总线的说法就沿袭下来了。

曾智强：对。

张广彬：它就是CPU来连接其他的外部设备，以前就像你说的，可能以前还要通过北桥，后来其实北桥严格意义上来说，就是把内存控制器拿到CPU里头以后，北桥其实就是一个提供IO功能，有点变成PCIe控制器了，或者有点像以前的南桥，然后它再把这个PCIe控制器集成进去，干脆连这个东西它也消失了。

盘骏：北桥都没有了。

张广彬：那也就是说现在CPU，包括像E5，E5 V2支持的PCIE的通道的数量跟E5是没有变化的。

盘骏：没有变化，都是40。

张广彬：其实挺多的了，但是它这个数量，然后它这个带宽也在提升。

曾智强：对，你看，我记得E5的时候，它就已经支持PCIe 3.0了，V2的话它还保留了PCIE 2.0。

盘骏：还是3.0。

张广彬：对，但是它那个PCIe 4.0，说是2015年要出。

曾智强：而且规格还很高，据说是PCIe 3.0的2倍。

盘骏：带宽翻倍了。

张广彬：数字我觉得挺恐怖，老外经常会拿着数字吓人，说什么要是16X的话，再一双向就是64G大B，这一听起来好像比InfiniBand都高一样。

盘骏：那必须的。

曾智强：我觉得可能现在我们在数据中心里面，觉得最快的可能还是InfiniBand，如果是这样子的话，那岂不是超过了InfiniBand，然后再加上它的所谓的Outside The Box，那是不是它就可以把InfiniBand给干掉啊？

张广彬：对，我觉得这个Outside The Box或者就是说外部连接，我觉得这一点可能是重点，因为你要是InfiniBand，因为InfiniBand它那个叫什么HCA，它也都是要接到PCIe上面的，那时候就是PCIe主内，InfiniBand主外。那现在PCIe如果能走到外面来，我感觉好像加上什么SFF-8639，加上SATA Express、SCSI Express，Express指的都是接口，包括NVMe，这个“e”指的也是Express，这些Express都是PCIe的Express，好像突然感觉PCIe好像什么都要干一样。

曾智强：对，一下家族就感觉特别繁荣的感觉。

张广彬：盘大师怎么看这个问题。

盘骏：其实在3.0时代，PCIe它就有走出机箱外的趋势，当时有一个叫NTB（Non-transparent bridge，非透明桥），两台机的通过PCIe联起来，这是一个，还有一个是MR-IOV，SR-IOV大家都知道。

张广彬：对MR-IOV，你得给大家好好解释解释。

盘骏：多根虚拟化，就是多台机的PCIe控制器连成一个网络，当时还衍生一个概念叫PCIE Switch，PCIE交换机，这个就看起来跟网络差不多。

张广彬：其实这个呢，就是有一点我不太明白，就是MR-IOV它是不是其实有点多主机的概念？

盘骏：对，多主机。

张广彬：因为我觉得，因为我年岁比较大，所以我说说以前的事，我记得10多年前PCIe就酝酿过一个，PCIE其实当时刚要取代PCI-X，当时其实就有过一个叫PCIE的一个AS，Advance Switch的一个规范，其实真的，给我的感觉就是要跟InfiniBand竞争的，后来就是好象有点太复杂了，可能实现难度也高，可能各方面不成熟，就没有再做。那现在呢，包括你现在说的这个PCIE的Switch，包括也有人攻击PCIe，比如说某SAS厂商的人就是说，做SSD，那PCIe它的有优点，大家都觉得比SAS好，但是它说SAS它能够，它在对多主机的支持比较好，PCIe的多主机能力不行，那照你这么说的话，MR-IOV能够解决这个问题吗？

盘骏：理论是可以解决，问题在于MR-IOV很少有人用。

张广彬：为什么呢？

盘骏：因为它设计太复杂，它的草案，它的标准到现在还没有完全完成，因为SR-IOV也是到最近大家才开始广泛支持的。

张广彬：但是好像咱们其实在测试中发现还是没有咱们想的那么理想。

盘骏：性能不是很理想。

张广彬：但是其实这个复杂，盘大师说到一点，很重要的就是复杂，无论从当时的PCIE的AS，还是到MR-IOV，它解决不了的一个问题，都是复杂，包括其实InfiniBand没有，它停留在一个很高端的一个市场，一定程度上也是因为它复杂，但是你看现在PCIe瞎折腾，不能说瞎折腾，它已经不是很明显的。

张广彬：不管是核内还是核外，就是内部连接还是外部连接，它已经不仅仅是做一个总线，然后去让上面插什么卡，比如说它就直接连存储，就PCIe的SSD。

曾智强：你之前可能还需要桥接的这么一个东西，比如像之前你直接插到里面，可能还需要一个SAS控制器什么的，现在我采取SFF-8639加上比如像NVMe协议的话，直接就可以跟CPU通信的。

盘骏：最近业界有一个趋势，Storage over PCI Express，这个SOP跟等会我要讲的SOP还不一样。

张广彬：现在这个简写太多，好比ATM，听着还是不一样的。

盘骏：自动提款机。

盘骏：然后它这个Storage就是存储，PCIe存储。它现在包括三种，从消费类的SATA Express，这个是面向客户端的，消费类的；还有一个是NVMe，（Non-Volatile Memory Express），它也是基于一个PCIe，它就客户端也可以用，服务器端也可以用。最后一个是叫SCSI Express，SCSI就是传统的SCSI，它那个就比较偏向于服务器端，现在有三个是并行的协议在发展。

张广彬：我的理解，这个SCSI Express有点像SAS，它受到PCIe的威胁，我把我的协议跑到你PCIe上面去。然后呢，这个SATA Express有点像SATA也好，叫AHCI也好，它往PCI Express上来搬，那NVMe相对来说，好像更全新一些。

盘骏：没错，其实我的看法跟你差不多，SATA Express，它就是SATA后面多了Express，都是一样的。

曾智强：那现在我们重点可能要考虑这么一个问题，就是说NVMe跟SCSI Express这两者之间，它们各自有什么不同的地方，我觉得可能这两个之间竞争的意味可能更大一些，因为现在你看很多厂商，很多都是支持NVMe，但是SCSI Express那边，我觉得还是做SOP要顺口一点。

张广彬：你这个SOP就非彼SOP了。

曾智强：对，这个SOP应该是SCSI over PCI Express。

盘骏：是这样子的，SCSI Express它的核心技术就是两个，一个是SOP是SCSI over PCI Express，还有一个是PQI。

张广彬：跟QPI又不一样。

盘骏：当然不一样， PQI那个P刚好就是PCI Express architecture queuing interface，说明它是一个队列接口，它这两个加起来它就完成了一个SCSI Express，其他的那些都是一些基础的技术，现有的技术。然后NVMe它比较新，所以说那些东西都是他全新的东西，就是跟其他不太一样的。

张广彬：但是它，我也看到一些，咱们一块看，我也说到，它那个NVMe它也是队列，排队这个技术，它比这个好像，我看指标好像比SATA，比那些AHCI要高很多。

盘骏：这个高太多了，这不能比。

张广彬：有多高，说起来吓唬吓唬我们。

盘骏：先说SATA，32个队列，我们再看看SAS是多少个队列，您应该很熟吧？

张广彬：我知道是某64开头，但是后面还跟着一个数。

曾智强：SAS应该在256。

张广彬：我还以为你说这个NVMe，这个SAS是256。

盘骏：那其实很多硬盘只是64。但是也比桌面那个要强，但是NVME，它那个就支持在主机端，在那边64K个Q。

曾智强：6万4。

张广彬：更吓人的还在后面。

盘骏：每一个Q它支持64K个命令，这个命令就是排队，Command。

张广彬：SATA其实能够实现排队，它也是到AHCI才可以，它是能支持几个命令？

盘骏：还是32。

张广彬：就是它每个Q里面，它是几个。

盘骏：每个Q是32个。

张广彬：就是32个Q，32个？。

盘骏：没有，就一个Q。

张广彬：对对，所以那就差多了。

盘骏：这个所以说在企业级里面很少用AHCI，都是用SAS兼容SATA，那个AHCI一般就是用来做启动盘或者光驱，就这两种。

曾智强：但是我有这个问题，你看NVME是64K再乘以64K的这么一个排队，这有必要这么多吗？或者说这个我觉得从现目前看，或者未来几年看，这么多命令就是说能给我们多大帮助，就是说还是说你尽管像SAS那样的，我能够有256，但是我始终还是只用64。

盘骏：这其实你要考虑到NVME，NV这两个字。

张广彬：不是NVidia。

盘骏：而是NVM，这个说的更准确。它是面向闪存，因为根据我们的测试，闪存现在做到单个东西可以做到330K IOPS，那你64K，那你几秒钟就填满了。就是说64K说多也不多，但是比以前肯定多很多。还有关于64K个Q，它有另外一个作用，它可以把不同的Q分散到不同的CPU核里面，因为我们最近测试，你也可能也听我经常说，就是你IOPS高了，你CPU某一个核被占满了。

张广彬：它不会分配任务。

盘骏：现在这种协议也是，AHCI很明显，它就有这个问题，像SAS它没有那么严重，但是它也有这方面的问题。像NVMe现在这个系统，它就避免了这个，单个核过窄，这个是非常有必要的。

曾智强：有点像Load Balance的感觉。

张广彬：其实你来参加过EMC的VNX的话，它不是说…。

曾智强：对对对，就是多核优化。

张广彬：其实我不知道你有没有这种感觉，就是说咱们以前没有做企业级的时候，老觉得企业级，你知道都很高端。其实后来你觉得，有些东西就不要对它有那种畏惧心理，包括其实你那个SAN，SAN上接的盘阵，它从逻辑上看起来，其实就是一个大硬盘，逻辑上是那样的。包括这个MCX我看了以后，我也觉得就是说，那要往不好里说，那以前用的多核，白用了。

曾智强：对，就只当一个单核用。

张广彬：其实它这个MCx它这个就是多核技术，应该叫Multicore initative或者，它是多核扩展技术。其实给我的感觉就是说，它也是把这个SSD的访问，RAID的访问，以前它是一个核负责RAID，一个核负责什么这个，一个核负责那个，有的核跑满了，有的核还很闲。然后他现在扩展每个核所有任务都跑，这样的话能够提高利用率，那这样的话就跟NVMe要做的事情其实差不多，也不是很高端。那其实这一点就是说，我刚才其实就想问盘大师，因为你特别的提到了，说到这个PCIe的多用途，咱们不考虑消费类的那些设备连接，其实这回公布的东西挺多的。另外一个咱们也不考虑一些，先把一些外部连接放在一边，咱们就是说它的提升性能，PCIe的4.0，然后包括它这么多的协议，包括你刚才其实特别，你特别提到了，就是说是Storage over PCIe，其实你们是不是跟这个闪存，闪存的出现对于带宽的苛求，还有对于延迟的要求有很直接的关系。

盘骏：就是这样的，因为其实前一段时间文章也写过。我们测试过多款的PCIe接口的闪存，现在很容易就能够1、2GB或者3GB，那它就已经达到X8，就是现在PCIE 2.0 X8的极限，再接下去就得用3.0了，你要是想用SAS、SATA那你根本就没有办法满足，就是这个才催生了Storage over PCIe。

张广彬：那其实要往这方面来说的话，其实你看这个12G的SAS，它的带宽你要X4的话其实也挺高的，你因为有人，你要再弄个X8呢？其实可能也能威胁到PCIe，但是延迟上，毕竟还多一个转换，但是SATA那边，SATA好像就没有12G这样高的规格了。

盘骏：因为SATA IO，就是定SATA标准那个官方组织，它的考量就是你要SATA6G，现在是6G，升到SATA 12G，你要做的东西太多了。以前你不用换线缆，但是现在你要了，以前可能你不用换接口，那接下来可能你得换，布线什么也挺麻烦，所以他们暂时不考虑迁移到SATA 12G，他们现在提供的方案就是SATA Express，转到PCI Express上面来。

张广彬：那也就是说，是不是可以这么说，SATA IO就是SATA的标准组织，国际组织。那它是不是就等于它的硬件，电器接口的规范上，它就等于说暂时是归顺了PCI Express。

盘骏：其实从它自己一个文档来说，它就是一个over PCI Express。

张广彬：也就是说，就等于它这个就是等于我把我自己的电器的，原来我自己做我那一套接口什么的，我现在我不要了，再往下发展挺麻烦，这个东西不要了。

曾智强：而且做不到。

张广彬：我就投降你PCIe了，我跟你混了。

曾智强：那我就在你上面跑，相当于是我借你的路。

张广彬：那说到这个，说到路来说，SATA Express因为其实我觉得这个，你出新一代，你把标准接口什么都变了，跟以前不一样了，我觉得现在问题也不大，很多平板也好，甚至手机，将来甚至手机或者笔记本，变了就变了，关键是软件兼容性，以前的软件都可以用，那SCSI Express主打的也是这个，那NVMe是不是就要从头干起。

盘骏：没错，NVME正因为它新架构，它寄存器什么之类，它是通过寄存器等等来确定这个设备，它都改了，所以你需要，粗浅的来说，你就是装上去了你得自己装驱动，像SATA Express，你插上线就跟以前一样用，这也是他们一个优势。

张广彬：这让我们想起好像早期，从IDE硬盘向PATA硬盘转移的时候，Windows也是不带驱动的，驱动都要自己带，将来NVMe也会有这么一天的，但是可能不光是这么一个问题。那其实还有一个问题，就是说我们也知道，就是你这边，你要是跑，我们知道其实现在PCIe的SSD，其实有很多还是用SATA或者SAS的SSD弄一个SAS控制器，那边是PCIe，这边是SAS，弄桥接的，那其实这样的话，如果NVMe都出来，那边再弄桥接这也就不靠谱了。

曾智强：对，你相当于是要经过两次转换。

张广彬：可是这样的话，就是不经过转换的，那种所谓的原生的（Native）PCIe控制器的有几家？

曾智强：还是挺少的，但是已经有了。比如说像闪存的老大哥Fusion-io，它是原生的，虽然被人攻击是FPGA的模式，但是它至少是原生的；另外一个可能会比较要提一下，就是IDT，现在已经被PMC给收购了，它是ASIC，而且它是支持NVMe的，最主要的是，而且它是全球第一个开发出，就是支持NVMe主控，闪存控制器的这么一个公司，这个我觉得可能它这一块比较牛。另外一个它肯定就是NAND闪存老大哥，三星，它肯定会有的；另外的话可能还有就是Virident，之前被西数给收购了。而且从收购来看的话，他们价格还挺高，我就觉得可能做PCIe控制器可能不是那么好做。

张广彬：包括其实国内的有Memblze，它们其实和Fusion-io都是用来FPGA的，因为其实咱们认为是量没有那么大。像IDT用ASIC，其实这个倒是跟原生不原生没有太大关系，包括三星，三星它的叫XS1715，它那个SSD是支持SSF-8639和NVMe的，他的控制器应该也是它自己的。但是这就可能就有一个问题了，就是说现在能做PCIe原生控制器的厂商还是偏少，LSI只是做一个（英语），还没能供货，包括SanDisk，可能也要再等一两个季度。本来就少，你说在这个标准上，又分NVMe和SCSI Express，会不会造成一定的割裂？

盘骏：其实现在有很多厂商可能是两边压宝，像三星。

张广彬：对，包括像其实LSI也是两边压，PMC有可能也是，它把IDT收购了，实际上来说。

曾智强：它是以SAS发家的。

张广彬：对，但是你不能一个控制器同时支持NVME和SCSI Express。

盘骏：其实你花点钱可以做得到，但是没有必要。

张广彬：可以扩展一下使用范围，不管到哪都能插，插了就能用。

盘骏：如果你是他们老大，我会支持你。

张广彬：难道这就是我当不上老大的原因吗？

曾智强：我觉得可能这里面最大的一个问题就是说给谁用的问题，你要是给数据中心里面用的话，我觉得没必要两个都支持。

盘骏：这个东西根据传统，还是会支持SOP，SCSI Express居多。

张广彬：NVME不会那么甘心投降的。

盘骏：NVME它厂商太多了，80家。

曾智强：而且我们耳熟能详的英特尔、三星、微软什么。

张广彬：“软哥”（指微软）的支持很重要，“软哥”提供驱动。

曾智强：对，我觉得他们，你看，我们现在你买电脑你会考虑什么因素，或者说买服务器你会考虑什么因素，首先肯定考虑。

张广彬：买不起，首先考虑钱的因素。

曾智强：那我觉得如果说你不谈钱的话，你肯定要考虑是哪家出的服务器，用哪家的软件，用哪家的配件，我觉得你看，尽管你比如说像PMC或者LSI他们都是在以SAS技术闻名的，但是它们还是要把它们的一些，要在NVMe那边去投入。我觉得可能就是说，但是他们会有墙头草的这么一种感觉，两边押宝。但是我觉得像英特尔他们那边的话，他主推这么一个趋势的话。

盘骏：其实英特尔它没有SAS的基因啊。

曾智强：对。

张广彬：对。

盘骏：像至强E5那个（SAS），他也搞不定。

张广彬：太……太惨了！人家现在都12G了，它还是3G呢。

曾智强：所以我就觉得，英特尔它是这么一个心态，我搞不定你SAS，你去搞NVMe，这样子做的话，然后再加上它的老朋友微软，一起打天下的这么一个老朋友，这么做出来我觉得，NVMe虽然看着前路还是有点坎坷的，因为毕竟大家，新东西大家还没有接受，但是我觉得有这几个厂商去做的话，阻力不是那么大。

张广彬：我觉得其实它有可能是最光明的。

盘骏：我觉得也是。

张广彬：因为英特尔推动的标准，其实相对来说都比较简单，你看以太网，跟英特尔有一腿。SATA也是，虽然SATA现在变节了，投降了。NVMe，我觉得这个英特尔还是，不能说信英特尔得永生，但是有时候这英特尔在推一些标准，肯定有它的小九九，它要是到SCSI Express那里头去，它就得当小弟，这么一弄它就是老大哥。

盘骏：像AHCI也是它（英特尔）推的。

曾智强：对，所以说我就觉得，这个关于SOP和NVMe，他们两者之间到底该怎么去选择的话，我觉得可能现在还看不清楚，而且可能还需要等到具体的产品出来之后，到实际环境里面去用，然后看哪方面，哪个阵营的用户多，然后能够成为主导。我觉得可能就是说在技术方面倒是其次的。

张广彬：但是我就觉得，这里有一个深深的感触，咱们虽然说第二个话题说是闪存，谈了半天PCIE，但是这后面很多驱动的因素，都是闪存.闪存对于这种连接技术，对于这个的改变实在太大了。

曾智强：尤其是存储方面的改变，刚刚盘大师都说了，Storage over PCIe。所以说我觉得可能PCIE的话，它现在来讲的话，它可能就有点像那种以前的SCSI这么一种感觉，一统天下。

张广彬：SCSI一统天下得看从哪个层面上来说，构建模型是挺像的。

曾智强：对。

张广彬：我觉得倒有可能像以太网，一定程度上有点像，放到网络里面去，有点像以太网，什么东西到后来。以太网一开始也是不跑存储的，后来弄一个iSCSI，而且以太网跟那些InfiniBand，一开始InfiniBand看不起它，但是InfiniBand看不起它，不代表InfiniBand一开始过得好，但是你看现在这个也有竞争，也有勾兑，包括以太网Ethernet InfiniBand，这个连接，那实际上现在包括像外电的报道说，说咱们回到那个话题，PCIe 4.0带宽比InfiniBand还高，你觉得它们短期内会形成竞争关系吗？

盘骏：我觉得其实PCIe带宽一直都比InfiniBand高。

张广彬：它得有多个Line才行。

盘骏：它的优点是它的线缆比较长，所以它能走出机箱外，PCIe的话带宽很高，因为你AHCI嘛，InfiniBand也要插上那个，必定是它（PCIe）高一点，但是如果是PCIE，它能稍微走出大概5米到10米，那么它就很有对抗能力。

张广彬：对，有些厂商由于有一些比较小众的方案，对，但是你大众上来说，短时期，就打一个不恰当的比喻，你短时期内，你还不能想象PCIe去跟以太网竞争，它主要更多的是支持以太网的带宽，好比你用10GB的以太网卡，这边还是PCIe 1.0，估你也憋得够呛。

盘骏：那就是说从，你刚才那里说得很对，现在InfiniBand经常用在那种超算上面，所以它用得很多InfiniBand的卡，但是你像PCIe你要走出去的话，我估可能你还得额外配其他的东西，估未来一小段时间，可能还是很难发展的。

曾智强：还是共存的，所以说可能即使要竞争它，首先还得去包容它，就是说要抓住一个男人，首先要抓住他的胃。

张广彬：满足他对于带宽的这种渴求。

曾智强：对，现在可能就是说，关于PCIe的协议，还有包括其他的一些东西，我们可能也聊得差不多了，包括像它的4.0，或者像NVMe跟SOP的竞争，以及PCIe 4.0跟InfiniBand这么一个关系，可能差不多也到此为止了。然后以后的话，我觉得可能这方面，虽然说天气会慢慢的转凉，但是我觉得这方面的话题肯定会越来越热，以后的话我们再持续关注这个话题，OK。