扑朔迷离的云评估——至顶网云能力评估办法公示 原创

“雄兔脚扑朔，雌兔眼迷离；双兔傍地走，安能辨我是雄雌？”木兰辞的最后一句十分形象的对公有云主机的评测困难——对物理服务器而言，我们可以采用多种测试方法对其计算、存储、网络的最大性能进行测试，并对其结果进行比较。但是对于一个正在运行当中的云计算系统而言，我们又应该如何去分辨它的“雄雌”？

对于云计算系统的网络和网络应用测试，至顶网这两年已经积累了一些比较成功的测试经验。但是对于云主机计算处理性能评估，还只能是摸着石头过河。甚至某些同学认为这根本就是多此一举，性能不够做一下扩展就好，测试本就是多此一举。最终我们云能力评估小组在刨根问底的精神指导下，充分沟通，达成共识。在对云主机WAN网Web应用请求响应测试的基础上，尝试对云主机的计算处理性能同样进行测试。

因此，本次至顶网公有云云主机的横向对比测试，既是对公有云主机的一次评估，也是对云主机测试方法的一次摸底。现在特地把本次云主机测试方案及评估办法公示出来，希望可以起到一个抛砖引玉的做用，共同促进公有云评估技术的进步。

云主机计算性能测试——GeekBench

在以往服务器计算性能测试中，通常是采用Windows操作系统下的性能测试软件，但是在公有云主机中，大多支持的是Linux操作系统。因此，选用一个可以跨平台，支持多种操作系统的测试工具就变得十分必要了。而且还要考虑搭建测试环境的便捷性，有些专业性的CPU测试工具虽然好，但测试环境的搭建复杂，耗时很长，如果出现旧版本测试没跑完，新版本系统已上市的情况，哪就成了评测笑话了。因此，这样的测试方法，再专业、再先进，我们肯定也不会去进行考虑。最后是测试用例的代表性，可以体现出当前比较主流的计算应用性能。

基于上述通用性、便捷性、代表性的综合考虑，我们云能力评估小组最终选定可以在Windows、Linux和安卓操作系统上使用的计算性能测试工具GeekBench3.4.2来完成本次公有云主机的整数和浮点计算性能测试工作。

（Geekbench是通过一系列数据加密、数据压缩、图像压缩、图形计算、脚本处理和路径计算的方式，对CPU的整数类型计算能力进行测试；并通过期权价格模似、图像生成、锐化和模糊以及物理仿真、3D几何场景描述等浮点计算功能对CPU的浮点计算能力进行测试。并将各个测试结果综合后，统一对CPU的整数计算和浮点计算能力进行打分。）

Web应用响应测试——听云

GeekBench的测试项目虽多，但缺少对网页处理能力的测试。而Web应用响应能力，是我们运维同学最关注的测试项目。因此所选用的测试工具，也是充满着运维色彩的听云。为什么要用一个APM（应用性能管理）软件来进行Web应用测试？主要是因为现实网络环境测试和实验室环境测试有着很大的不同。在实验室环境中，我们要考验的是设备的极限承受能力。在这种测试中，有很大几率会造成破坏性后果。但是在现实网络应用环境中是很难对这种破坏性后果进行承受的。因此，在现实网络环境测试中，必须注意以下几点：

1、不能对现实网络中正在运营的业务产生过高的影响。

2、测试数据的采集点要尽量部署全面，以便于全方位的对网络传输信息进行收集。

3、测试数据的精度越高，结果越详细，可以分析出潜在问题的可能性就会越大。

从上述几点来分析，作为一款APM软件，听云本身对现实网络环境所造成影响较小(基本可以忽略不记)。发出的应用请求流量可以进行控制，便于对测试强度进行灵活掌控。最主要的是听云的监控点遍布全国各地，可以很好的对云主机全国范围内应用响应能力进行评估。至于数所采集的精度和细粒度，则需要在测试后，通过测试结果再进一步进行分析。

云计算系统平台应用体验——云能力评估专家组

云计算系统，不是一个简单的Web Server的服务器，而是为用户提供业务应用处理能力的平台。用户的应用流量是否可以平滑接入，有效分配到各个云主机上进行业务应用处理；业务数据可否快捷高效的进行调用；还有域名备份、问题沟通、平台使用的难易度等等。要想搞清这些问题，就需要一一对不同的公有云平台进行实际使用的体验。

为此，我们至顶网云能力小组运维专家乐乐同学、首度技术官书葆老师共同承担了这项任务，从实际应用的角度出发，对不同云计算系统平台分别进行体验，并一一进行评价。只有通过实际的应用才能产生最直观的体现。这也是他们在百忙的工作之中，一定要抽出时间进行这项测试的一个最主要原因。希望通过我们绝对可以称得上是一线技术专家的体验测试，能向大家提供出一份绝对实用的应用体验资料。

梳理云评估办法，让云计算有理可依

计算性能、Web应用响应和系统平台应用体验，是云能力评估小组在公有云技术评估道路上的又一次尝试。云计算从诞生到现在，已经经历了十多年的技术发展，然而可以公开的评估指标和规范，却始终是凤毛麟角。梳理出一套切实可用，真正对用户有指导意义的云计算评估办法，是至顶网云能力评估小组当前最热切的追求。

但是也不能为了评测而评测，还需要对测试结果进行更加深入的分析。云是一个具有高度灵活性的产品，公有云厂商产品为什么会有这样的技术指标设计，需要在测试中深入挖掘。不但要有测试的方法，还要了解测试的道理，确保评估指标的有效性，这样才可以更加全面的真实的去进行评估。

因此，我们云能力评估小组在对公有云主机性能进行评测的同时，还举行了一次大规模的公有云用户实施情况调研。从中收集到了上千份有效调研问卷，从而获得第一手的用户公有云使用情况。相关报告将先于公有云评测报告对外公开发布。

除用户调研外，我们也非常重视有关技术专家对公有云的观点。为此我们还将征集一批知名企业的网络技术专家，来倾听一下他们对公有云技术的真知灼见，并邀请他们参与对公有云厂商的技术点评。通过这些工作在第一线的技术专家，对各大公有云厂商产品技术产生更深入的了解。

最后，我们将把本次的公有云评测结果按厂商生成独立的测试报告。由于时间和精力有限，本次公有云主机评测我们只选择了十家当前比较主流的国内外公有云厂商产品进行测试。它们分别是AWS、Azure、阿里云、百度云、华为云、金山云、京东云、青云、腾讯云以及UCloud（厂商排名不分先后）。接下来我们将对这些公有云主机测试结果一一进行分析，并逐一呈现给广大用户。希望通过这次公有云主机评估办法的梳理，可以让云计算更加有理可依，让用户可以更有针对性的对云主机加以选择。

——————————————————

至顶网云能力评估小组是以至顶网技术部为主导，评测实验室为辅助的第三方媒体评测机构。云能力评估小组力求从用户实际应用需求维度出发，以客观、公正、真实、开放的态度，对当前云计算产品、技术及应用进行测试、评估和分析。以实际产品应用能力为基准，站在第三方的立场上，对当前最新云计算及相关技术，进行客观、公平、公正的评论，并将测试方法、测试结果和结论公开对外展示。