除了整数运算和浮点运算的差别之外,SPEC CPU2006测试还分两种:SPEED测试和RATE测试,SPEED测试类型运行单个实例,用来测试系统运行单作业的时候的运算能力,RATE测试则是运行多个实例,用来测试系统的总运算吞吐能力。SPEC CPU测试还会给出两种类型的结果:Base基准测试结果和Peak峰值测试结果,Base测试要求编译器套件按照指定的规则进行优化,而Peak测试则可以允许使用更多的优化技术,可以看出,前者可以用来简单对比不同的平台,而后者则在对比因素中加入了编译器等因素,有实力编写编译器的厂商可以从中获益。本页给出的是SPEED测试结果,按照整数到浮点、Base测试到Peak测试排列四个成绩图标,每个图表给出了测试系统及对比系统的每个子项目的成绩。图表图例文字中最后的"2S44C88T"字段指的是2 Sockets、44 Cores、88 Threads,意思是“2插槽44核心88线程”。
我们先进行了AVX编译代码的SPEED测试:
SPECint_base2006,整数,SPEED测试,Base基准测试
SPECint2006,整数,SPEED测试,Peak峰值测试
可以看出,Broadwell-EP/Xeon E5-2699 v4的SPEED性能和Haswell-EP/Xeon E5-2699 v3的整数性能不相上下,Base测试结果上Broadwell-EP要弱一点点,Peak测试上则要高一点点,这是因为Peak测试当中可以更多地利用多线程进行计算——SPEED测试是单实例测试,但并不意味着是单线程测试。不过,在很多时候,SPEED测试都仅使用到一个核心(如462.libquantum等除外),因此它们实际上有可能运行于最高Turbo频率,Broadwell-EP/Xeon E5-2699 v4和Haswell-EP/Xeon E5-2699 v3的这个频率都是3.6GHz,而Ivy Bridge-EP/Xeon E5-2697 v2是3.5GHz,Sandy Bridge则是3.8GHz,可以认为,SPEED测试大部分时间下是一个频率游戏,但每一代处理器的IPC确实会有一些提升。需要说明的是462.libquantum 物理:量子计算项目,这是一个能应用多核的测试,但看起来应用的并不够多,核心更多的Broadwell-EP在这个项目的表现要明显低于上一代。
SPECfp_base2006,浮点,SPEED测试,Base基准测试
SPECfp2006,浮点,SPEED测试,Peak峰值测试
SPEED浮点测试中,Broadwell-EP/Xeon E5-2699 v4要比Haswell-EP/Xeon E5-2699 v3略微低一点,我们认为,有两个可能的原因导致了这个情况,一个是使用的主板的Firmware尚不完善,另一个是处理器设置工作于的Cluster on Die模式。
好文章,需要你的鼓励
Salesforce研究团队发布开源工具包MCPEval,基于模型上下文协议(MCP)架构评估AI智能体工具使用性能。该工具突破传统静态测试局限,通过全自动化流程收集详细任务轨迹和协议交互数据,为智能体行为提供前所未有的可视化分析。MCPEval能快速评估MCP工具和服务器,生成综合评估报告,为企业智能体部署提供可操作的改进建议。
清华大学团队推出AnyCap项目,通过轻量级"即插即用"框架解决多模态AI字幕生成缺乏个性化控制的问题。该项目包含模型、数据集和评估基准,能让现有AI系统根据用户需求生成定制化字幕,在不重训基础模型的情况下显著提升控制能力,为AI内容创作的个性化发展奠定基础。
月之暗面Kimi K2技术报告:解读万亿参数的智能体模型(含K2与DeepSeek R1对比)
耶鲁大学团队开发了全球首个AI科学实验设计评估系统ABGEN,测试了18个先进AI模型设计消融实验的能力。研究发现最好的AI系统得分4.11分,仍低于人类专家的4.80分,但在人机协作模式下表现显著改善。研究还发现现有自动评估系统可靠性不足,建立了元评估基准ABGEN-EVAL。这项研究为AI在科学研究中的应用提供了重要评估框架。