版权归原作者所有,如有侵权,请联系我们

[科普中国]-SPEC基准

科学百科
原创
科学百科为用户提供权威科普内容,打造知识科普阵地
收藏

基准程序(benchmark)是为评估一台机器而执行的程序。通常,基准程序是一个生产程序(production program),它代表了安装时的很多工作。

概述基准程序(benchmark)是为评估一台机器而执行的程序。通常,基准程序是一个生产程序(production program),它代表了安装时的很多工作。评估人员非常熟悉现有设备上的基准程序的性能,因此,当它在新设备上运行时,评估人员可以得出有意义的结论。一些组织,诸如标准性能评估公司(Standard Performance Evaluation Corporation,SPEC;WWW.specbench.org)和商业应用性能测试公司(Business Application PerformanceCorporation,BAPCo:WWW.bapco.com),已经开发了适用于不同系统(例如,Web服务器或个人计算机)的工业标准的基准程序。评估人员可以运行这些基准程序来比较不同厂商生产的相似系统。

基准程序评估的一个优点是目前已有很多这样的基准程序,因此评估人员只需从已知的生产程序中选择它们,或者使用工业标准的基准程序。这种方法不用对各指令进行计时,而是让整个程序在真实的机器上用真实的数据运行,因此计算机完成了绝大部分工作。人工错误的机会被最小化,因为基准程序的时间是由计算机本身测量的。在诸如多道程序系统、分时系统、多处理系统、数据库、数据通信和实时系统等环境下,基准程序特别有用,因为它们在真实环境中的真实机器上运行。这些复杂系统的效果可以直接体验到,而不是通过估计。

开发基准程序时应考虑若干标准。首先,测试结果应该是可重复的;特别是,在相同的系统上运行基准程序时,每次产生的结果应接近相同。运行结果不一定相等,而且也很少会相同,因为一些环境相关的细节(诸如一个数据项在磁盘上的存储位置)会影响运行结果。其次,基准程序应准确反映在真实系统上执行的应用程序的类型。最后,基准程序应当得到广泛使用,以便可以对系统作出更准确的比较。一个良好的工业标准的基准程序将具备所有这些性质,然而,后面两个标准往往会导致冲突的设计决策。某个系统专用的基准程序,可能无法广泛使用;而一个旨在测试多个系统的基准程序,对某个特定的系统可能不能产生准确的测试结果。

基准程序不仅适用于评估软件,而且也适用于评估硬件,甚至可以评估它们在复杂操作环境下的性能。它们也特别适合于比较对系统作出某些变更前后系统的操作。然而,基准程序不适合预测计划变更的效果,除非存在另一个系统也作了相同的变更,并且基准程序可以在它上面运行。

当组织和消费者决定从若干竞争厂商那里购买哪种设备时,基准程序可能是最广泛使用的技术。由于这种广泛性,产生了行业标准的基准程序的需求。SPEC成立于1988年,为了推动标准的、相关基准程序的制定。SPEC公布了各种基准程序(通常称为SPECmarks),它们可用来评测各种各样的系统(从服务器到Java虚拟机),并且公布了用那些SPECmarks测试上千个商业系统的性能结果。有了SPEC评估,就可以作出基于可靠信息的决策,决定采购哪些计算机元件。然而,在评估特定的平台时,首先必须认真确定每次SPECmark测试的核心。例如,SPECweb测量那些通常运行Web服务器的系统,而不应当用它们来比较在不同环境中执行的系统。29如果某个特定的Web服务器的环境不同于一个“典型的”环境,则SPEC评估可能不恰当。此外,SPEC的某些基准程序因适用范围狭窄而受到批评,尤其是受到那些怀疑“典型”负荷可以准确地近似一个特定系统的真实工作量的假设的人的批评。为了突破这样的限制,SPEC不断地重新设计基准程序,以改进它们与当前系统的相关性。

除了著名的SPEC和它的基准程序以外,还有许多其他流行的基准程序和基准测试组织。这其中包括BAPCo,它也产生了几个基准程序,包括流行的Sysmark基准程序(适用于桌面系统)、MobileMark(适用于安装在移动设备上的系统)和WebMark(适用于Internet性能测试)。其他流行的基准程序包括事务处理性能委员会(Transaction ProcessingPerformance Council,TPC)基准程序(以数据库系统为目标),以及标准应用(StandardApplication,SAP)基准程序(适用于评估系统的可伸缩性)。1

SPEC基准程序系列SPEC基准程序系列是由名为Standard Performance Evaluation Corporation作盈利公司所开发的。SPEC强调开发实际应用基准程厅以求更确切地反映实际工作负载,而不采用小的合成核心。对每个基准程序和基准程序组,SPEC定义了少量的(大多数情况为2个)指标以测量整个系统的总性能。

SPEC以测量CPU性能的基准程序作为出发点,但已向客户机/服务器计算,商业应用以及I/O广系统等方面扩展。目前SPEC已公布如下的基准程序组:

SPEC 95:测量CPU、存储器系统和编译器代码生成性能。

SPEC hpc 96:测量运行工业型应用程序的高性能计算系统的性能。目前它包括两个基准程序:地震处理基准程序SPEC seis 96和计算化学基准程序SPEC chem 96。

SPEC web 96:测量基于由现实世界WWW服务器运行记录而获得的工作负载的Web服务器性能。

SFS:为系统级文件服务器基准程序,它包含有LADDIS基准程序并测量不同负载情况下的NFS文件服务器的响应时间和吞吐率。

SDM:为系统开发多仔务基准程序,测量一个系统如何处理一个有大量用户发出典型的Unix软件开发命令(如make、cp、grep及spell等)的环境。它含有两个由Unix shell脚本构成的多用户Unix命令基准程序。

GPC:图形性能特征描述基准程序,测量图形学性能。它包含3个正在不断发展的研究项目。图片级基准程序(Picture Level Benchmark,PLB)测量“每秒向量数”和“每秒多边形数”图形处理能力、X性能特征描述(X Performance Characterization,XPC)项目开发了Xmark 93基准程序测试工具以测量X窗口性能。Open GL性能特征描述(Open G1 Performance Characterization,OPC)项目已开发了Viewperf基准程序以测量Open GL性能。2

本词条内容贡献者为:

王沛 - 副教授、副研究员 - 中国科学院工程热物理研究所