Recientemente, ha llegado a ser popular poner juntas colecciones de benchmarks para intentar medir el funcionamiento de procesadores con una variedad de aplicaciones. Por supuesto, tales conjuntos son solamente tan buenos como los benchmarks individuales constitutivas. No obstante, una ventaja dominante de tales conjuntos es que la debilidad de cualquier un programa de prueba es disminuida por la presencia de los otros benchmarks.
El conjunto más popular y comprensivo de los benchmarks de CPU es la colección de benchmarks de SPEC (Standart Performance Evaluation Corporation). La SPEC fue creado por un grupo de compañías de computadoras en 1989 para mejorar la medida e informa de CPU ejecución por el uso de un proceso mejor de medida y el uso de benchmarks más realistas. Fueron desarrollado cinco generaciones de conjuntos de benchmarks: SPEC89, SPEC92, SPEC95, SPEC CPU2000 y SPEC CPU2006. Ultimo conjunto de benchmarks fue lanzado en 24 de agosto de 2006.
Los benchmarks de SPEC son los programas reales modificados para reducir los efectos de E/S al rendimiento. Dos grupos principales son los conjuntos de benchmarks de enteros y de punto flotante. Por ejemplo, el conjunto de benchmarks CINT2006 (SPEC CPU2006) se compone por el conjunto de 12 programas escritos para los cálculos intensivos sobre los números enteros en lenguajes C, C++: perlbench, bzip2, gcc, mcf, gobmk, hmmer, sjeng, libquantum, h264ref, omnetpp, astar, xalancbmk
Conjunto de benchmarks CFP2006 (SPEC CPU2006) se compone por el conjunto de 17 programas escritos para los cálculos intensivo sobre los números de punto flotante en lenguajes C, C++ y Fortran: bwaves, gamess, milc, zeusmp, gromacs, cactusADM, leslie3d, namd, dealII, soplex, povray, calculix, GemsFDTD, tonto, lbm, wrf, sphinx3.
Para cada conjunto de programas se representan los resúmenes separados. Todos resultados se calculan como ratios de tiempos para ejecutar un conjunto de benchmarks de una computadora (el rendimiento de cual se evalúa) a los tiempos de computadora de referencia.
La máquina de referencia para conjunto de benchmarks SPEC CPU2006 es la estación de trabajo Sun Ultra Enterprise 2 con procesador UltraSPARC II de 296 MHz.
Por ejemplo, los últimos resultados obtenidos con utilización de SPEC CINT2006 para una computadora de escritorio en la base procesador Intel Pentium Extreme Edition 965 de 3.73 GHz muestran que esta maquina ejecuta este conjunto de benchmarks en el 11.7 veces más rápido que la máquina de referencia Sun Ultra Enterprise 2 con procesador UltraSPARC II de 296 MHz.
La computadora en la base del procesador Intel Core 2 Extreme Processor X6800 de 2.93 GHz para el mismo conjunto de benchmarks (SPEC CINT2006) tiene el índice de 18.5.
Los resultados de medición del rendimiento de las mismas computadoras para el conjunto de benchmarks SPEC CFP2006 son siguientes:
- Computadora de escritorio en la base procesador Intel Pentium Extreme Edition 965 de 3.73 GHz tiene el índice de 12.7
- Computadora en la base del procesador Intel Core 2 Extreme Processor X6800 de 2.93 GHz tiene el índice de 16.8
Todavía se utiliza el conjunto de los benchmarks SPEC CPU2000. Conjunto SPEC CPU2000 contiene 2 surtidos (sets) para evaluar el rendimiento de los sistemas de cómputo para aplicaciones de enteros (CINT2000 o SPECint_base2000) y para aplicaciones de punto flotante (CFP2000 o SPECfp_base2000).
El conjunto de benchmarks SPEC CPU2000 tiene 11 programas de enteros: griz, vpr, gcc, mcf, crafty, parser, con, perlmbk, gap, vortex, briz2, twolf; y 14 programas de punto flotante: wupwise, swim, morid, apply, mesa, galgel, art, equake, facerec, ammp, lucas, fma3d, sixtrack, apsi.
La maquina de referencia del conjunto de benchmarks SPEC2000 es SUN Ultra-10 de 300 Mhz.
En la figura 2.10.1 se representan los índices de los benchmarks SPEC CPU2000 (SPECint_base2000 y SPECfp_base2000) normalizados relativamente el índice del Procesador Pentium 4 Extreme Edition con tecnología HT de 3.73 GHz (calculado con conjuntos de benchmarkss SPECint_base2000 y SPECfp_base2000) de los procesadores: Intel Pentium Extreme Edition 965 de 3.73 GHz y Intel Core 2 Extreme Processor X6800 de 2.93 GHz.
Figura 2.10.1 El rendimiento relativo de los procesadores de Intel: Pentium 4 EE con tecnología HT de 3.73 GHz; Pentium EE de 3.73 GHz y Core 2 Extreme Processor de 2.93 GHz.
La SPEC desarrolla los conjuntos de benchmarks para medir el rendimiento de las aplicaciones específicas como las aplicaciones de 3D grafica (SPECviewperf® 9; SPECviewperf® 8.1; SPECapcSM for 3ds Max, SPECapc for UGS NX 3), los conjuntos de benchmarks para los servidores (WEB2005).
Los conjuntos de benchmarks para las computadoras incrustadas se desarrollan por el EEMBC (Embedded Microprocessor Benchmark Consortium, fundado en 1997).