如何在现代x86 - 64 Intel CPU上实现每个周期4次浮点运算（双精度）的理论峰值性能？
据我所知，在大多数现代Intel CPU上，SSEadd需要三个周期，mul需要五个周期才能完成（例如参见Agner Fog's 'Instruction Tables'）。由于流水线操作，可以获得每个周期一个add的吞吐量，如果该算法具有至少三个独立的总和，由于这对于压缩addpd以及纯量addsd版本皆为真，且SSE寄存器可包含两个double，吞吐量可以是每个周期两个触发器。
此外，看起来（虽然我没有看到任何关于这方面的适当文档）add和mul可以并行执行，理论上每个周期的最大吞吐量为4个触发器。
然而，我还不能用一个简单的C/C ++程序来复制这样的性能。我最好的尝试是每周期2.7次。如果有人能贡献一个简单的C/C ++或汇编程序来展示峰值性能，那将非常感谢。
我的尝试：
#include <stdio.h>
#include <stdlib.h>
#include <math.h>
#include <sys/time.h>
double stoptime(void) {
struct timeval t;
gettimeofday(&t,NULL);
return (double) t.tv_sec + t.tv_usec/1000000.0;
}
double addmul(double add, double mul, int ops){
// Need to initialise differently otherwise compiler might optimise away
double sum1=0.1, sum2=-0.1, sum3=0.2, sum4=-0.2, sum5=0.0;
double mul1=1.0, mul2= 1.1, mul3=1.2, mul4= 1.3, mul5=1.4;
int loops=ops/10; // We have 10 floating point operations inside the loop
double expected = 5.0*add*loops + (sum1+sum2+sum3+sum4+sum5)
+ pow(mul,loops)*(mul1+mul2+mul3+mul4+mul5);
for (int i=0; i<loops; i++) {
mul1*=mul; mul2*=mul; mul3*=mul; mul4*=mul; mul5*=mul;
sum1+=add; sum2+=add; sum3+=add; sum4+=add; sum5+=add;
}
return sum1+sum2+sum3+sum4+sum5+mul1+mul2+mul3+mul4+mul5 - expected;
}
int main(int argc, char** argv) {
if (argc != 2) {
printf("usage: %s <num>\n", argv[0]);
printf("number of operations: <num> millions\n");
exit(EXIT_FAILURE);
}
int n = atoi(argv[1]) * 1000000;
if (n<=0)
n=1000;
double x = M_PI;
double y = 1.0 + 1e-8;
double t = stoptime();
x = addmul(x, y, n);
t = stoptime() - t;
printf("addmul:\t %.3f s, %.3f Gflops, res=%f\n", t, (double)n/t/1e9, x);
return EXIT_SUCCESS;
}编制单位：
g++ -O2 -march=native addmul.cpp ; ./a.out 1000在英特尔酷睿i5 - 750（2.66 GHz）上产生以下输出：
addmul: 0.270 s, 3.707 Gflops, res=1.326463也就是说，每个周期只有大约1.4次触发，看一看g++ -S -O2 -march=native -masm=intel addmul.cpp的汇编代码，主循环对我来说似乎是最优的。
.L4:
inc eax
mulsd xmm8, xmm3
mulsd xmm7, xmm3
mulsd xmm6, xmm3
mulsd xmm5, xmm3
mulsd xmm1, xmm3
addsd xmm13, xmm2
addsd xmm12, xmm2
addsd xmm11, xmm2
addsd xmm10, xmm2
addsd xmm9, xmm2
cmp eax, ebx
jne .L4将标量版本改为压缩版本（addpd和mulpd）会使触发器数量翻倍，而不会改变执行时间，因此我得到的每个周期的触发器数量仅为2.8个，有没有一个简单的例子可以实现每个周期的触发器数量为4个？
Mysticial的小节目不错;下面是我的结果（运行几秒钟虽然）：
gcc -O2 -march=nocona：10.66千兆浮点运算中的5.6千兆浮点运算（2.1浮点运算/周期）cl /O2，已删除openmp：10.66 Gb/s中的10.1 Gb/s（3.8次/周期）
这一切似乎有点复杂，但我的结论到目前为止：
gcc -O2更改独立浮点运算的顺序，目的是尽可能交替使用addpd和mulpd。gcc-4.6.2 -O2 -march=core2也是如此。gcc -O2 -march=nocona似乎保持了C++源代码中定义的浮点运算顺序。cl /O2，来自SDK for Windows 7的64位编译器自动进行循环展开，似乎尝试和安排操作，以便三个addpd的组与三个mulpd的组交替（嗯，至少在我的系统和我的简单程序上）。- 我的酷睿i5750（Nehalem architecture）不喜欢交替使用add和mul，似乎无法并行运行这两种操作，但是，如果将它们组合成3个操作，它会突然像魔术一样工作。
- 其他架构（可能是Sandy Bridge和其他架构）似乎能够并行执行add/mul而不会出现问题，如果它们在汇编代码中交替使用的话。
- 虽然很难承认，但是在我的系统上，
cl /O2在底层优化操作方面做得更好，并且在上面的C++示例中实现了接近峰值的性能。我测量了1.85 - 2.01次/周期（在Windows中使用clock（），这并不精确。我想，需要使用更好的计时器-感谢Mackie Messer）。 - 我在
gcc上做得最好的是手动循环展开，并以三个为一组来安排加法和乘法。使用g++ -O2 -march=nocona addmul_unroll.cpp，我得到的最好的0.207s, 4.825 Gflops对应于1.8次/周期，我现在很满意。
在C++代码中，我将for循环替换为：
for (int i=0; i<loops/3; i++) {
mul1*=mul; mul2*=mul; mul3*=mul;
sum1+=add; sum2+=add; sum3+=add;
mul4*=mul; mul5*=mul; mul1*=mul;
sum4+=add; sum5+=add; sum1+=add;
mul2*=mul; mul3*=mul; mul4*=mul;
sum2+=add; sum3+=add; sum4+=add;
mul5*=mul; mul1*=mul; mul2*=mul;
sum5+=add; sum1+=add; sum2+=add;
mul3*=mul; mul4*=mul; mul5*=mul;
sum3+=add; sum4+=add; sum5+=add;
}现在，该组件如下所示：
.L4:
mulsd xmm8, xmm3
mulsd xmm7, xmm3
mulsd xmm6, xmm3
addsd xmm13, xmm2
addsd xmm12, xmm2
addsd xmm11, xmm2
mulsd xmm5, xmm3
mulsd xmm1, xmm3
mulsd xmm8, xmm3
addsd xmm10, xmm2
addsd xmm9, xmm2
addsd xmm13, xmm2
...
4条答案
按热度按时间jaql4c8m1#
我以前也做过类似的工作，但主要是为了测量功耗和CPU温度，下面的代码（相当长）在我的酷睿i72600K上达到了接近最佳的效果。
这里要注意的关键是大量的手动循环展开以及乘法和加法的交错...
完整的项目可以在我的GitHub上找到：https://github.com/Mysticial/Flops
警告：
确保你不会使它过热，并且确保CPU节流不会影响你的结果!
此外，我对运行此代码可能导致的任何损害概不负责。
ICC 11（英特尔编译器11）在编译时遇到了令人惊讶的问题。
机器是酷睿i7 2600K@4.4 GHz。理论SSE峰值是4次浮点运算 * 4.4 GHz =17.6次浮点运算。此代码实现了17.3次浮点运算-不错。
理论SSE峰值为4次浮点运算 * 4个内核 * 4.4 GHz =70.4 GB浮点运算。实际值为65.5 GB浮点运算。
让我们更进一步。AVX ......
理论AVX峰值为8次浮点运算 * 4.4 GHz =35.2 G浮点运算。实际值为33.4 G浮点运算。
理论AVX峰值为8次浮点运算 * 4个内核 * 4.4 GHz =140.8 G浮点运算。实际值为138.2 G浮点运算。
性能关键部分显然是内循环中的48条指令。您会注意到，它被分成4个指令块，每个指令块12条指令。这12个指令块中的每一个指令块彼此完全独立，平均需要6个周期来执行。
因此，从发布到使用之间有12条指令和6个周期，乘法的延迟是5个周期，因此足以避免延迟停顿。
规范化步骤是防止数据溢出/下溢所必需的，这是因为不做任何事情的代码将缓慢地增加/减少数据的大小。
因此，如果只使用全零并省去归一化步骤，实际上可能会做得更好。然而，由于我编写基准测试是为了测量功耗和温度，我必须确保触发器使用的是"真实"数据，而不是零-因为执行单元很可能对零有特殊的情况处理，这样功耗和发热都更少。
更多结果：
理论SSE峰：4次触发 * 3.5 GHz =14.0 G触发。实际值为13.3 G触发。
理论SSE峰：4次浮点运算 * 4个内核 * 3.5 GHz =56.0 GB浮点运算。实际值为51.3 GB浮点运算。
我的处理器温度在多线程运行时达到76C!如果运行这些，请确保结果不受CPU限制的影响。
理论SSE峰：4次触发 * 3.2 GHz =12.8 G触发。实际值为12.3 G触发。
理论SSE峰：4次浮点运算 * 8个内核 * 3.2 GHz =102.4 GB浮点运算。实际值为97.9 GB浮点运算。
nqwrtyyt2#
在Intel架构中，有一点人们经常忘记，Int和FP/SIMD之间共享调度端口。这意味着在循环逻辑在浮点流中创建气泡之前，您只能获得一定数量的FP/SIMD突发。Mystical从他的代码中获得了更多的触发器，因为他在展开循环中使用了更长的步长。
如果您看一下这里的Nehalem/桑迪Bridge体系结构http://www.realworldtech.com/page.cfm?ArticleID=RWT091810191937&p=6，就会非常清楚发生了什么。
相比之下，在AMD（推土机）上达到峰值性能应该更容易，因为INT和FP/SIMD管道有单独的发布端口，并有自己的调度程序。
这只是理论上的，因为我没有这两个处理器进行测试。
fafcakar3#
分支肯定会让你无法维持理论上的最佳性能。如果你手动地展开一些循环，你会发现有什么不同吗？例如，如果你在每个循环迭代中放置5倍或10倍的操作：
9rbhqvlz4#
在2.4GHz英特尔酷睿2双核上使用英特尔icc版本11.1
这非常接近理想的9.6 Gflops。
编辑：
哎呀，看看汇编代码，似乎icc不仅向量化了乘法，而且还把加法从循环中拉了出来。强制使用更严格的fp语义，代码不再向量化：
编辑2：
根据要求：
clang代码的内部循环如下所示：
编辑3：
最后，两点建议：首先，如果你喜欢这种类型的基准测试，可以考虑使用
rdtsc指令代替gettimeofday(2)，它更精确，并且以周期为单位提供时间，这通常是你感兴趣的，对于gcc和朋友，你可以这样定义它：第二，你应该多次运行你的基准测试程序，并且只使用 * 最佳性能 *。在现代操作系统中，许多事情是并行发生的，cpu可能处于低频节能模式，等等。反复运行程序会给你一个更接近理想情况的结果。