使用按位运算符消除分支

Branching elimination using bitwise operators

本文关键字：分支 运算符      更新时间：2023-10-16

我在一个运行大约 2^26 次的循环中有一些关键的分支代码。分支预测不是最佳的，因为m是随机的。我将如何删除分支，可能使用按位运算符？

bool m;
unsigned int a;
const unsigned int k = ...; // k >= 7
if(a == 0)
    a = (m ? (a+1) : (k));
else if(a == k)
    a = (m ?     0 : (a-1));
else
    a = (m ? (a+1) : (a-1));

这是gcc -O3生成的相关程序集：

.cfi_startproc
movl    4(%esp), %edx
movb    8(%esp), %cl
movl    (%edx), %eax
testl   %eax, %eax
jne L15
cmpb    $1, %cl
sbbl    %eax, %eax
andl    $638, %eax
incl    %eax
movl    %eax, (%edx)
ret
L15:
cmpl    $639, %eax
je  L23
testb   %cl, %cl
jne L24
decl    %eax
movl    %eax, (%edx)
ret
L23:
cmpb    $1, %cl
sbbl    %eax, %eax
andl    $638, %eax
movl    %eax, (%edx)
ret
L24:
incl    %eax
movl    %eax, (%edx)
ret
.cfi_endproc

无分支无除法模可能很有用，但测试表明，在实践中并非如此。

const unsigned int k = 639;
void f(bool m, unsigned int &a)
{
    a += m * 2 - 1;
    if (a == -1u)
        a = k;
    else if (a == k + 1)
        a = 0;
}

测试用例：

unsigned a = 0;
f(false, a);
assert(a == 639);
f(false, a);
assert(a == 638);
f(true, a);
assert(a == 639);
f(true, a);
assert(a == 0);
f(true, a);
assert(a == 1);
f(false, a);
assert(a == 0);

实际上，使用测试程序进行计时：

int main()
{
    for (int i = 0; i != 10000; i++)
    {
        unsigned int a = k / 2;
        while (a != 0) f(rand() & 1, a);
    }
}

（注意：没有srand，所以结果是确定性的。

我原来的答案：5.3秒

题中的代码：4.8s

查找表： 4.5s （ static unsigned lookup[2][k+1]; ）

查找表： 4.3s （ static unsigned lookup[k+1][2]; ）

埃里克的答案：4.2秒

此版本： 4.0s

我发现最快的现在是表实现

我得到的时间（针对新的测量代码进行了更新）

HVD 的最新：9.2s

表版本：7.4s（k=693）

表创建代码：

    unsigned int table[2*k];
    table_ptr = table;
    for(int i = 0; i < k; i++){
      unsigned int a = i;
      f(0, a);
      table[i<<1] = a;
      a = i;
      f(1, a);
      table[i<<1 + 1] = a;
    }

表运行时循环：

void f(bool m, unsigned int &a){
  a = table_ptr[a<<1 | m];
}

使用 HVD 的测量代码，我看到了 rand（） 主导运行时的成本，因此无分支版本的运行时范围与这些解决方案大致相同。 我将测量代码更改为此代码（更新以保持随机分支顺序，并预先计算随机值以防止 rand（） 等破坏缓存）

int main(){
  unsigned int a = k / 2;
  int m[100000];
  for(int i = 0; i < 100000; i++){
    m[i] = rand() & 1;
  }
  for (int i = 0; i != 10000; i++
  {
    for(int j = 0; j != 100000; j++){
      f(m[j], a);  
    }
  }
}

我认为你不能完全删除分支，但你可以通过先在 m 上分支来减少数量。

if (m){
    if (a==k) {a = 0;} else {++a;}
}
else {
    if (a==0) {a = k;} else {--a;}
}

添加到锑的重写中：

if (a==k) {a = 0;} else {++a;}

看起来像是环绕式的增加。你可以把它写成

a=(a+1)%k;

当然，只有当部门实际上比分支快时，这才有意义。

不确定另一个;懒得考虑（~0）%k会是什么。

这没有分支。由于 K 是常数，因此编译器可能能够根据其值优化模数。如果K是"小"的，那么完整的查找表解决方案可能会更快。

bool m;
unsigned int a;
const unsigned int k = ...; // k >= 7
const int inc[2] = {1, k};
a = a + inc[m] % (k+1);

如果 k 不够大，不足以导致溢出，您可以执行以下操作：

int a; // Note: not unsigned int
int plusMinus = 2 * m - 1;
a += plusMinus;
if(a == -1) 
    a = k; 
else if (a == k+1) 
    a = 0;
仍然是分支，

但分支预测应该更好，因为边缘条件比 m 相关条件更罕见。

相关文章：