Xtensor 和 XSIMD:提高缩减性能

xtensor and xsimd: improve performance on reduction

本文关键字：高缩减 性能 XSIMD Xtensor      更新时间：2023-10-16

我试图在 NumPy 中使用 xtensor 在缩减操作(例如元素总和(上获得相同的性能。

我为并行计算启用了 xsimd，但它没有效果。

以下是基准代码：

#include <iostream>
#include "xtensor/xreducer.hpp"
#include "xtensor/xrandom.hpp"
#include <ctime>
using namespace std;

pair<double, double> timeit(int size, int n=30){
double total_clocks = 0;
double total_sum = 0;
for (int i=0;i<n;i++){
xt::xtensor<double, 1> a = xt::random::rand({size}, 0., 1.);
int start = clock();
double s = xt::sum(a, xt::evaluation_strategy::immediate)();
int end = clock();
total_sum += s; total_clocks += end-start;
}
return pair<double, double>(total_clocks/CLOCKS_PER_SEC/n, total_sum); 
}
int main(int argc, char *argv[])
{
for (int i=5;i<8;i++){
int size = pow(10, i);
pair<double, double> ret = timeit(size);
cout<<"size: "<<size<< " t " <<ret.first<<" sect"<<ret.second<<endl;
}
return 0;
}

并在启用和不启用xsimd和启用所有优化的情况下编译它 (-O3(：

$ g++ -DXTENSOR_USE_XSIMD -O3  -march=native -I/home/--user--/install_path/include "./18. test speed 2.cpp" -o a && ./a
size: 100000     0.0001456 sec     1.49984e+06
size: 1000000    0.0013149 sec     1.50002e+07
size: 10000000   0.0125417 sec     1.49995e+08

$ g++ -O3  -march=native -I/home/--user--/install_path/include "./18. test speed 2.cpp" -o a && ./a 
size: 100000     0.0001433 sec     1.49984e+06
size: 1000000    0.0012621 sec     1.50002e+07
size: 10000000   0.0124868 sec     1.49995e+08

顺便说一下，使用 numpy 的相同操作：

$ python bench.py
size: 100000     0.000030 sec
size: 1000000    0.000430 sec
size: 10000000   0.005144 sec

快约4倍！

设置

  • 乌班图 18.04
  • 酷睿i7处理器
  • 最新版本的软件包

如何提高张量性能？ 提前感谢((

根据这个 github 问题，我已经打开
了-mavx2并且应该启用-ffast-math标志！

$ g++ -mavx2 -ffast-math -DXTENSOR_USE_XSIMD -O3 -I/home/--user--/install_path/include ./bench.cpp -o a && ./a
size: 100000        3.489e-05 sec   4.99932e+06
size: 1000000       0.00050792 sec  4.99989e+07
size: 10000000      0.00544542 sec  4.99997e+08

感谢邓邦杰！

相关文章：