稀疏矩阵的填充非常慢,在本征中没有内存增益

Very slow filling of sparse matrix and no memory gain in Eigen

本文关键字:内存 填充 非常      更新时间:2023-10-16

我正在尝试实现 Eigen 教程中给出的示例作为伪代码。据我了解,它说明了填充稀疏矩阵的推荐方法,前提是每列的非零条目数是已知的。

伪代码位于标题">填充稀疏矩阵"下,编写如下:

1: SparseMatrix<double> mat(rows,cols);         // default is column major
2: mat.reserve(VectorXi::Constant(cols,6));
3: for each i,j such that v_ij != 0
4:   mat.insert(i,j) = v_ij;                    // alternative: mat.coeffRef(i,j) += v_ij;
5: mat.makeCompressed();                        // optional

我尝试将其转换为 C 的尝试见下文。我(希望(写了 vee((,它将在每列创建 2500 个非零元素。因此,2500 应对应于示例中的 6。我将其设置为 3000 进行测试。也压缩了。

不幸的是,我不了解该程序的行为。它在几秒钟内执行 i=0...3000,然后卡住几分钟。然后它进入 6000 并再次卡住几分钟。为什么会这样以及如何获得更好的性能?

此外,内存使用情况非常奇怪。您可以看到,有时在结束时,Eigen 使用的内存明显多于GSL中相应密集矩阵所需的内存。使用的内存也波动很大。步长大于 100MB

我像这样编译和运行:

ludi@ludi-M17xR4:~/Desktop/tests$ g++ -o eigenfill.x eigenfill.cc -L/usr/local/lib -lgsl -lgslcblas && ./eigenfill.x

#include <iostream>
#include <stdio.h>
#include <stdlib.h>     
#include <Eigen/Sparse>
#include <gsl/gsl_matrix.h>
#define rows 1e4
#define cols 1e4

/*-- DECLARATIONES --*/
int FillMatrix(Eigen::SparseMatrix<double> mat);
double vee(int i, int j);
int main()
{
printf("---> Watch gsl matrix memory usage!n");    
gsl_matrix *testmat = gsl_matrix_calloc(rows, cols);
sleep(20);
gsl_matrix_free(testmat);
printf("---> Watch eigen matrix memory usage!n");  
Eigen::SparseMatrix<double> mat(rows,cols);         // default is column major
FillMatrix(mat);
printf("------------------------DONE");
return(0);
}
/*-- --*/
int FillMatrix(Eigen::SparseMatrix<double> mat)
{
int i, j;
Eigen::VectorXd Vres;
mat.reserve(Eigen::VectorXi::Constant(cols,3000));
    for(i=0;i<rows;i++)
    {
        if(i%500==0){printf("i= %in", i);}
    for(j=0;j<cols;j++)
        {
        if (vee(i,j) != 0){mat.insert(i,j) = vee(i,j);    /*alternative: mat.coeffRef(i,j) += v_ij;*/ }
        }
    }
printf("--->starting compression"); 
mat.makeCompressed();
return(0);
}
/*-- --*/
double vee(int i, int j)
{
    double result = 0.0;
    if(j%4 == 0){result =1.0;}
    return result;
}
/*-- --*/

编辑

一个答案提醒我,我需要使用地址,因为 FillMatrix(( 的局部变量在运行时会消失。我尝试了以下方法,但无法编译:

#include <iostream>
#include <stdio.h>
#include <stdlib.h>     
#include <Eigen/Sparse>
#include <gsl/gsl_matrix.h>
#define rows 1e4
#define cols 1e4

/*-- DECLARATIONES --*/
int FillMatrix(Eigen::SparseMatrix<double> & mat);
double vee(int i, int j);
int main()
{
printf("---> Watch gsl matrix memory usage!n");    
gsl_matrix *testmat = gsl_matrix_calloc(rows, cols);
sleep(20);
gsl_matrix_free(testmat);
printf("---> Watch eigen matrix memory usage!n");  
Eigen::SparseMatrix<double> mat(rows,cols);         // default is column major
FillMatrix(& mat);
printf("------------------------>DONEn");
return(0);
}
/*-- --*/
int FillMatrix(Eigen::SparseMatrix<double> &mat)
{
int i, j;
Eigen::VectorXd Vres;
mat.reserve(Eigen::VectorXi::Constant(cols,3000));
    for(i=0;i<rows;i++)
    {
        if(i%500==0){printf("i= %in", i);}
    for(j=0;j<cols;j++)
        {
        if (vee(i,j) != 0){mat.insert(i,j) = vee(i,j);    /*alternative: mat.coeffRef(i,j) += v_ij;*/ }
        }
    }
printf("--->starting compressionn");   
mat.makeCompressed();
return(0);
}
/*-- --*/
double vee(int i, int j)
{
    double result = 0.0;
    if(i%4 == 0){result =1.0;}
    return result;
}
/*-- --*/

错误消息是:

ludi@ludi-M17xR4:~/Desktop/tests$ g++ -o eigenfill.x eigenfill.cc -L/usr/local/lib -lgsl -lgslcblas && ./eigenfill.x
eigenfill.cc: In function ‘int main()’:
eigenfill.cc:24:17: error: invalid initialization of non-const reference of type ‘Eigen::SparseMatrix<double>&’ from an rvalue of type ‘Eigen::SparseMatrix<double>*’
 FillMatrix(& mat);
                 ^
eigenfill.cc:12:5: error: in passing argument 1 of ‘int FillMatrix(Eigen::SparseMatrix<double>&)’
 int FillMatrix(Eigen::SparseMatrix<double> & mat);
     ^
ludi@ludi-M17xR

编辑如果我写:

填充矩阵(垫子(;

而不是

填充矩阵(&mat(;

我不明白。最后一个不应该是正确的吗?

这是因为您完全填充了四列。它如下所示:

1 0 0 0 1 0 0 0 1 ...
1 0 0 0 1 0 0 0 1 ...
1 0 0 0 1 0 0 0 1 ...
1 0 0 0 1 0 0 0 1 ...
...

i%4 == 0替换j%4 == 0就可以完成这项工作。内存使用量将精确为:2500*cols*(sizeof(double)+sizeof(int)) + cols*sizeof(int)

您还必须修复FillMatrix的原型,以便填充真实矩阵而不是临时矩阵:

int FillMatrix(Eigen::SparseMatrix<double> &mat);

最后,如果您的目标实际上是处理具有大约 1/4 非零的稀疏矩阵,那么密集表示可能会更快。