稀疏矩阵的填充非常慢,在本征中没有内存增益
Very slow filling of sparse matrix and no memory gain in Eigen
我正在尝试实现 Eigen 教程中给出的示例作为伪代码。据我了解,它说明了填充稀疏矩阵的推荐方法,前提是每列的非零条目数是已知的。
伪代码位于标题">填充稀疏矩阵"下,编写如下:
1: SparseMatrix<double> mat(rows,cols); // default is column major
2: mat.reserve(VectorXi::Constant(cols,6));
3: for each i,j such that v_ij != 0
4: mat.insert(i,j) = v_ij; // alternative: mat.coeffRef(i,j) += v_ij;
5: mat.makeCompressed(); // optional
我尝试将其转换为 C 的尝试见下文。我(希望(写了 vee((,它将在每列创建 2500 个非零元素。因此,2500 应对应于示例中的 6。我将其设置为 3000 进行测试。也压缩了。
不幸的是,我不了解该程序的行为。它在几秒钟内执行 i=0...3000,然后卡住几分钟。然后它进入 6000 并再次卡住几分钟。为什么会这样以及如何获得更好的性能?
此外,内存使用情况非常奇怪。您可以看到,有时在结束时,Eigen 使用的内存明显多于GSL中相应密集矩阵所需的内存。使用的内存也波动很大。步长大于 100MB
我像这样编译和运行:
ludi@ludi-M17xR4:~/Desktop/tests$ g++ -o eigenfill.x eigenfill.cc -L/usr/local/lib -lgsl -lgslcblas && ./eigenfill.x
#include <iostream>
#include <stdio.h>
#include <stdlib.h>
#include <Eigen/Sparse>
#include <gsl/gsl_matrix.h>
#define rows 1e4
#define cols 1e4
/*-- DECLARATIONES --*/
int FillMatrix(Eigen::SparseMatrix<double> mat);
double vee(int i, int j);
int main()
{
printf("---> Watch gsl matrix memory usage!n");
gsl_matrix *testmat = gsl_matrix_calloc(rows, cols);
sleep(20);
gsl_matrix_free(testmat);
printf("---> Watch eigen matrix memory usage!n");
Eigen::SparseMatrix<double> mat(rows,cols); // default is column major
FillMatrix(mat);
printf("------------------------DONE");
return(0);
}
/*-- --*/
int FillMatrix(Eigen::SparseMatrix<double> mat)
{
int i, j;
Eigen::VectorXd Vres;
mat.reserve(Eigen::VectorXi::Constant(cols,3000));
for(i=0;i<rows;i++)
{
if(i%500==0){printf("i= %in", i);}
for(j=0;j<cols;j++)
{
if (vee(i,j) != 0){mat.insert(i,j) = vee(i,j); /*alternative: mat.coeffRef(i,j) += v_ij;*/ }
}
}
printf("--->starting compression");
mat.makeCompressed();
return(0);
}
/*-- --*/
double vee(int i, int j)
{
double result = 0.0;
if(j%4 == 0){result =1.0;}
return result;
}
/*-- --*/
编辑
一个答案提醒我,我需要使用地址,因为 FillMatrix(( 的局部变量在运行时会消失。我尝试了以下方法,但无法编译:
#include <iostream>
#include <stdio.h>
#include <stdlib.h>
#include <Eigen/Sparse>
#include <gsl/gsl_matrix.h>
#define rows 1e4
#define cols 1e4
/*-- DECLARATIONES --*/
int FillMatrix(Eigen::SparseMatrix<double> & mat);
double vee(int i, int j);
int main()
{
printf("---> Watch gsl matrix memory usage!n");
gsl_matrix *testmat = gsl_matrix_calloc(rows, cols);
sleep(20);
gsl_matrix_free(testmat);
printf("---> Watch eigen matrix memory usage!n");
Eigen::SparseMatrix<double> mat(rows,cols); // default is column major
FillMatrix(& mat);
printf("------------------------>DONEn");
return(0);
}
/*-- --*/
int FillMatrix(Eigen::SparseMatrix<double> &mat)
{
int i, j;
Eigen::VectorXd Vres;
mat.reserve(Eigen::VectorXi::Constant(cols,3000));
for(i=0;i<rows;i++)
{
if(i%500==0){printf("i= %in", i);}
for(j=0;j<cols;j++)
{
if (vee(i,j) != 0){mat.insert(i,j) = vee(i,j); /*alternative: mat.coeffRef(i,j) += v_ij;*/ }
}
}
printf("--->starting compressionn");
mat.makeCompressed();
return(0);
}
/*-- --*/
double vee(int i, int j)
{
double result = 0.0;
if(i%4 == 0){result =1.0;}
return result;
}
/*-- --*/
错误消息是:
ludi@ludi-M17xR4:~/Desktop/tests$ g++ -o eigenfill.x eigenfill.cc -L/usr/local/lib -lgsl -lgslcblas && ./eigenfill.x
eigenfill.cc: In function ‘int main()’:
eigenfill.cc:24:17: error: invalid initialization of non-const reference of type ‘Eigen::SparseMatrix<double>&’ from an rvalue of type ‘Eigen::SparseMatrix<double>*’
FillMatrix(& mat);
^
eigenfill.cc:12:5: error: in passing argument 1 of ‘int FillMatrix(Eigen::SparseMatrix<double>&)’
int FillMatrix(Eigen::SparseMatrix<double> & mat);
^
ludi@ludi-M17xR
编辑如果我写:
填充矩阵(垫子(;
而不是
填充矩阵(&mat(;
我不明白。最后一个不应该是正确的吗?
这是因为您完全填充了四列。它如下所示:
1 0 0 0 1 0 0 0 1 ...
1 0 0 0 1 0 0 0 1 ...
1 0 0 0 1 0 0 0 1 ...
1 0 0 0 1 0 0 0 1 ...
...
用i%4 == 0
替换j%4 == 0
就可以完成这项工作。内存使用量将精确为:2500*cols*(sizeof(double)+sizeof(int)) + cols*sizeof(int)
。
您还必须修复FillMatrix
的原型,以便填充真实矩阵而不是临时矩阵:
int FillMatrix(Eigen::SparseMatrix<double> &mat);
最后,如果您的目标实际上是处理具有大约 1/4 非零的稀疏矩阵,那么密集表示可能会更快。
- 将字符串存储在c++中的稳定内存中
- 在c++中用vector填充一个简单的动态数组
- C++ 指针的内存地址和指向数组的内存地址如何相同?
- 内存集不会填充整个指针数组 c++
- 如何在<N>不发生内存泄漏的情况下同时(线程安全)填充 c++11 std::map<std::string,std::bitset*>?
- 结构/类是否以某种方式影响内存填充
- 写入 int 与 uint16_t 时的内存填充
- 根 - 填充失败分支:内存驻留树
- 是一个哨兵 QWidget 一个好主意(以防止在创建和填充布局时出现内存泄漏)
- 填充 2D 动态数组时"无法读取内存"
- std::bitset 是否保证连续内存以及结构中的恒定大小(以避免填充?
- 为什么这个字符数组包含未填充的内存
- C++编译器内存填充:对象是否应该具有相同的大小
- 稀疏矩阵的填充非常慢,在本征中没有内存增益
- 使用__declspec的内存填充问题
- [C++]在此代码之前不存在的析构函数中引发的内存错误。尝试创建一个新的动态数组并填充它
- 内存填充问题
- 使用内存变量初始化填充位结构体
- C/ c++线程调用填充内存
- Cython:让python创建要用C++填充的内存