快速计算 CSV 文件 C++ 中的行数

quick way to count number of rows in a csv file c++

本文关键字：C++ 文件 计算 CSV      更新时间：2023-10-16

我的目的是在工作线程读取 CSV 文件并向主 GUI 发出更新进度的信号时，在主 GUI 中更新进度条。

有没有一种快速计算 csv 文件中的行数的方法？ 下面的代码不处理任何数据需要 33 秒来遍历整个文件。

如果我在第二次读取文件时包括数据的实际处理，则需要额外的 86 秒。

如果我串联这样做，我有 10 个文件，加载文件需要 20 分钟。我可以尝试并行读取它们以减少时间，但我想进一步减少每个单独文件的读取时间。

关于如何实现这一目标的任何建议将不胜感激。

QTime myTimer;
myTimer.start();
QFile file( ui->Data->text().toStdString().c_str());
if (!file.open(QIODevice::ReadOnly | QIODevice::Text))
return;
int rows = 0;
while (!file.atEnd())
{
QByteArray line = file.readLine();
rows++;
}
qDebug() << "number of rows" << rows;
/*io::CSVReader<2> in(ui->Data->text().toStdString().c_str());
in.read_header(io::ignore_extra_column,"Absolute time","Pressure");
std::string Abst;
double PressureData;
in.read_row(Abst,PressureData);
m_Pressures.reserve(1000000);
//qDebug() << QString::fromStdString(Abst) << ts.time_since_epoch().count();
while(in.read_row(Abst,PressureData))
{
time_stamp ts = convertFileNameToTimestamp(Abst);
Pressure p(ts,PressureData);
m_Pressures.push_back(p);
}
qDebug() << m_Pressures[0].GetPressure() << m_Pressures[0].GetTimeStamp().time_since_epoch().count();
*/
int nMilliseconds = myTimer.elapsed();
qDebug() << "Elapsed time in milliseconds" << nMilliseconds;

下面是 CSV 文件的行示例。 有7567241行。

2019-08-31 16:28:29.283250,35.3457375033909

要显示进度条，您只需计算：

int progress_percent = processed_bytes * 100. / file_size;

但是，了解 CSV 行数可能允许您预先分配列数组以读取，而无需重新分配内存。行数的上限是换行符的计数 +1(如果最后一行不以换行符结尾(。

相关文章：