非常快的文本文件处理 (C++）

我编写了一个在GPU上处理数据的应用程序。代码运行良好，但我有一个问题，即输入文件的读取部分(~3GB，文本(是我的应用程序的瓶颈。(从硬盘读取速度很快，但逐行处理速度较慢(。

我用 getline(( 读取一行并将第 1 行复制到向量，将第 2 行复制到向量并跳过第 3 行和第 4 行。其余 11 条 mio 线以此类推。

我尝试了几种方法在最佳时间获取文件：

我发现的最快的方法是使用boost：：iostreams：：stream

其他是：

• 将文件读取为 gzip 格式，以最小化 IO，但比直接读取慢阅读它。
• 通过读取将文件复制到RAM(文件指针，字符，长度(并用循环处理它以区分线条(也比 boost 慢(

有什么建议如何让它运行得更快吗？

void readfastq(char *filename, int SRlength, uint32_t blocksize){
    _filelength = 0; //total datasets (each 4 lines)
    _SRlength = SRlength; //length of the 2. line
    _blocksize = blocksize;
    boost::iostreams::stream<boost::iostreams::file_source>ins(filename);
    in = ins;
    readNextBlock();
}

void readNextBlock() {
    timeval start, end;
    gettimeofday(&start, 0);
    string name;
    string seqtemp;
    string garbage;
    string phredtemp;
    _seqs.empty();
    _phred.empty();
    _names.empty();
    _filelength = 0;
            //read only a part of the file i.e the first 4mio lines
    while (std::getline(in, name) && _filelength<_blocksize) {
        std::getline(in, seqtemp);
        std::getline(in, garbage);
        std::getline(in, phredtemp);
        if (seqtemp.size() != _SRlength) {
            if (seqtemp.size() != 0)
                printf("Error on read in fastq: size is invalidn");
        } else {
            _names.push_back(name);
            for (int k = 0; k < _SRlength; k++) {
                //handle special letters
                                    if(seqtemp[k]== 'A') ...
                                    else{
                _seqs.push_back(5);
                                    }
            }
            _filelength++;
        }
    }

编辑：

源文件可在 https://docs.google.com/open?id=0B5bvyb427McSMjM2YWQwM2YtZGU2Mi00OGVmLThkODAtYzJhODIzYjNhYTY2 下下载

由于一些指针问题，我更改了函数 readfastq 以读取文件。因此，如果您调用readfastq，则blocksize(以行为单位(必须大于要读取的行数。

溶液：

我找到了一个解决方案，它将文件的读取时间从 60 秒增加到 16 秒。我删除了处理特殊字符的内部循环并在 GPU 中执行此操作。这减少了读入时间，并且仅增加了最小的 GPU 运行时间。

感谢您的建议。

void readfastq(char *filename, int SRlength) {
    _filelength = 0;
    _SRlength = SRlength;
    size_t bytes_read, bytes_expected;
    FILE *fp;
    fp = fopen(filename, "r");
    fseek(fp, 0L, SEEK_END); //go to the end of file
    bytes_expected = ftell(fp); //get filesize
    fseek(fp, 0L, SEEK_SET); //go to the begining of the file
    fclose(fp);
    if ((_seqarray = (char *) malloc(bytes_expected/2)) == NULL) //allocate space for file
        err(EX_OSERR, "data malloc");

    string name;
    string seqtemp;
    string garbage;
    string phredtemp;
    boost::iostreams::stream<boost::iostreams::file_source>file(filename);

    while (std::getline(file, name)) {
        std::getline(file, seqtemp);
        std::getline(file, garbage);
        std::getline(file, phredtemp);
        if (seqtemp.size() != SRlength) {
            if (seqtemp.size() != 0)
                printf("Error on read in fastq: size is invalidn");
        } else {
            _names.push_back(name);
            strncpy( &(_seqarray[SRlength*_filelength]), seqtemp.c_str(), seqtemp.length()); //do not handle special letters here, do on GPU
            _filelength++;
        }
    }
}