在处理大数据集时加速QSortFilterProxyModel过滤

Speed up QSortFilterProxyModel filtering when dealing with nearly large data sets

本文关键字：加速 QSortFilterProxyModel 过滤 数据集 处理      更新时间：2023-10-16

之前，我问过a question关于多列过滤的问题，我们需要表示适合多个过滤模式的行。

现在，当处理大表时(big指的是大约200,000行和4列)，如果我们有一个那么大的表，过滤会变得很慢(通常情况下，过滤模式的前2个字符是最糟糕的)。

那么你对此有什么建议?

注意:我有我自己的高性能源数据模型(而不是QStandardItemModel)基于this的例子，在大约1秒内为我的视图提供行数

<标题>编辑1

改变我的方法:

bool filterAcceptsRow(int source_row, const QModelIndex &source_parent) const {
if (/* filtering is enable*/) {
    bool _res = sourceModel()->data(sourceModel()->index(source_row, 0, source_parent)).toString().contains( /*RegExp for column 0*/);
    for (int col = 0; col < columnCount(); col++) {
        _res &= sourceModel()->data(sourceModel()->index(source_row, col + 1, source_parent)).toString().contains(/*RegExp for column col + 1*/);
    }
    return _res;
}
return true;

}

To this:

bool DataFilter::filterAcceptsRow(int source_row, const QModelIndex &source_parent) const {
    if (_enable) {
        return (sourceModel()->index(source_row, 0, source_parent.child(source_row, 0)).data().toString().contains( /*string for column 0*/ ))
            && sourceModel()->index(source_row, 1, source_parent.child(source_row, 1)).data().toString().contains(/*string for column 1*/))
            && sourceModel()->index(source_row, 2, source_parent.child(source_row, 2)).data().toString().contains(/*string for column 2*/))
            && sourceModel()->index(source_row, 3, source_parent.child(source_row, 3)).data().toString().contains(/*string for column 3*/));
    }
    return true;
}

Look works Perfect。现在，过滤就像魅力一样，没有延迟

如果项目数量非常高，您无法一次加载它们，您可以尝试仅在视图中需要时批量添加项目。这可以通过重写canFetchMore()和fetchMore()来实现。看一下Fetch More的例子。注意，这就是QSqlQueryModel内部从数据库加载大型模型的方式，见这里。

下面是如何使用这种方法实现你的模型:

#include <QApplication>
#include <QtWidgets>
class MyTableModel : public QAbstractTableModel{
public:
    explicit MyTableModel(int rowCount, QObject* parent=nullptr)
        :QAbstractTableModel(parent),currentRowCount(0),wholeRowCount(rowCount){}
    ~MyTableModel(){}
    int rowCount(const QModelIndex &parent) const override{
        if(parent.isValid()) return 0;
        return currentRowCount;
    }
    int columnCount(const QModelIndex &parent) const override{
        if(parent.isValid()) return 0;
        return 2;
    }
    QVariant data(const QModelIndex &index, int role) const override{
        Q_ASSERT(index.row()<currentRowCount);
        QVariant val;
        if(role== Qt::DisplayRole || role== Qt::EditRole){
            switch(index.column()){
            case 0:
                val= QString("#%1").arg(index.row()+1, 8, 10, QChar('0'));
                break;
            case 1:
                val= rows[index.row()];
                break;
            }
        }
        return val;
    }
    bool canFetchMore(const QModelIndex &parent) const override{
        if(parent.isValid()) return false;
        return (currentRowCount < wholeRowCount);
    }
    void fetchMore(const QModelIndex& /* index */) override{
        int toFetch= qMin(52, wholeRowCount-currentRowCount);
        char ch = 'A';
        beginInsertRows(QModelIndex(), currentRowCount, currentRowCount+toFetch-1);
        for(int i=0; i<toFetch; i++){
            rows+= QString(QChar(ch));
            if(ch == 'Z') ch = 'A';
            else ch++;
        }
        currentRowCount+= toFetch;
        endInsertRows();
    }
private:
    int currentRowCount;
    int wholeRowCount;
    QStringList rows;
};
int main(int argc, char *argv[])
{
    QApplication a(argc, argv);
    QWidget w;
    QVBoxLayout layout(&w);
    QLineEdit filterLineEdit;
    QTableView tableView;
    layout.addWidget(&filterLineEdit);
    layout.addWidget(&tableView);
    MyTableModel model(200000);
    QSortFilterProxyModel proxyModel;
    proxyModel.setSourceModel(&model);
    proxyModel.setFilterKeyColumn(-1);
    tableView.setModel(&proxyModel);
    QObject::connect(&filterLineEdit, &QLineEdit::textChanged, [&](){
        proxyModel.setFilterFixedString(filterLineEdit.text());
    });
    w.show();
    return a.exec();
}

如果你确定你真正的瓶颈是过滤，你可能还想避免使用正则表达式，如@DmitrySazonov所指出的，子类QSortFilterProxyModel，覆盖filterAcceptsRow()，并在那里提供你的算法，而不是使用通用的基于QRegExp的过滤器。

另一件要考虑的事情是，当过滤器变得更窄时，避免检查已经过滤的行，看看这个问题。

相关文章：