O(log n) 索引更新和搜索

O(log n) index update and search

本文关键字:更新 搜索 索引 log      更新时间:2023-10-16

我需要跟踪大型文本文件中的索引。 我一直在保留索引和随附数据的std::map作为快速黑客。 如果用户在文本中的字符 230,400,我可以显示文本的任何元数据。

现在我的地图变大了,我遇到了一些速度问题(正如预期的那样)。

例如,如果在开头修改了文本,我需要将地图中该位置之后的索引递增 1,这是一个 O(N) 操作。

将其

更改为 O(log N) 复杂性的好方法是什么? 我一直在看AVL阵列,它很接近。

我希望有O(log n)时间进行更新和搜索。 例如,如果用户在文本数组中使用字符 500,000,我想非常快速地查找该字符是否有任何元数据。

(忘了补充:用户可以随时添加元数据)

容易。创建偏移量的二叉树。

任何偏移量的值都是通过在节点为右子节点时将树从叶遍历到根添加偏移量来计算的。

然后,如果在文件的早期添加文本,则只需要更新节点的偏移量,这些节点是更改的偏移量的父级。也就是说,假设您在第一个偏移量之前添加了文本,您将添加到根节点的字符数相加。现在,一半的偏移量已得到纠正。现在遍历到左子项并再次添加偏移量。现在更新了 3/4s 的偏移量。继续遍历添加偏移的左子项,直到更新所有偏移。

@OP:

假设您有一个包含 8 个字符的文本缓冲区,并在奇数字节中偏移了 4 个:

the tree:              5
                      / 
                     3   2
                    /  / 
                    1 0 0 0
sum of right
children (indices) 1  3 5  7

现在假设您在偏移量 4 处插入了 2 个字节。缓冲区为:

01234567

现在它的

0123xx4567

因此,您只需修改主宰已更改的阵列部分的节点。在这种情况下,只是需要修改根节点。

the tree:              7
                      / 
                     3   2
                    /  / 
                    1 0 0 0
sum of right
children (indices) 1  3 7  9

求和规则是从叶子到根,我和我自己,如果我是父母的正确孩子,我父母的价值。

要查找我当前位置是否有索引,我从根目录开始,并询问此偏移量是否大于我的位置。如果是,我向左遍历,什么也不添加。如果没有,我向右遍历并将值添加到我的索引中。如果在遍历结束时我的值等于我的索引,那么是的,有一个注释。您可以使用最小和最大索引执行类似的遍历,以查找主导范围内所有索引的节点,找到我正在显示的文本的所有索引。

哦......这只是一个玩具的例子。实际上,您需要定期重新平衡树,否则,如果您继续在文件的一部分添加新索引,则可能会得到一个失去平衡的树,最坏情况的性能将不再是O(log2 n),而是O(n)。为了保持树的平衡,你需要实现一个平衡的二叉树,如"红/黑树"。这将保证 O(log2 n) 性能,其中 N 是元数据的数量。

不要存储索引! 没有办法做到这一点,同时性能比O(n)更好 - 在数组的开头添加一个字符,你将不得不增加n - 1索引,没有办法绕过它。

但是,如果您改为存储子字符串长度,则只需更改每个级别的树结构一个,从而使您最多O(log n)。 我的(未经测试的)解决方案是使用带有附加到节点的元数据的 Rope - 您可能需要稍微玩一下,但我认为这是一个坚实的基础。

希望对您有所帮助!