为什么linux在分配动态内存时会占用一些额外的空间
Why does linux take some extra space when allocating dynamic memory?
我正在做一个项目,该项目需要对大量字符串值进行快速字符串搜索。我决定使用Trie进行搜索,这种方法很快。这是与我的问题相关的项目的一部分:
class TTrieNode{
public:
char c;
bool data;
TTrieNode *left, *mid, *right;
TTrieNode(){
left = mid = right = NULL;
c = data = 0;
}
};
class TTrie{
private:
TTrieNode *root;
TTrieNode *insert(TTrieNode*n, char *s, int idx){
char ch = s[idx];
if(!n){
n = new TTrieNode();
n->c = ch;
}
if(ch < (n->c)){
n->left = insert(n->left, s, idx);
}else if(ch > (n->c)){
n->right = insert(n->right, s, idx);
}else if(idx+1 < strlen(s))
n->mid = insert(n->mid, s, idx+1);
else
n->data = true;
return n;
}
public:
TTrie() {
root = NULL;
}
void insert(char *s) {
root = insert(root, s, 0);
}
};
一切都很好,直到我们在真实数据上测试了我的Trie。根据我对节点数量和每个节点占用的空间量的计算,它应该占用~ 40gb的RAM,但令我惊讶的是,它占用了~ 70gb。起初我认为这是因为每个节点的内存对齐(只是一个原始的猜测!),所以我使用__attribute__((packed, aligned(1)))
与我的TTrieNode
定义!使用这个并没有产生很大的不同。经过大量测试后,我使用了一些手动内存分配。因此,每次我想要将内存分配给新节点时,我没有调用new
,而是在程序开始时分配了~ 50gb的RAM,并使用以下自定义新函数:
TTrieNode *memLoc;
int memIdx;
void initMemory(){
memLoc = (TTrieNode*) malloc(MAXNODES * sizeof(TTrieNode));
memIdx = 0;
}
TTrieNode*myNew(){
memLoc[memIdx].left = memLoc[memIdx].right = memLoc[memIdx].mid = NULL;
memLoc[memIdx].c = memLoc[memIdx].data = 0;
return &memLoc[memIdx ++];
}
这是非常令人惊讶的,但这一次,程序占用了我预期的内存量!
现在我的问题是:
为什么每个new (malloc)
都有一些额外的内存?是否有某种类型的指针在内核/用户级别为每个内存分配?我还没有在windows(或任何其他操作系统)中测试我的代码,但想知道这些操作系统上是否也有一些类似的行为
每个分配的块有8到16个字节的开销。在典型的x86_64分配器中,为了能够在释放内存块时正确地组织内存块,需要8字节的开销。还有一个16字节对齐要求,所以一个已经是16字节的倍数的块获得基本的8字节开销需要再浪费8字节。
典型的64位设计:每个块前面有一个8字节的控制字。大部分控制字需要给出该块的大小,因此可以释放它。底部的几个位可用于其他目的,因为大小可被16整除。这些目的中最重要的是知道前面的块是否空闲。当这个块被释放时,如果前一个块已经被释放,那么它将被合并。如果可能的话,它还会与下一个区块合并。但是能够做到这一点并不需要额外的信息。
常见的最小信息是令人惊讶的(和优雅的),特别是每个块头必须包含一个位来说明前一个块是否空闲,但不需要一个位来说明当前块是否空闲。对于合并,您可以找到下一个块,因为您知道该块的大小。但是,如果信息很少,你就无法找到前一个块,除非你已经知道它是免费的,但你不需要找到它,除非它是免费的。因此,在一个空闲块的末尾有一个指向它的开始的指针(或同等大小)。因此,如果它是免费的,你可以从它的后继者导航到它。但如果它不是免费的,那就是使用数据的一部分,而不是开销。你可以通过找到继承者的继承者,看看它的前任是否自由来确定继承者是否自由。这比多使用一个备用位要好,但不一定更好。
- 在C++/Linux中设置单调时钟的一些技巧
- 为什么两个不同的未命名名称空间可以共存于一个cpp文件中
- Linux的Cpp上的计时器
- 命名空间中具有.h和.cpp文件的类
- 在VS代码中交叉编译Windows与Linux上的MinGW的SDL程序
- 从父命名空间重载类型
- 当在同一名称空间中有两个具有相同签名的函数时,会发生什么
- 用户空间(Linux)中是否有高分辨率时钟(我们)?
- 如何在 Linux 用户空间中处理类似 GPIO 中断的处理
- 如何以编程方式阻止 Linux 操作系统用户空间中的 USB 存储设备
- 为什么 Linux 上的动态链接可执行文件在其自己的内存空间中具有 libc 的完整内存空间
- 为什么Linux中的管道会丢失空间
- 针对AT91SAM9 ARM处理器Linux用户空间程序优化FFT和数学运算
- 使用linux用户空间内存进行缓存
- Linux c++用户空间应用程序实时睡眠功能(POSIX,树莓派)
- Linux c++二进制命名空间
- 为什么linux在分配动态内存时会占用一些额外的空间
- 我如何在linux中使用“缩进”实用程序纠正命名空间块中的缩进
- Linux CLion 无法解析命名空间成员
- 在32位linux内核上使用c++在堆上分配超过2GB的空间