c++ system() raises ENOMEM
c++ system() raises ENOMEM
这个问题是这个问题的一个M(不是)WE。我写了一段代码,再现了这个错误:
#include <cstdlib>
#include <iostream>
#include <vector>
int *watch_errno = __errno_location();
int main(){
std::vector<double> a(7e8,1); // allocate a big chunk of memory
std::cout<<std::system(NULL)<<std::endl;
}
它必须用g++ -ggdb -std=c++11
(Debian上的g++ 4.9)编译。请注意int *watch_errno
只对gdb监视errno
有用。
当它在gdb
下运行时,我得到这个:
(gdb) watch *watch_errno
Hardware watchpoint 1: *watch_errno
(gdb) r
Starting program: /tmp/bug
Hardware watchpoint 1: *watch_errno
Old value = <unreadable>
New value = 0
__static_initialization_and_destruction_0 (__initialize_p=1, __priority=65535) at bug.cpp:10
10 }
(gdb) c
Continuing.
Hardware watchpoint 1: *watch_errno
Old value = 0
New value = 12
0x00007ffff7252421 in do_system (line=line@entry=0x7ffff7372168 "exit 0") at ../sysdeps/posix/system.c:116
116 ../sysdeps/posix/system.c: No such file or directory.
(gdb) bt
#0 0x00007ffff7252421 in do_system (line=line@entry=0x7ffff7372168 "exit 0") at ../sysdeps/posix/system.c:116
#1 0x00007ffff7252510 in __libc_system (line=<optimized out>) at ../sysdeps/posix/system.c:182
#2 0x0000000000400ad8 in main () at bug.cpp:9
(gdb) l
111 in ../sysdeps/posix/system.c
(gdb) c
Continuing.
0
[Inferior 1 (process 5210) exited normally]
由于某种原因,errno
在第9行被设置为ENOMEM
,这对应于system()
电话。注意,如果向量有一个较小的大小(我猜它这取决于你要运行代码的计算机),代码工作得很好当shell可用时,system(NULL)
返回1。
为什么升起ENOMEM
旗?为什么代码不使用交换内存?这是臭虫吗?有解决办法吗?popen
或exec*
会做同样的事情吗?(我知道,我应该每篇文章只问一个问题,但所有这些问题都可以总结为"发生了什么?")
ulimit -a
的结果:
-t: cpu time (seconds) unlimited
-f: file size (blocks) unlimited
-d: data seg size (kbytes) unlimited
-s: stack size (kbytes) 8192
-c: core file size (blocks) 0
-m: resident set size (kbytes) unlimited
-u: processes 30852
-n: file descriptors 65536
-l: locked-in-memory size (kbytes) 64
-v: address space (kbytes) unlimited
-x: file locks unlimited
-i: pending signals 30852
-q: bytes in POSIX msg queues 819200
-e: max nice 0
-r: max rt priority 0
-N 15: unlimited
这里是strace -f myprog
mmap(NULL, 5600002048, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0x7faa98562000
rt_sigaction(SIGINT, {SIG_IGN, [], SA_RESTORER, 0x7fabe622b180}, {SIG_DFL, [], 0}, 8) = 0
rt_sigaction(SIGQUIT, {SIG_IGN, [], SA_RESTORER, 0x7fabe622b180}, {SIG_DFL, [], 0}, 8) = 0
rt_sigprocmask(SIG_BLOCK, [CHLD], [], 8) = 0
clone(child_stack=0, flags=CLONE_PARENT_SETTID|SIGCHLD, parent_tidptr=0x7fff8797635c) = -1 ENOMEM (Cannot allocate memory)
rt_sigaction(SIGINT, {SIG_DFL, [], SA_RESTORER, 0x7fabe622b180}, NULL, 8) = 0
rt_sigaction(SIGQUIT, {SIG_DFL, [], SA_RESTORER, 0x7fabe622b180}, NULL, 8) = 0
rt_sigprocmask(SIG_SETMASK, [], NULL, 8) = 0
fstat(1, {st_mode=S_IFCHR|0620, st_rdev=makedev(136, 1), ...}) = 0
mmap(NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0x7fabe6fde000
write(1, "0n", 20
) = 2
write(1, "8n", 28
) = 2
munmap(0x7faa98562000, 5600002048) = 0
下面是free的输出:
total used free shared buffers cached
Mem: 7915060 1668928 6246132 49576 34668 1135612
-/+ buffers/cache: 498648 7416412
Swap: 2928636 0 2928636
system()
函数的工作方式是,首先使用fork()
或类似的方法创建进程的新副本(在Linux中,这最终在clone()
系统调用中结束,如您所示),然后在子进程中调用exec
以创建运行所需命令的shell。
如果新进程没有足够的虚拟内存,fork()
调用可能会失败(即使您打算立即用更小的内存替换它,内核也无法知道)。有些系统允许您使用fork大型进程的能力来降低页面错误可能失败的保证,例如copy-on-write (vfork()
)或memory overcommit (/proc/sys/vm/overcommit_memory
和/proc/sys/vm/overcommit_ratio
)。
注意,以上同样适用于任何可能创建新进程的库函数——例如popen()
。虽然不是exec()
,因为取代了进程,而不是克隆它。
如果提供的机制不适合您的用例,那么您可能需要实现您自己的system()
替换。我建议尽早启动子进程(在分配大量内存之前),它的唯一工作是在stdin
上接受NUL
分隔的命令行,并在stdout
上报告退出状态。
后一种解决方案的伪代码大纲如下:
int request_fd[2];
int reply_fd[2];
pipe(request_fd);
pipe(reply_fd);
if (fork()) {
/* in parent */
close(request_fd[0]);
close(reply_fd[1]);
} else {
/* in child */
close(request_fd[1]);
close(reply_fd[0]);
while (read(request_fd[0], command)) {
int result = system(command);
write(reply_fd[1], result);
}
exit();
}
// Important: don't allocate until after the fork()
std::vector<double> a(7e8,1); // allocate a big chunk of memory
int my_system_replacement(const char* command) {
write(request_fd[1], command);
read(reply_fd[0], result);
return result;
}
您需要通过参考手册页来添加适当的错误检查。您可能希望使其更加面向对象,并且可能使用iostreams进行读取和写入操作等。
你的台词
std::vector<double> a(7e8,1);
可能是错误的。你正在调用std::vector的构造函数,它接受一个vector大小和一个初始化元素。7e8被转换成一个巨大的大小(即700000000个元素)。
您可能想要构造一个双元素向量,因此使用
std::vector<double> a{7e8,1};
和你的大向量,系统(3)库函数将调用fork(2)系统调用失败:
ENOMEM
fork()
分配内核结构失败因为内存很紧。
也许您达到了某个限制,例如,在其他地方由setrlimit(2)设置。
尝试cat /proc/self/limits
找到它们(在Linux上)。
使用strace(1)(例如,作为strace -f yourprogram
)来找出正在发生的事情;查看fork
或clone
行…
BTW, system(3)在失败时应该返回一个错误代码。你应该测试一下。你可能想调用system("echo here pid $$");
而不是system(NULL);