如何使用 c++ 更改张量流中的per_process_gpu_memory_fraction?

How to change per_process_gpu_memory_fraction in tensorflow using c++?

本文关键字：process gpu memory fraction per c++ 何使用 张量流      更新时间：2023-10-16

我在c ++语言中开发了两个基于tf的应用程序，这些应用程序用作库。在调用方可执行程序中，库 1 被调用，然后称为库 2。在 library1 初始化中，GPU 内存分数设置为 0.5，运行一些推理，然后关闭会话。然后调用 library2，GPU 内存分数设置为 0.8，但设置不起作用，GPU 内存分配没有变化。两个库具有相同的初始化代码，但净分数值不同

int XXXLib::init(double per_process_gpu_memory_fraction)
{
SessionOptions options;
ConfigProto* config = &options.config;
GPUOptions* gpu_options = config->mutable_gpu_options();
// for library1, fraction = 0.5; for library2, fraction = 0.8
gpu_options->set_per_process_gpu_memory_fraction(per_process_gpu_memory_fraction);
Status status = NewSession(options, &_session);
}

似乎当调用 set_per_process_gpu_memory_fraction(( 时，这个过程中的 GPU 内存是固定的，甚至新的另一个 Newsession((，使用原始的分数值。

不同的
  1. 应用程序(库(应该使用不同的会话吗？
  2. GPU 内存分数与会话或进程有关？
  3. 如何在不同的会话中更改分数，但相同的过程？

一些环境信息：

  • 我是否编写了自定义代码？不
  • 操作系统平台和分发？赢10 专业版
  • TensorFlow安装自？源代码
  • TensorFlow 版本？ 1.9
  • CUDA/cuDNN版本？CUDA9.0， CUDNN 7.05
  • GPU 型号和内存？具有 8GB 内存的GTX1080

这很不幸，但在当前的 TensorFlow (1.11( 中，GPU 内存分配器创建一次(每个 GPU 设备(——在此过程中第一次创建会话。在以下会话中更改per_process_gpu_memory_fraction不会产生任何影响。

关于您的图书馆，我建议不要在其中创建会话。要求用户为您提供他们根据需要配置的会话。或者，您可以只创建一个图形并返回要运行的操作。然后，用户可以根据需要运行它们。

相关文章：