如何在使用 GPU 时更改 Caffe2 中的 blob 值 (C++）

How to change blob value in Caffe2 while using GPU (C++)

本文关键字：blob 中的 Caffe2 C++ GPU      更新时间：2023-10-16

我正在尝试手动访问 blob 值并更改它。
我有一个名为"1conv1_w"的 blob，我通过以下方式访问它：

auto 1conv1_w = caffe2::TensorCPU((*workspace.GetBlob("1conv1_w")).Get<caffe2::TensorCPU>()).data<float>();

这将返回指向1conv1_w float*指针。在CPU模式下，我可以使用 

std::cout << *1conv1_w << std::endl

以访问 Blob"1conv1_w"中的第一个值以及修改该值。但是，当切换到 GPU 模式时，这将返回错误，因为指针中没有值。如果我使用 

auto 1conv1_w = caffe2::TensorCPU((*workspace.GetBlob("1conv1_w")).Get<caffe2::TensorCUDA>()).data<float>()[0];

然后，我可以访问第一个值，但仍然无法访问 blob 中的其他值。
我想问题是因为在使用 GPU 时，内存实际上是一个临时内存。该值在 CPU 和 GPU 之间复制（可能是内存）。当我使用Get<caffe2::TensorCUDA>()它只是复制我想要的地址或值。因此，即使我更改此地址中的值，也不会影响保存在某处的实际值。

有没有人面临同样的问题并知道如何更改 blob 的实际值？

首先，您无法直接从 CPU 上下文访问 GPU 内存。您可以考虑为您的目的编写 CUDA 内核。如果您确实需要在CPU上执行此操作，则可以通过以下方式将数据从GPU获取到CPU：

CPUContext context;
TensorCPU output;
auto& input = (*workspace.GetBlob("1conv1_w")).Get<TensorCUDA>();
output.ResizeLike(input);
context.CopyItems<CUDAContext, CPUContext>(
    input.meta(),
    input.size(),
    input.raw_data(),
    output.raw_mutable_data(input.meta()));

然后，您可以修改CPU版本并以相同的类比方式将其放回GPU。

相关文章：