张量流 c++ API 是否支持反向传播的自动微分?

Does tensorflow c++ API support automatic differentiation for backpropagation?

本文关键字：传播 API c++ 是否支持张量流更新时间：2023-10-16

张量流C++ API 是否支持自动微分以反向传播梯度？
如果我用 c++ 编写一个图形，并希望在 c++ 代码(而不是 python！(中运行它，自动区分会起作用吗？

假设图中的每个操作都有一个梯度实现。

我认为关于 API C++可以做什么和不能做什么的张量流的文档非常差。

非常感谢您的帮助

从技术上讲，它可以，但AFAIK自动区分仅在Python中"配置"。我的意思是，在较低级别，每个 TensorFlow 操作都不会声明自己的梯度是什么(即计算其梯度的相应操作(。而是在 Python 级别声明。例如，您可以查看math_ops.py.您将看到，除其他外，有几个功能装饰@ops.RegisterGradient(...).这个装饰器所做的是将该函数添加到操作及其梯度的全局注册表(在 Python 中(。因此，例如，优化器类主要是在 Python 中实现的，因为它们利用这个注册表来构建反向传播计算(而不是使用不存在的本机 TensorFlow 原语来实现这一点(。

所以关键是你可以使用相同的操作(然后使用相同的内核实现(进行相同的计算，但我不认为C++拥有(或将拥有(这样的梯度注册表(和优化器类(，所以你需要自己解决或复制反向传播结构。通常，C++ API 不太适合构建计算图。

现在一个不同的问题(也许这就是你首先要问的(是你是否可以运行一个已经存在的图，在C++中进行反向传播。我的意思是用 Python 构建一个计算图，创建一个优化器(这反过来又在图中创建必要的操作来计算梯度和更新变量(并导出图，然后将该图加载到 C++ 中并运行它。这是完全可能的，与在TensorFlow C++中运行任何其他类型的东西没有什么不同。