Caffe中的交叉熵实现
Cross-entropy implementation in Caffe
查看sigmoid_cross_entropy_loss_layer.cpp中的源代码,这是caffe中交叉熵损失函数的源代码,我注意到实际错误值的代码是
for (int i = 0; i < count; ++i) {
loss -= input_data[i] * (target[i] - (input_data[i] >= 0)) -
log(1 + exp(input_data[i] - 2 * input_data[i] * (input_data[i] >= 0)));
}
这似乎与我在这里找到的 Caffe 或C++实现文档中的 CE 损失函数有很大不同:
https://visualstudiomagazine.com/Articles/2014/04/01/Neural-Network-Cross-Entropy-Error.aspx?Page=2
或者实际上是CE损失函数的定义。
这是某种近似值吗?我最初以为它是log(1−x)的泰勒级数展开,但它根本不是那样工作的。
这一层实现的损失不仅仅是交叉熵。该层实现 Sigmoid 激活,然后是交叉熵损失。这允许在数值上更稳定地实现损耗。
有关详细信息,请参阅此线程。 还有这个线程。
相关文章:
- 如果没有malloc,链表实现将失败
- 如何在c++中实现处理器调度模拟器
- 如何在c++中使用引用实现类似python的行为
- 实现无开销push_back的最佳方法是什么
- 使用简单类型列表实现的指数编译时间.为什么
- 如何在BST的这个简单递归实现中消除警告
- 实现一个在集合上迭代的模板函数
- 我应该实现右值推送功能吗?我应该使用std::move吗
- 如何正确实现和访问运算符的各种自定义枚举器
- C++Union/Struct位域的实现和可移植性
- 这个极客对极客的trie实现是否存在内存泄漏问题
- 在c++中实现LinkedList时,应出现未处理的错误
- 为左值和右值的包装器实现C++范围
- 使用模板进行堆栈实现; "name followed by :: must be a class or namespace"
- 使用GSoap实现ONVIF
- 在用于格式4的arm模拟器中实现功能时的一个问题
- 用于AVX的ln(x)的实现,m256
- 用常见虚拟函数实现的任意组合来实现派生类的正确方法是什么
- 在C++中,如何在类和函数(可能是模板化的)的头中编写完整的实现
- Caffe中的交叉熵实现