使用OpenCV在Android上使用神经网络进行灰度图像分类

Grayscale image classification with neural network on Android with OpenCV

本文关键字：神经网络 灰度 图像分类 OpenCV Android 使用      更新时间：2023-10-16

我正在开发一款android应用程序，它可以将论文中的数字数字化。我使用原生OpenCV代码来查找图像上的数字。之后，我想使用OpenCV的dnn模块来识别数字。关于创建神经网络的一个很好的教程可以在这里找到：
https://www.youtube.com/watch?v=kFWKdLOxykE
mnist_convnet_graph.pbtxt以以下内容开头：

node {
name: "conv2d_1_input"
op: "Placeholder"
attr {
key: "dtype"
value {
type: DT_FLOAT
}
}
attr {
key: "shape"
value {
shape {
dim {
size: -1
}
dim {
size: 28
}
dim {
size: 28
}
dim {
size: 1
}
}
}
}
}

因此，输入是一个28x28灰度图像
在教程中，java代码用于使用神经网络。但是，由于速度的原因，我想在C++中使用它。我成功地用cv:：dnn:：Net dnn.readNetFromTensorflow(字符串模型，字符串配置)加载了模型并将对象传递到NDK侧。我用以下内容为神经网络创建输入：

// The part of the image, we are interested in.
Rect roi(static_cast<int>(w), static_cast<int>(h),
static_cast<int>(w), static_cast<int>(h));
Mat cropped(image_gray, roi);
// Resize image to 28x28.
Mat resized;
cv::resize(cropped, resized, Size(28,28));

之后，转发应该工作：

const double IN_SCALE_FACTOR = 0.003921; // 1.0/255.0
Mat blob = dnn::blobFromImage(resized, IN_SCALE_FACTOR, Size(28,28));
net.setInput(blob);
Mat detections = net.forward();

其中net是传递的cv:：dnn:：net对象。但是net.forward()命令失败，并给出：
OpenCV(3.4.5)错误：断言失败(inputs.size()==requiredOutput)在虚拟布尔cv:：dnn:：experial_dnn_34_v11:：DataLayer:：getMemoryShapes(const std:：vector>&，int，std:：vector>&aamp；，std:；vector>&)const，file/build/3_4_pack-android/OpenCV/modules/dnn/src/dnn.cpp，第681行

我也试过：

  • 裁剪rgb图像
  • Mat blob=dnn:：blobFromImage(调整大小，1.0f，大小(28,28))
  • 不使用blobFromImage，而是net.setInput(调整大小)

但这些都没有找到解决方案。有人能解决这个问题吗？任何建议或想法都将不胜感激。

好的，我设法解决了我的问题

首先，我意识到.pb和.pbtxt文件在错误的目录中，并获取了2个Failed to upload a file信息日志

在将文件放入正确的目录后，我遇到了问题：
error: (-215:Assertion failed) const_layers.insert(std::make_pair(name, li)).second in function 'void cv::dnn::experimental_dnn_34_v11::{anonymous}::addConstNodes(opencv_tensorflow::GraphDef&, std::map<cv::String, int>&, std::set<cv::String>&)'

正如Dmitry Kurtaev在这里建议的那样，我从Dnn.readNetFromTensorflow中删除了.pbtxt。之后我出现错误：
OpenCV(3.4.5) Error: Unspecified error (Can't create layer "flatten_1/Shape" of type "Shape") in cv::Ptr<cv::dnn::experimental_dnn_34_v11::Layer> cv::dnn::experimental_dnn_34_v11::LayerData::getLayerInstance(), file /build/3_4_pack-android/opencv/modules/dnn/src/dnn.cpp, line 513

这让我找到了一个链接，我在德米特里·库尔塔耶夫的评论中找到了这个链接。在对.pbtxt文件进行了建议的修改(删除Const节点、修改和删除扁平节点)后，我终于没有出现任何错误，并成功地运行了神经网络。

注意：在创建模型之前添加K.backend.set_learning_phase(0)也很有用。

相关文章：