java - 如何在 Android Studio 中将 OpenCV Mat 输入帧转换为 Tensorflow 张量?
问题描述
我一直在尝试在 android 上运行 Tensorflow 模型。解决方案是首先创建一个 tensorflow 模型(我使用了预训练的 Mobilenetv2 模型)。在我自己的数据集上对其进行训练后,我将其转换为 Android 支持的 .tflite 模型。因为我想进行实时视频分析,所以我也在使用为 Android SDK 构建的 OpenCV 库。
现在我目前陷入困境的部分是 - 如何转换 opencv JavaCameraView 接收到的输入帧并将其提供给 tflite 模型进行推理?我发现很少有将 Mat 数据类型转换为输入张量的解决方案,但似乎没有什么清楚的。有人可以帮我解决这个问题吗?
编辑:这是代码(需要下面的 onCameraFrame 方法帮助)
public class MainActivity extends AppCompatActivity implements CameraBridgeViewBase.CvCameraViewListener2 {`enter code here`
CameraBridgeViewBase cameraBridgeViewBase;
BaseLoaderCallback baseLoaderCallback;
// int counter = 0;
Interpreter it;
@Override
protected void onCreate(Bundle savedInstanceState) {
super.onCreate(savedInstanceState);
setContentView(R.layout.activity_main);
cameraBridgeViewBase = (JavaCameraView)findViewById(R.id.CameraView);
cameraBridgeViewBase.setVisibility(SurfaceView.VISIBLE);
cameraBridgeViewBase.setCvCameraViewListener(this);
try{
it=new Interpreter(loadModelFile(this));
}
catch(Exception e){
Toast.makeText(this,"Tf model didn't load",Toast.LENGTH_LONG).show();
}
//System.loadLibrary(Core.NATIVE_LIBRARY_NAME);
baseLoaderCallback = new BaseLoaderCallback(this) {
@Override
public void onManagerConnected(int status) {
super.onManagerConnected(status);
switch(status){
case BaseLoaderCallback.SUCCESS:
cameraBridgeViewBase.enableView();
break;
default:
super.onManagerConnected(status);
break;
}
}
};
}
private MappedByteBuffer loadModelFile(Activity activity) throws IOException {
AssetFileDescriptor fileDescriptor = activity.getAssets().openFd("model.tflite");
FileInputStream inputStream = new FileInputStream(fileDescriptor.getFileDescriptor());
FileChannel fileChannel = inputStream.getChannel();
long startOffset = fileDescriptor.getStartOffset();
long declaredLength = fileDescriptor.getDeclaredLength();
return fileChannel.map(FileChannel.MapMode.READ_ONLY, startOffset, declaredLength);
}
@Override
public Mat onCameraFrame(CameraBridgeViewBase.CvCameraViewFrame inputFrame) {
//how to convert inputFrame to Input Tensor???
}
@Override
public void onCameraViewStarted(int width, int height) {
}
@Override
public void onCameraViewStopped() {
}
@Override
protected void onResume() {
super.onResume();
if (!OpenCVLoader.initDebug()){
Toast.makeText(getApplicationContext(),"There's a problem, yo!", Toast.LENGTH_SHORT).show();
}
else
{
baseLoaderCallback.onManagerConnected(baseLoaderCallback.SUCCESS);
}
}
@Override
protected void onPause() {
super.onPause();
if(cameraBridgeViewBase!=null){
cameraBridgeViewBase.disableView();
}
}
@Override
protected void onDestroy() {
super.onDestroy();
if (cameraBridgeViewBase!=null){
cameraBridgeViewBase.disableView();
}
}
}
解决方案
我建议你转换Mat
成FloatBuffer
如下:
Mat floatMat = new Mat();
mat.convertTo(floatMat, CV_32F);
FloatBuffer floatBuffer = floatMat.createBuffer();
请注意,该createBuffer
方法是在 import 的Mat
类中找到的,而org.bytedeco.opencv.opencv_core.Mat
不是在 importorg.opencv.core
中。
floatBuffer
然后你可以从变量创建一个张量:
Tensor.create(new long[]{1, image_height, image_width, 3}, floatBuffer)
这将创建一个张量,其中包含一批图像(如最左侧的数字 1 所示),以及(image_height, image_width, 3)
您应该知道并替换的尺寸图像。大多数图像处理和机器学习库使用第一个维度表示图像的高度或“行”,第二个维度表示宽度或“列”,第三个维度表示通道数(RGB = 3 个通道)。如果您有灰度图像,则将 3 替换为 1。
请检查您是否可以直接将此张量提供给您的模型,或者您必须先执行一些预处理步骤,例如标准化。
推荐阅读
- python - model.fit(X_train, y_train, epochs=5, validation_data=(X_test, y_test) 不工作
- angular - 为什么我们要在子组件中使用 changeDetection onPush 策略,那里有制造事件?
- javascript - 使用过滤器向 SVG 添加高亮颜色发光?
- sql-server - PHP PDO 选择格式 AS 参数太少
- javascript - JavaScript + Bootstrap 下拉列表不允许我选择项目
- python - 更改 pandas 列中的数据
- while-loop - 在纯 Prolog 中通过 CLP(FD) 反转函数
- delphi - Delphi XE2:如何使用序数值 > 255 的整数集
- vba - VBA 电子邮件生成器 - 向员工发送逾期工单通知
- javascript - React 不会使用 setState 立即重新渲染