背景

我目前正在使用用 Java 编写的 CameraX 和 Google ML Kit 开发一个移动应用程序。该应用程序的目的是通过实时相机预览检测对象。我使用本指南实现了 ML Kit，该指南恰当地命名为“Detect and track objects with ML Kit on Android”（基本模型选项），以检测应用程序内连续帧中的对象。

但是，在运行该应用程序时，它会在我的设备上启动，并且相机预览继续工作，但该应用程序并没有实现其实际检测对象并将其显示在我的屏幕上的预期效果。为了尝试解决这个问题，我找到了这个 StackOverflow 答案这非常类似于这个问题。令我沮丧的是，用户使用自定义模型 (tflite) 构建了他们的应用程序。这与我的不同，因为我使用的是基本模型。根据我的研究，这使用了 ML Kit 的设备上对象检测。所应用的代码仅限于上述文档中的内容。由于我的 IDE (Android Studio) 没有在语法中显示任何错误，我不确定为什么我的应用程序上似乎没有任何对象检测。下面显示的是已使用的必要代码：

代码

public class MainActivity extends AppCompatActivity  {

    private ListenableFuture<ProcessCameraProvider> cameraProviderFuture;
    private class YourAnalyzer implements ImageAnalysis.Analyzer {

        @Override
        @ExperimentalGetImage
        public void analyze(ImageProxy imageProxy) {
            Image mediaImage = imageProxy.getImage();
            if (mediaImage != null) {
                InputImage image =
                        InputImage.fromMediaImage(mediaImage, imageProxy.getImageInfo().getRotationDegrees());
                //Pass image to an ML Kit Vision API
                //...

                ObjectDetectorOptions options =
                        new ObjectDetectorOptions.Builder()
                                .setDetectorMode(ObjectDetectorOptions.STREAM_MODE)
                                .enableClassification()  // Optional
                                .build();

                ObjectDetector objectDetector = ObjectDetection.getClient(options);

                objectDetector.process(image)
                        .addOnSuccessListener(
                                new OnSuccessListener<List<DetectedObject>>() {
                                    @Override
                                    public void onSuccess(List<DetectedObject> detectedObjects) {
                                        Log.d("TAG", "onSuccess" + detectedObjects.size());
                                        for (DetectedObject detectedObject : detectedObjects) {
                                            Rect boundingBox = detectedObject.getBoundingBox();
                                            Integer trackingId = detectedObject.getTrackingId();
                                            for (DetectedObject.Label label : detectedObject.getLabels()) {
                                                String text = label.getText();
                                                if (PredefinedCategory.FOOD.equals(text)) { }
                                                int index = label.getIndex();
                                                if (PredefinedCategory.FOOD_INDEX == index) { }
                                                float confidence = label.getConfidence();
                                            }
                                        }
                                        imageProxy.close();
                                    }
                                }
                        )

                        .addOnFailureListener(
                                new OnFailureListener() {
                                    @Override
                                    public void onFailure(@NonNull Exception e) {
                                        Log.d("TAG", "onFailure" + e);
                                        imageProxy.close();

                                    }
                                }
                        );
            }
        }
    }

    @Override
    protected void onCreate(@Nullable Bundle savedInstanceState) {
        super.onCreate(savedInstanceState);
        setContentView(R.layout.activity_main);
        cameraProviderFuture = ProcessCameraProvider.getInstance(this);

        PreviewView previewView = findViewById(R.id.previewView);

        cameraProviderFuture.addListener(() -> {
            try {
                ProcessCameraProvider cameraProvider = cameraProviderFuture.get();
                bindPreview(cameraProvider);
            } catch (ExecutionException | InterruptedException e) {}
        }, ContextCompat.getMainExecutor(this));

    }

    void bindPreview(@NonNull ProcessCameraProvider cameraProvider) {

        PreviewView previewView = findViewById(R.id.previewView);

        Preview preview = new Preview.Builder()
                .build();

        CameraSelector cameraSelector = new CameraSelector.Builder()
                .requireLensFacing(CameraSelector.LENS_FACING_BACK)
                .build();

        preview.setSurfaceProvider(previewView.getSurfaceProvider());

        ImageAnalysis imageAnalysis =
                new ImageAnalysis.Builder()
                        .setTargetResolution(new Size(1280,720))
                        .setBackpressureStrategy(ImageAnalysis.STRATEGY_KEEP_ONLY_LATEST)
                        .build();
        imageAnalysis.setAnalyzer(ContextCompat.getMainExecutor(this), new YourAnalyzer());

        Camera camera = cameraProvider.bindToLifecycle((LifecycleOwner)this, cameraSelector, preview, imageAnalysis);
    }
}

最终目标

如果需要任何类型的视觉示例来理解预期的效果应该产生什么，这里它包含在下图中。

更新 [2021 年 4 月 11 日]：在我尝试Log.d(..)通过该OnSuccess方法进行调试以确定返回对象列表大小后，AS 控制台在 D/TAG: onSuccess0运行应用程序的几秒钟内打印了多达 30 次。这是否意味着应用程序没有检测到任何对象？自从我完全遵循文档以来，这一直困扰着我。

更新 [2021 年 5 月 1 日]：该行已从方法DetectedObject[] results = new DetectedObject[0];中删除。onSuccess

for (DetectedObject detectedObject : results)现在使用“detectedObjects”而不是“results”来反映文档中存在的代码。然而，onSuccessis still logging D/TAG: onSuccess0，这进一步增加了为什么该方法没有获取任何数据的问题。

标签： javaandroid-studiomachine-learningandroid-cameraxgoogle-mlkit

java - 为什么分析（）方法没有获取图像？

问题描述

背景

代码

最终目标

解决方案

推荐阅读