首页 > 解决方案 > 如何向 OpenCV.js 添加 `accumulateWeighted` 支持?

问题描述

上下文:这与“如何使用 opencv_contrib 构建自定义 opencv.js?”有关。在一般意义上。

这个问题是一个非常具体的变体:我想accumulateWeightedimgproc带有 OpenCV.js 的模块中使用

到目前为止,我的尝试涉及了解事物的位置,因此我可以尝试稍微调整 emscripten 设置。据我了解,我需要使用的大部分文件都在:

例如,我可以在以下部分看到此部分opencv_js.config.py

imgproc = {'': ['Canny', 'GaussianBlur', 'Laplacian', 'HoughLines', 'HoughLinesP', 'HoughCircles', 'Scharr','Sobel', \
                'adaptiveThreshold','approxPolyDP','arcLength','bilateralFilter','blur','boundingRect','boxFilter',\
                'calcBackProject','calcHist','circle','compareHist','connectedComponents','connectedComponentsWithStats', \
                'contourArea', 'convexHull', 'convexityDefects', 'cornerHarris','cornerMinEigenVal','createCLAHE', \
                'createLineSegmentDetector','cvtColor','demosaicing','dilate', 'distanceTransform','distanceTransformWithLabels', \
                'drawContours','ellipse','ellipse2Poly','equalizeHist','erode', 'filter2D', 'findContours','fitEllipse', \
                'fitLine', 'floodFill','getAffineTransform', 'getPerspectiveTransform', 'getRotationMatrix2D', 'getStructuringElement', \
                'goodFeaturesToTrack','grabCut','initUndistortRectifyMap', 'integral','integral2', 'isContourConvex', 'line', \
                'matchShapes', 'matchTemplate','medianBlur', 'minAreaRect', 'minEnclosingCircle', 'moments', 'morphologyEx', \
                'pointPolygonTest', 'putText','pyrDown','pyrUp','rectangle','remap', 'resize','sepFilter2D','threshold', \
                'undistort','warpAffine','warpPerspective','warpPolar','watershed', \
                'fillPoly', 'fillConvexPoly'],
           'CLAHE': ['apply', 'collectGarbage', 'getClipLimit', 'getTilesGridSize', 'setClipLimit', 'setTilesGridSize']}

我可以简单地添加accumulateWeighted到列表中,但是我觉得这也应该适当地调整bindings.cpp/ core_bindings.cpp。当我获得 emscripten 的经验时,这就是一些困惑所在。

例如添加:

// C++: void accumulateWeighted(InputArray src, InputOutputArray dst, double alpha, InputArray mask=noArray() )
void accumulateWeighted_wrapper(const cv::Mat& src, const cv::Mat& dst, double alpha, cv::Mat& mask) {
    return cv::accumulateWeighted(src, dst, alpha, mask);
}

void accumulateWeighted_wrapper_1(const cv::Mat& src, const cv::Mat& dst, double alpha) {
    return cv::accumulateWeighted(src, dst, alpha);
}
// ...
function("accumulateWeighted", select_overload<void(const cv::Mat&, const cv::Mat&, double , cv::Mat&)>(&Wrappers::accumulateWeighted_wrapper));

function("accumulateWeighted", select_overload<void(const cv::Mat&, const cv::Mat&, double)>(&Wrappers::accumulateWeighted_wrapper_1));

到 bindings.cpp

我不确定我是否还缺少其他东西?我希望有更多 OpenCV + emscripten 经验的开发人员可以提供指导。

更新我已经使用 Docker 编译了 OpenCV.js并尝试调用cv.accumulateWeighted,但我收到一个错误:

cv.accumulateWeighted(src, dst, 0.001)
opencv.js:9 Uncaught 6587800
___resumeException  @   opencv.js:9
(anonymous) @   02086862:0x1621d4
(anonymous) @   02086862:0x1c1f8
dynCall_viid    @   02086862:0x365dc
dynCall_viiid   @   02086862:0x37296
Module.dynCall_viiid    @   opencv.js:9
dynCall_viiid_532   @   VM1966:4
accumulateWeighted  @   VM3269:10
proto.<computed>    @   opencv.js:9
(anonymous) @   VM5257:1

我不是 100% 确定我做错了什么。这是一个片段,其中包含指向已编译脚本的链接:

function onOpenCvReady(){
  cv.then(test);
}

function test(cv){
  console.log("cv",cv.getBuildInformation());
  
  src = cv.Mat.ones(3,3, cv.CV_8UC1);
  dst = cv.Mat.ones(3,3, cv.CV_8UC1);
  mask = cv.Mat.zeros(3,3, cv.CV_8UC1);


  console.log("dst before", dst.data);

// throws error
  try{
    cv.accumulateWeighted(src, dst, 0.001, mask);
  }catch(err){
    console.warn("error running accumulateWeighted")
    console.warn(err.stack)
  }
  console.log("dst after", dst);
}
<script async src="https://lifesine.eu/so/opencv_js_ubuntu/opencv.js" onload="onOpenCvReady();" type="text/javascript"></script>

更新我已经更新了上面的代码片段以使用在 Ubuntu 上编译的 OpenCV.js。此外,我在accumulateWeighted_wrapperandaccumulateWeighted_wrapper_1函数中有错字,但是我仍然遇到一个非常相似的错误,这让我相信绑定代码中还缺少其他一些东西。

accumulateWeighted向 OpenCV.js添加支持的正确方法是什么?

标签: javascriptc++opencvemscripten

解决方案


对于这个问题的范围,一种解决方法是不修改 OpenCV.js 并重新编译,以在 JS 中实现功能。该函数大致有两个部分(和一个陷阱):

  1. 累积:在现有图像之上添加新图像
  2. 新图像的权重与旧图像成反比
  3. 问题是使用图像作为累加器:否则它只是在两个图像之间进行线性插值/ lerping / 交叉淡入淡出:
cv.lerp = function(lerpFromMat, lerpToMat, lerpResult, amount){
    // TODO: args safety check (including constraining amount)
    if (lerpToMat.cols === 0) {
      lerpFromMat.copyTo(lerpResult);
    } else if (lerpFromMat.cols === 0) {
      lerpToMat.copyTo(lerpResult);
    } else {
      cv.addWeighted(lerpFromMat, amount, lerpToMat, 1.0 - amount, 0.0, lerpResult);
    }
  }

// super simplified alias, skipping mask for now
cv.accumulateWeighted = function(newMat, accumulatorMat, alpha){
   p5cv.lerp(accumulatorMat, newMat, accumulatorMat, alpha);
}

我仍然期待另一个通用解决方案:通过 emscripten 将新的 c++ 函数添加到 OpenCV.js 的过程分解(无论是累积加权还是其他)


推荐阅读