javascript - 如何向 OpenCV.js 添加 `accumulateWeighted` 支持?
问题描述
上下文:这与“如何使用 opencv_contrib 构建自定义 opencv.js?”有关。在一般意义上。
这个问题是一个非常具体的变体:我想accumulateWeighted
从imgproc
带有 OpenCV.js 的模块中使用
到目前为止,我的尝试涉及了解事物的位置,因此我可以尝试稍微调整 emscripten 设置。据我了解,我需要使用的大部分文件都在:
例如,我可以在以下部分看到此部分opencv_js.config.py
:
imgproc = {'': ['Canny', 'GaussianBlur', 'Laplacian', 'HoughLines', 'HoughLinesP', 'HoughCircles', 'Scharr','Sobel', \
'adaptiveThreshold','approxPolyDP','arcLength','bilateralFilter','blur','boundingRect','boxFilter',\
'calcBackProject','calcHist','circle','compareHist','connectedComponents','connectedComponentsWithStats', \
'contourArea', 'convexHull', 'convexityDefects', 'cornerHarris','cornerMinEigenVal','createCLAHE', \
'createLineSegmentDetector','cvtColor','demosaicing','dilate', 'distanceTransform','distanceTransformWithLabels', \
'drawContours','ellipse','ellipse2Poly','equalizeHist','erode', 'filter2D', 'findContours','fitEllipse', \
'fitLine', 'floodFill','getAffineTransform', 'getPerspectiveTransform', 'getRotationMatrix2D', 'getStructuringElement', \
'goodFeaturesToTrack','grabCut','initUndistortRectifyMap', 'integral','integral2', 'isContourConvex', 'line', \
'matchShapes', 'matchTemplate','medianBlur', 'minAreaRect', 'minEnclosingCircle', 'moments', 'morphologyEx', \
'pointPolygonTest', 'putText','pyrDown','pyrUp','rectangle','remap', 'resize','sepFilter2D','threshold', \
'undistort','warpAffine','warpPerspective','warpPolar','watershed', \
'fillPoly', 'fillConvexPoly'],
'CLAHE': ['apply', 'collectGarbage', 'getClipLimit', 'getTilesGridSize', 'setClipLimit', 'setTilesGridSize']}
我可以简单地添加accumulateWeighted
到列表中,但是我觉得这也应该适当地调整bindings.cpp
/ core_bindings.cpp
。当我获得 emscripten 的经验时,这就是一些困惑所在。
例如添加:
// C++: void accumulateWeighted(InputArray src, InputOutputArray dst, double alpha, InputArray mask=noArray() )
void accumulateWeighted_wrapper(const cv::Mat& src, const cv::Mat& dst, double alpha, cv::Mat& mask) {
return cv::accumulateWeighted(src, dst, alpha, mask);
}
void accumulateWeighted_wrapper_1(const cv::Mat& src, const cv::Mat& dst, double alpha) {
return cv::accumulateWeighted(src, dst, alpha);
}
// ...
function("accumulateWeighted", select_overload<void(const cv::Mat&, const cv::Mat&, double , cv::Mat&)>(&Wrappers::accumulateWeighted_wrapper));
function("accumulateWeighted", select_overload<void(const cv::Mat&, const cv::Mat&, double)>(&Wrappers::accumulateWeighted_wrapper_1));
到 bindings.cpp
我不确定我是否还缺少其他东西?我希望有更多 OpenCV + emscripten 经验的开发人员可以提供指导。
更新我已经使用 Docker 编译了 OpenCV.js并尝试调用cv.accumulateWeighted
,但我收到一个错误:
cv.accumulateWeighted(src, dst, 0.001)
opencv.js:9 Uncaught 6587800
___resumeException @ opencv.js:9
(anonymous) @ 02086862:0x1621d4
(anonymous) @ 02086862:0x1c1f8
dynCall_viid @ 02086862:0x365dc
dynCall_viiid @ 02086862:0x37296
Module.dynCall_viiid @ opencv.js:9
dynCall_viiid_532 @ VM1966:4
accumulateWeighted @ VM3269:10
proto.<computed> @ opencv.js:9
(anonymous) @ VM5257:1
我不是 100% 确定我做错了什么。这是一个片段,其中包含指向已编译脚本的链接:
function onOpenCvReady(){
cv.then(test);
}
function test(cv){
console.log("cv",cv.getBuildInformation());
src = cv.Mat.ones(3,3, cv.CV_8UC1);
dst = cv.Mat.ones(3,3, cv.CV_8UC1);
mask = cv.Mat.zeros(3,3, cv.CV_8UC1);
console.log("dst before", dst.data);
// throws error
try{
cv.accumulateWeighted(src, dst, 0.001, mask);
}catch(err){
console.warn("error running accumulateWeighted")
console.warn(err.stack)
}
console.log("dst after", dst);
}
<script async src="https://lifesine.eu/so/opencv_js_ubuntu/opencv.js" onload="onOpenCvReady();" type="text/javascript"></script>
更新我已经更新了上面的代码片段以使用在 Ubuntu 上编译的 OpenCV.js。此外,我在accumulateWeighted_wrapper
andaccumulateWeighted_wrapper_1
函数中有错字,但是我仍然遇到一个非常相似的错误,这让我相信绑定代码中还缺少其他一些东西。
accumulateWeighted
向 OpenCV.js添加支持的正确方法是什么?
解决方案
对于这个问题的范围,一种解决方法是不修改 OpenCV.js 并重新编译,以在 JS 中实现功能。该函数大致有两个部分(和一个陷阱):
- 累积:在现有图像之上添加新图像
- 新图像的权重与旧图像成反比
- 问题是使用图像作为累加器:否则它只是在两个图像之间进行线性插值/ lerping / 交叉淡入淡出:
cv.lerp = function(lerpFromMat, lerpToMat, lerpResult, amount){
// TODO: args safety check (including constraining amount)
if (lerpToMat.cols === 0) {
lerpFromMat.copyTo(lerpResult);
} else if (lerpFromMat.cols === 0) {
lerpToMat.copyTo(lerpResult);
} else {
cv.addWeighted(lerpFromMat, amount, lerpToMat, 1.0 - amount, 0.0, lerpResult);
}
}
// super simplified alias, skipping mask for now
cv.accumulateWeighted = function(newMat, accumulatorMat, alpha){
p5cv.lerp(accumulatorMat, newMat, accumulatorMat, alpha);
}
我仍然期待另一个通用解决方案:通过 emscripten 将新的 c++ 函数添加到 OpenCV.js 的过程分解(无论是累积加权还是其他)
推荐阅读
- macos - WxWidgets Build on OSX 10.15.4 错误(尝试不同的 SDK)
- javascript - 如何在 React 的主组件中的 onClick 事件中显示来自子组件的相应元素?
- nearprotocol - 近协议如何区分合约?
- .net - Oracle做参数可以防止SQL注入吗?
- java - Java GRPC ServerBuilder 与 NettyServerBuilder
- sql - 为 2000 年 12 月租用的汽车选择品牌和型号?
- assembly - 为什么buf的地址是0x12而不是10?
- r - 在data.frame R中添加多行
- mysql - 外键约束格式错误
- spring-integration - Spring Integration 配置错误:Dispatcher 没有订阅者