video-capture - 使用笔和纸捕捉手写的实时视频，并用一些对象或光标替换视频中的手

Question

我想处理捕获的视频。我将尝试捕捉纸上手写/纸上绘画的视频。但是我不想在通过 p5.js 进行直播时在纸上展示手或笔。这可以使用机器学习来完成吗？知道如何实现吗？

标签： video-capturep5.jsml5

Answer 1

您可能不需要走完整的 ML 对象分割路线。

如果纸张的位置和照明是恒定的（或至少是已知的），您可以尝试一些简单的启发式方法，将当前帧中的像素与较短的历史进行比较，并使用最恒定的像素值。随着绘图的新部分“变得恒定”，可能会有一些滞后，因此也许您可以尝试对累积进行一些修改，例如像素是否为白色并且变为黑色。