ios - CIKernel 的意外行为

问题描述

我做了这个例子来说明问题。它通过硬编码坐标从纹理中获取 1 个像素，并用作着色器中每个像素的结果。我希望所有图像都是相同的颜色。当图像很小时，它可以完美地工作，但是当我使用大图像时，它会产生奇怪的结果。例如，这里的图像大小为 7680x8580，您可以看到 4 个正方形：

这是我的代码

kernel vec4 colorKernel(sampler source)
{
    vec4 key = sample(source, samplerTransform(source, vec2(100., 200.)));
    return key;
}

这是我初始化内核的方式：

override var outputImage: CIImage? {
        return colorFillKernel.apply(
                extent: CGRect(origin: CGPoint.zero, size: inputImage!.extent.size),
                roiCallback:
                {
                    (index, rect) in
                    return rect
                },
                arguments: [
                    inputImage])
    }

此外，此代码正确显示图像，没有更改和正方形：

vec2 dc = destCoord();
return sample(source, samplerTransform(source, dc));

在公共文档中，它说“Core Image 自动将大图像分割成较小的图块进行渲染，因此您的回调可能会被多次调用。” 但我找不到如何处理这种情况的方法。我有万花筒效果，并且从任何这个图块中我也需要能够从另一个图块中获取像素......

标签： iosxcodeshadermetalcikernel

我认为问题的出现是由于错误定义的感兴趣区域与平铺相结合。

在中，Core Image 询问您内核需要查看输入图像roiCallback的哪个区域（如果您有多个输入）以生成输出图像的给定区域（）。这是一个闭包的原因是由于平铺：如果处理的图像太大，Core Image 会将其分解为多个平铺，分别渲染这些平铺，然后再将它们缝合在一起。对于每个图块，Core Image 都会询问您的内核需要读取输入图像的哪一部分来生成图块。indexrect

因此，对于您的输入图像，roiCallback在渲染过程中可能会调用四次（甚至更多），例如使用以下矩形：

CGRect(x: 0,    y: 0,    width: 4096, height: 4096) // top left
CGRect(x: 4096, y: 0,    width: 3584, height: 4096) // top right
CGRect(x: 0,    y: 4096, width: 4096, height: 4484) // bottom left
CGRect(x: 4096, y: 4096, width: 3584, height: 4484) // bottom right

这是Core Image的一种优化机制。它只想读取和处理生成输出给定区域所需的像素。因此，最好尽可能根据您的用例调整 ROI。

现在 ROI 取决于内核。基本上有四种情况：

您的内核在输入像素和输出像素之间具有 1:1 映射。所以为了产生一个输出颜色值，它需要从输入图像中读取相同位置的像素。在这种情况下，您只需rect在roiCallback. （或者更好的CIColorKernel是，您使用为这个用例制作的。）
您的内核执行某种卷积，不仅需要输入像素与输出具有相同的坐标，还需要其周围的某些区域（例如模糊操作）。你roiCallback可能看起来像这样：
```
let inset = self.radius // like radius of CIGaussianBlur
let roiCallback: CIKernelROICallback = { _, rect in 
    return rect.insetBy(dx: -inset, dy: -inset) 
}
```
您的内核总是需要读取输入的特定区域，而不管输出的哪一部分被渲染。然后您可以在回调中返回该特定区域：
```
let roiCallback: CIKernelROICallback = { CGRect(x: 100, y: 200, width: 1, height: 1) }
```
内核总是需要访问整个输入图像。例如，当您使用某种查找表来派生颜色时就是这种情况。在这种情况下，您可以只返回输入的范围并忽略参数：
```
let roiCallback: CIKernelROICallback = { inputImage.extent }
```

对于您的示例，方案 3 应该是正确的选择。对于您的万花筒效果，我假设您需要目标坐标周围的某个区域或源像素才能产生输出像素。因此，最好计算该区域的大小并roiCallback在方案 2 中使用类似的值。

PS: 使用 Core Image Kernel Language ( CIKernel(source: "<code>")) 现在是超级骗子了。您应该考虑改为使用金属着色语言编写内核。查看今年的WWDC 演讲以了解更多信息。

ios - CIKernel 的意外行为

问题描述

解决方案

推荐阅读