python - 哪个 SSIM 是正确的:skimage.metrics.structural_similarity()?
问题描述
Stackoverflow 社区,
bmp
我正在尝试在 Python 上的两个图像之间计算 SSIM(结构相似性) 。我找到了在 python 库中实现的结构相似性()函数以及托管在此处skimage
的原始MatLab
实现的等效代码。暗示如下:
def structuralSimilarityIndex(ref_image, impaired_image, cs_map=False):
window = Metric.fSpecialGauss(constant.SSIM_FILTER_SIZE,
constant.SSIM_FILTER_SIGMA)
C1 = (constant.SSIM_Constant_1 * constant.PIXEL_MAX) ** 2
C2 = (constant.SSIM_Constant_2 * constant.PIXEL_MAX) ** 2
mu1 = signal.fftconvolve(window, ref_image, mode='valid')
mu2 = signal.fftconvolve(window, impaired_image, mode='valid')
mu1_sq = mu1 * mu1
mu2_sq = mu2 * mu2
mu1_mu2 = mu1 * mu2
sigma1_sq = signal.fftconvolve(
window, ref_image*ref_image, mode='valid') - mu1_sq
sigma2_sq = signal.fftconvolve(
window, impaired_image*impaired_image, mode='valid') - mu2_sq
sigma12 = signal.fftconvolve(
window, ref_image*impaired_image, mode='valid') - mu1_mu2
if cs_map:
return (((2 * mu1_mu2 + C1) * (2 * sigma12 + C2)) / ((mu1_sq + mu2_sq + C1) * (sigma1_sq + sigma2_sq + C2)), (2.0 * sigma12 + C2) / (sigma1_sq + sigma2_sq + C2))
else:
return np.mean(((2 * mu1_mu2 + C1) * (2 * sigma12 + C2)) / ((mu1_sq + mu2_sq + C1) * (sigma1_sq + sigma2_sq + C2)))
我正在使用这段代码阅读图像:
ref_image = np.asfarray(Image.open('ref_image.bmp').convert('L'))
impaired_image = np.asfarray(Image.open('impaired_image.bmp').covert('L)
输入图像的形状 和分别dtype
为 :ref_image
impaired_image
(512, 512) 浮动64
(512, 512) 浮动64
我已经使用相同的条件和相同的输入图像进行了测试,如下所示:
# Using the above code
structuralSimilarityIndex(ref_image, impaired_image, cs_map=False)
# Using the function imported from skimage.metrics
structural_similarity(ref_image, impaired_image, gaussian_weights=False, use_sample_covariance=False)
结果有很大不同,这里是结果:
Skimage
来自python 库的 SSIM :
SSIM : 0.38135154028457885
上面代码中的 SSIM:
SSIM : 0.8208087737160036
编辑:
我添加了阅读和调用代码
以上 Python 代码来自信号处理库,据作者介绍,该函数试图精确模仿作者提供的 SSIM MATLAB ssim.ma 的功能
更新:
我已经测试了在相同图像上用 MatLab 编写的原始代码,结果如下:
SSIM : 0.8424
这与上面给出的 Python 实现的结果相差不远。
解决方案
我在 scikit-image Github 存储库上打开了一个问题,并得到了答案。这里是答案,我没有改变答案,你可以在这里找到它:
我认为这里的主要问题是您从 PIL 计算图像的方式会产生浮点图像,但是值在 [0, 255.0] 范围内的图像。当输入为浮点数时,skimage 将假定 data_range 的范围为 [-1.0, 1.0],因此您需要手动指定 data_range=255。
此外,请参阅文档字符串的注释部分以获取设置 gaussian_weights=True, sigma=1.5 以更接近于 Wang 等的 Matlab 脚本的建议。人。(我认为最近的 Matlab 也有自己的内置 SSIM 实现,但我没有尝试与那个案例进行比较,不知道它是否完全相同)。
ref_image = np.asfarray(Image.open('avion.bmp').convert('L'))
impaired_image = np.asfarray(Image.open('avion_jpeg_r5.bmp').convert('L'))
structural_similarity(ref_image, impaired_image, multichannel=True, gaussian_weights=True, sigma=1.5, use_sample_covariance=False, data_range=255)
0.8292
当我尝试它时给出。
或者,您可以使用 skimage.io.imread 和 rgb2gray 读取数据并将其转换为灰度。在这种情况下,值将在 [0, 1.0] 范围内为您缩放,并且 data_range 应设置为 1.0。
from skimage.io import imread
from skimage.color import rgb2gray
ref_image = imread('avion.bmp')
ref_image = rgb2gray(ref_image)
impaired_image = imread('avion_jpeg_r5.bmp')
impaired_image = rgb2gray(impaired_image)
structural_similarity(ref_image, impaired_image, multichannel=True, gaussian_weights=True, sigma=1.5, use_sample_covariance=False, data_range=1.0)
给
0.8265
我认为上述两种情况之间的微小差异可能是由于rgb2gray
使用了与 PIL 方法不同的亮度转换convert
。
推荐阅读
- ssl - URL Rewrite Force to https 除一个域外
- c - 使用 rand() 生成 N 个数字且不重复的算法
- javascript - 移动视图菜单问题?
- c# - 为许多实现抽象类的类创建一个 DTO 是一种不好的做法吗?
- ios - UIGestureRecognizer 不向其他类发送操作
- c# - AleaGPU 适用于矩形内的点
- django-models - DRF - 在 SlugRelatedField 上使用包含字段查找的查询集过滤器
- mysql - 如果我 console.log 我的结果会显示,但如果我返回它不会
- testng - TestNG 如何处理子类中测试方法的重复优先级?
- node.js - 检查数组中是否存在未知字段