statistics - 注释者间协议的 Fleiss-kappa 分数

Question

在我的数据集中，我有一组类别，对于每个类别，我都有一组 150 个示例。每个示例都由 5 名人工评分者注释为真/假。我正在使用 Fleiss-kappa 分数计算注释者间协议：

1) for the entire dataset
2) for each category in particular

但是，我获得的结果表明，整个数据集的 Fleiss-kappa 分数并不等于每个类别的 Fleiss-kappa 分数的平均值。在我的计算中，我使用标准的内置包来计算分数。这可能是由于我的矩阵计算中的错误，还是分数不应该相等？谢谢！

标签： statisticsusage-statistics