时间戳

首页 > 解决方案 > 序列预测 ML 任务使用哪个指标？

machine-learning - 序列预测 ML 任务使用哪个指标？

问题描述

我的任务是根据前面的元素找到序列的下一个元素。因此，算法的模型已经在现有序列和输入数据上进行了训练，用于预测序列 ["A"、"B"、"C"] 的 N 个先前元素，并返回 N+1 个元素的前 M 个预测值。IE

{"item": "X", "score": 0.8},
{"item": "W", "score": 0.1},
{"item": "Y", "score": 0.05}

我有一个测试集，它为我提供了序列[“A”，“B”，“C”]的下一个元素的有序相关列表：

["X", "Z", "Y"]

我需要评估算法的指标

  1. 如果具有较高分数的预测元素在相关列表中的位置较高，则给我更高的值
  2. 如果预测元素完全存在于相关列表中，则给我更高的价值。

我会使用排名指标（如 NDCG、MAP、MRR），但它们仅计算预测值的二元相关性（条件 2），但不依赖于相关顺序（条件 1）。

标签： machine-learningmetrics

解决方案

推荐阅读