machine-learning - 当我们加载预训练模型并且我们没有训练数据集时,如何缩放预测数据?
问题描述
假设我有一个火车数据集。我把它分成训练/测试。对于训练,我使用标准缩放器对训练数据进行 fit.transform 并在测试数据上进行转换。然后,我训练一个模型并保存它。
火车.py:
data = pd.read_csv("train.csv")
X = data["X"]
y = data["y"]
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3)
scale = StandardScaler()
X_train_s = scale.fit_transform(X_train)
X_test_s = scale.transform(X_test)
model.fit(X_train_s, y_train)
y_pred = model.predcit(X_test_s)
# save model
joblib.dump(model, filename)
现在,我在另一个脚本中加载模型,并且我有另一个数据集仅用于预测。问题是当我没有训练数据集时如何缩放预测数据集。如下预测数据集上的 fit.transform 是否正确?
预测.py
data = pd.read_csv("prediction.csv")
X = data["X"]
y = data["y"]
scale = StandardScaler()
X_predict_s = scale.fit_transform(X)
loaded_model = joblib.load(filename)
y_pred = loaded_model(X_predict_s)
或者我必须将训练数据加载prediction.py
到 fit.transform 缩放器中并使用它。
解决方案
我喜欢使用pickle
,但同样的逻辑也适用于joblib
.
本质上,您必须转储您的缩放器并将其加载到新脚本中,就像您对model
and所做的那样loaded_model
。
在您训练模型的脚本中:
from pickle import dump
# save model
dump(model, open('model.pkl', 'wb'))
# save scaler
dump(scale, open('scale.pkl', 'wb'))
在加载模型的脚本中:
from pickle import load
# load model
loaded_model = load(model, open('model.pkl', 'rb'))
# load scaler
loaded_scale = load(scale, open('scale.pkl', 'rb'))
现在您必须使用 转换您的数据loaded_scale
并使用loaded_model
.
推荐阅读
- r - 填充 R 数据框中的多列
- c# - Unity - 动画师不会让我和禁用对撞机的代码。为什么?
- c++ - 在哪个版本的 c++ 中引入了逗号分隔的多行 if 语句,使用它有什么缺点吗?
- javascript - 为什么 react js 找不到我导出的模块?
- gitbook - gitbook init 错误:TypeError [ERR_INVALID_ARG_TYPE]:“数据”参数必须是
- swift - 如何在 Firestore 中按最新的顺序排列数组
- symfony - Symfony http缓存管理动态过期时间或如何使缓存无效?
- python - Selenium 找到一个元素并检查它是否可交互
- python - 这条路径是什么意思 /**/*.jpg?
- apache-spark - 在 Kubernetes 上运行 Spark 示例失败