python - 在最终模型中保存预处理步骤
问题描述
我正在尝试将我的文本分类模型保存为泡菜文件。我有一组特定的预处理步骤,我想将它们保存在我的最终模型中,以将其应用于看不见的数据进行预测。目前我尝试使用 sklearn 管道,其中包括预处理、应用计数矢量化器和应用算法。我的问题是,这是否是将预处理步骤保存在最终模型中的正确方法,还是应该将其保存为单独的文件。下面是我的代码
from sklearn import model_selection
X_train, X_test, y_train, y_test = model_selection.train_test_split(df_train.data, df_train.label, test_size=0.2)
vect = CountVectorizer(stop_words='english', max_features=10000, , ngram_range=(1,2))
X_train_dtm = vect.fit_transform(X_train)
X_test_dtm = vect.transform(X_test)
from sklearn import metrics
from sklearn.ensemble import RandomForestClassifier
rf_classifier = RandomForestClassifier(n_estimators=100)
rf_classifier.fit(X_train_dtm, y_train)
rf_predictions = rf_classifier.predict(X_test_dtm)
print("RF Accuracy:")
metrics.accuracy_score(y_test, rf_predictions)
import pickle
from sklearn.pipeline import Pipeline
pipe = Pipeline([("prep", prep),("CV", vect), ("RF", rf_classifier)])
with open('PII_model.pickle', 'wb') as picklefile:
pickle.dump(pipe, picklefile)
我有一个预处理方法,我调用它,我已经将它包含在我的 sklearn 管道中
prep = prep(df_train)
解决方案
一般来说,这是正确的方法。但是您可以改进它,从一开始就将所有内容都放在管道中:
vect = CountVectorizer(stop_words='english',
max_features=10000,
ngram_range=(1,2))
rf_classifier = RandomForestClassifier(n_estimators=100)
pipe = Pipeline([("prep", prep),("CV", vect), ("RF", rf_classifier)])
pipe.fit(X_train_dtm, y_train)
rf_predictions = pipe.predict(X_test_dtm)
print("RF Accuracy:")
metrics.accuracy_score(y_test, rf_predictions)
with open('PII_model.pickle', 'wb') as picklefile:
pickle.dump(pipe, picklefile)
将所有内容放在一个管道中的另一个好处 - 您可以轻松地使用GridSearch来调整模型的参数。
您还可以在此处找到有关如何组织混合类型管道的官方文档。
推荐阅读
- python - 如何正确迁移 Django 中的 Enumfield 值?
- json - 如何在液体 json 到 json 转换中使用子字符串操作?
- sql - Oracle 更新非索引和非分区表的有效方法?
- ldap - WebLogic LDAP 可调度 CRUD 操作
- python - Tensorflow 数据集 - 地图 json
- snowflake-cloud-data-platform - 如何在 Snowflake 的 INNER SELECT 语句中使用声明的变量?
- javascript - MS Graph 创建 onlineMeeting:“onlinemeeting 不能为空。”
- ios - UITextField 的下边框为 tintColor
- cordova - 在 Ionic (ionic native push / phonegap-plugin-push) 上接收通知附加数据
- xml - 如何在 ASP.net Core 2.1 中生成动态 API