python - Airflow:存储机器学习模型
问题描述
我会在 Airflow 上制作机器学习管道。
例子)
result = model.fit()
但是 DAG 文件:(sample.py)每次都会刷新。
所以我不能存储训练有素的模型。
我应该如何对待训练有素的模型?
或者我应该将训练好的模型数据存储在外部?
那么把训练好的模型拿来使用呢?
解决方案
将模型存储在 pickle 文件中,并随时从同一文件中检索模型。
import pickle
result = model.fit()
# save the model to disk
filename = 'my_model.sav'
pickle.dump(model, open(filename, 'wb'))
# load the model from file for later use
reload_model = pickle.load(open(filename, 'rb'))
result_final = reload_model.score(X_test, y_test)
print result_final