python - 如何腌制sklearn管道对象?
问题描述
我正在尝试保存管道。我不能。这是我的类对象,我尝试过酸洗。
class SentimentModel():
def __init__(self,model_instance,x_train,x_test,y_train,y_test):
import string
from nltk import ngrams
self.ngrams = ngrams
self.string = string
self.model = model_instance
self.x_train = x_train
self.x_test = x_test
self.y_train = y_train
self.y_test = y_test
self._fit()
def _fit(self):
from sklearn.pipeline import Pipeline
from sklearn.feature_extraction.text import TfidfTransformer
from sklearn.feature_extraction.text import CountVectorizer
self.pipeline = Pipeline([
('bow', CountVectorizer(analyzer=self._text_process)),
('tfidf', TfidfTransformer()),
('classifier', self.model),
])
self.pipeline.fit(self.x_train,self.y_train)
self.preds = self.pipeline.predict(self.x_test)
def _text_process(self,text):
def remove_non_ascii(text):
return ''.join(i for i in text if ord(i)<128)
text = remove_non_ascii(text)
text = [char.lower() for char in text if char not in self.string.punctuation]
text = ''.join(text)
unigrams = [word for word in text.split()]
bigrams = [' '.join(g) for g in self.ngrams(unigrams,2)]
trigrams = [' '.join(g) for g in self.ngrams(unigrams,3)]
tokens = []
tokens.extend(unigrams+bigrams+trigrams)
return tokens
def predict(self,observation):
return self.pipeline.predict(observation)
我得到这些错误:
from sklearn.naive_bayes import MultinomialNB
nb = MultinomialNB()
nb_model = SentimentModel(nb,X_train,X_test,y_train,y_test)
import pickle
with open('nb_model1.pkl','wb') as f:
pickle.dump(nb_model,f)
>>>
TypeError: can't pickle module objects
同样地:
with open('nb_model1.pkl','wb') as f:
pickle.dump(nb_model.pipeline,f)
TypeError: can't pickle module objects
但是,我可以保存nb_model.model
. 但不是管道对象。有什么解释?如何让我的整个管道持续存在?
我已经看到如何在 sklearn 的管道中腌制各个步骤?,但问题是,它不能腌制bow
属性。
joblib.dump(nb_model.pipeline.get_params()['tfidf'], 'nb_tfidf.pkl') # pass
joblib.dump(nb_model.pipeline.get_params()['bow'], 'nb_bow.pkl') # fail
joblib.dump(nb_model.pipeline.get_params()['classifier'], 'nb_classifier.pkl') #pass
>>>
TypeError: can't pickle module objects
我该怎么办?
解决方案
再试一次,不要在你的类定义中导入模块。这不是一个好习惯,因为当您导入诸如 之类的东西时import string
,您会将一整套第三方代码带到您的代码中,这些代码甚至可能没有安装在另一台想要使用此 pickle 的机器上;这不是一个好习惯。也许pickle
是在保护你做这种事情。
推荐阅读
- airflow - 作曲家自动缩放?
- php - PHP 5.3 - 如何在不加载到内存的情况下将内容附加到大文件
- ios - 在 CollectionView 中估计单元格高度的更快方法
- java - String.compareIgnoreCase 返回错误结果
- mysql - MySQL 在 where 子句中不等于 >= '' 吗?哪个表现更好?
- tomcat - 升级后Alfresco登录问题
- java - 如何将 JFreeChart 的图形保存在 PNG 图像中?
- neo4j - neo4j 事务日志未修剪
- javascript - 如何在 javascript 上的按钮单击事件中添加一些新内容?
- python - 如何使小部件(球)从屏幕底部开始 - Python/Kivy