python - 如何将 .h5 文件(Keras)上传到 Azure Blob 存储而不用 Python 将其保存在磁盘中
问题描述
我正在 Keras 中创建一个模型,并希望将模型保存到 Azure Blob 存储。
我尝试使用upload_blob 上传它,但模型是顺序的,并且blob 服务需要序列化对象。虽然我可以轻松上传 .pkl (pickle) 格式。
我尝试使用 pickle 序列化模型,但上传后模型已损坏且无法使用。
# MLP for Pima Indians Dataset saved to single file
from numpy import loadtxt
from keras.models import Sequential
from keras.layers import Dense
import tensorflow as tf
import pickle
# load pima indians dataset
dataset = loadtxt("https://raw.githubusercontent.com/jbrownlee/Datasets/master/pima-indians-diabetes.data.csv", delimiter=",")
# split into input (X) and output (Y) variables
X = dataset[:,0:8]
Y = dataset[:,8]
# define model
model = Sequential()
model.add(Dense(12, input_dim=8, activation='relu'))
model.add(Dense(8, activation='relu'))
model.add(Dense(1, activation='sigmoid'))
# compile model
model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])
# Fit the model
model.fit(X, Y, epochs=150, batch_size=10, verbose=0)
# evaluate the model
scores = model.evaluate(X, Y, verbose=0)
print("%s: %.2f%%" % (model.metrics_names[1], scores[1]*100))
# save model and architecture to single file
model.save("model.h5")
print("Saved model to disk")
pickle_file = pickle.dumps(model)
from azure.storage.blob import BlobServiceClient, BlobClient, ContainerClient
connect_str = ""
blob_service_client = BlobServiceClient.from_connection_string(connect_str)
# # Create a unique name for the container
container_name = ""
remote_file_name = "model"
blob_client = blob_service_client.get_blob_client(container=container_name, blob=remote_file_name)
blob_client.upload_blob(pickle_file)
我正在使用 machinelearningmastery.com 的基本模型
解决方案
我暂时找到了办法。我将我的 .h5 顺序模型分成两部分,一个作为 .json 将具有架构,第二部分作为将具有权重的二进制文件。我可以将它们都上传到 blob 存储中,下次我需要它们时,我可以下载它们,合并并使用它。
# serialize model to JSON
# model_weights = model.get_weights()
# model_json = model.to_json()
# model_weights_pickle = pickle.dumps(model_weights)
# model_json_pickle = pickle.dumps(model_json)
model_from_json
在此之后,您可以使用和加载模型model.set_weights
推荐阅读
- python - tkinter 使用主窗口调整框架和内容的大小
- sql - 如何在 SQL 中找到供应商提供的所有零件的供应商编号?
- c++ - Pthread 行为 C++
- vmware - 使用 powercli (powershell) 重命名快照 vmware 的说明
- mysql - 数据库查询中的拆分字段
- android-studio - Android Studio 3.1.2 打开项目后挂起
- polymer - 声明式定义的属性值在 Polymer LitElement 中不起作用
- c# - 重载一个对象出错的类?
- android - 对于约束布局android,屏障没有按预期运行
- node.js - while循环代码没有在节点js中按顺序执行