时间戳

首页 > 解决方案 > 如何从自定义 AI 平台模型登录

python - 如何从自定义 AI 平台模型登录

问题描述

我最近将一个自定义模型部署到谷歌云的 ai 平台，我正在尝试调试我的预处理逻辑的某些部分。但是，我的打印语句未记录到堆栈驱动程序输出。我也尝试使用从 google.cloud 导入的日志客户端，但无济于事。这是我的自定义预测文件：

import os
import pickle

import numpy as np
from sklearn.datasets import load_iris
import tensorflow as tf

from google.cloud import logging

class MyPredictor(object):
  def __init__(self, model, preprocessor):
    self.logging_client = logging.Client()
    self._model = model
    self._preprocessor = preprocessor
    self._class_names = ["Snare", "Kicks", "ClosedHH", "ClosedHH",  "Clap", "Crash", "Perc"]

  def predict(self, instances, **kwargs):
    log_name = "Here I am"
    logger = self.logging_client.logger(log_name)
    text = 'Hello, world!'
    logger.log_text(text)
    print('Logged: {}'.format(text), kwargs.get("sr"))

    inputs = np.asarray(instances)

    outputs = self._model.predict(inputs)

    if kwargs.get('probabilities'):
      return outputs.tolist()
      #return "[]"
    else:
      return [self._class_names[index] for index in np.argmax(outputs.tolist(), axis=1)]

  @classmethod
  def from_path(cls, model_dir):
    model_path = os.path.join(model_dir, 'model.h5')
    model = tf.keras.models.load_model(model_path, custom_objects={"adam": tf.keras.optimizers.Adam, 
 "categorical_crossentropy":tf.keras.losses.categorical_crossentropy, "lr":0.01, "name": "Adam"})

    preprocessor_path = os.path.join(model_dir, 'preprocessor.pkl')
    with open(preprocessor_path, 'rb') as f:
      preprocessor = pickle.load(f)

    return cls(model, preprocessor)

我在网上找不到任何关于为什么我的日志没有出现在 stackdriver 中的任何信息（打印语句和日志库调用都没有）。有没有人遇到过这个问题？

谢谢，尼基塔

注意：如果您有足够的代表来创建标签，请将 google-ai-platform 标签添加到这篇文章中。我认为这真的会对处于我这个位置的人有所帮助。谢谢！

标签： pythongcloudgoogle-cloud-mlgoogle-ai-platform

解决方案

从文档：

如果要启用在线预测日志记录，则必须在创建模型资源或创建模型版本资源时进行配置，具体取决于要启用的日志记录类型。您可以单独启用三种类型的日志记录：

访问日志记录，将每个请求的时间戳和延迟等信息记录到 Stackdriver Logging。

您可以在创建模型资源时启用访问日志记录。

流日志记录，将预测节点中的 stderr 和 stdout 流记录到 Stackdriver Logging，可用于调试。这种类型的日志记录处于测试阶段，并且不受 Compute Engine (N1) 机器类型的支持。

您可以在创建模型资源时启用流日志记录。

请求-响应日志记录，用于记录在线预测请求示例和对 BigQuery 表的响应。这种类型的日志记录处于测试阶段。

您可以通过创建模型版本资源然后更新该版本来启用请求-响应日志记录。

对于您的用例，请使用以下模板将自定义信息记录到 StackDriver：

模型

gcloud beta ai-platform models create {MODEL_NAME} \
 --regions {REGION} \
 --enable-logging \
 --enable-console-logging

型号版本

gcloud beta ai-platform versions create {VERSION_NAME} \
    --model {MODEL_NAME} \
    --origin gs://{BUCKET}/{MODEL_DIR} \
    --python-version 3.7 \
    --runtime-version 1.15 \
    --package-uris gs://{BUCKET}/{PACKAGES_DIR}/custom-model-0.1.tar.gz \
    --prediction-class=custom_prediction.CustomModelPrediction \
    --service-account custom@project_id.iam.gserviceaccount.com

我试过这个并且工作正常：

  • 由于@classmethod 装饰器，我对构造函数做了一些修改。
  • 创建一个服务帐号并授予它“Stackdriver Debugger User”角色，在模型版本创建期间使用它
  • 将google-cloud-logging库添加到您的setup.py
  • 考虑启用 StackDriver 日志记录的额外成本
  • 使用时log_struct检查正确的类型是否通过。（如果使用str，请确保在 Python 3 中使用转换bytes为）str.decode('utf-8')
  • 在创建 Stackdriver 客户端时定义 project_id 参数 logging.Client()，否则会得到：
ERROR:root:Prediction failed: 400 Name "projects//logs/my-custom-prediction-log" is missing the parent component. Expected the form projects/[PROJECT_ID]/logs/[ID]"

下面的代码：

%%writefile cloud_logging.py

import os
import pickle
import numpy as np

from datetime import date
from google.cloud import logging

import tensorflow.keras as keras
LOG_NAME = 'my-custom-prediction-log'

class CustomModelPrediction(object):
    def __init__(self, model, processor, client):    
        self._model = model
        self._processor = processor
        self._client = client

    def _postprocess(self, predictions):
        labels = ['negative', 'positive']
        return [
            {
                "label":labels[int(np.round(prediction))],
                "score":float(np.round(prediction, 4))
            } for prediction in predictions]

    def predict(self, instances, **kwargs):
        logger = self._client.logger(LOG_NAME)
        logger.log_struct({'instances':instances})
        preprocessed_data = self._processor.transform(instances)
        predictions =  self._model.predict(preprocessed_data)
        labels = self._postprocess(predictions)
        return labels

    @classmethod
    def from_path(cls, model_dir):        
        client = logging.Client(project='project_id') # Change to your project
        model = keras.models.load_model(
          os.path.join(model_dir,'keras_saved_model.h5'))
        with open(os.path.join(model_dir, 'processor_state.pkl'), 'rb') as f:
            processor = pickle.load(f)    
        return cls(model, processor, client)

# Verify model locally

from cloud_logging import CustomModelPrediction
classifier = CustomModelPrediction.from_path('.')

requests = ["God I hate the north", "god I love this"]
response = classifier.predict(requests)
response

然后我检查示例库：

python snippets.py my-custom-prediction-log list
Listing entries for logger my-custom-prediction-log:
* 2020-02-19T19:51:45.809767+00:00: {u'instances': [u'God I hate the north', u'god I love this']}
* 2020-02-19T19:57:18.615159+00:00: {u'instances': [u'God I hate the north', u'god I love this']}

要可视化日志，请在 StackDriver > Logging > 选择 Global 和您的日志名称中，如果您想查看模型日志，您应该能够选择 Cloud ML 模型版本。

你可以在这里使用我的文件：模型和预处理器

推荐阅读