首页 > 解决方案 > 使用 docker 服务将滚动更新应用于 tensorflow 服务模型

问题描述

我有一个docker-compose.yml如下所示。它采用 tensorflow.pb模型并部署 API:

version: "3"
services:
  api:
    image: tensorflow/serving:1.14.0-rc0
    deploy:
      replicas: 5
      resources:
        limits:
          cpus: "0.1"
          memory: 50M
      restart_policy:
        condition: on-failure
    ports:
      - "8501:8501"
    networks:
      - webnet
    volumes:
      - source:target
    environment:
        - MODEL_NAME=model_name
networks:
  webnet:

遵循 tensorflow 服务指令,源文件夹具有以下结构:

- source 
  - 1
    - variables
    - model.rb

我可以使用docker stack deploy -c docker-compose.yml service-name.

假设现在,我有模型的第 2 版,我想应用滚动更新以从第 1 版切换到第 2 版,而不会终止当前进程。

- source 
  - 1
    - variables
    - model.rb
  - 2
    - variables
    - model.rb

我需要在这里运行的命令是什么?我假设我需要以docker service update某种方式使用,但我不确定最安全的方法。

标签: dockertensorflowdocker-composetensorflow-serving

解决方案


推荐阅读