首页 > 技术文章 > 稳过!华为微认证ModelArts实现智能花卉识别稳过!华为云

xk-xk 2022-02-11 16:44 原文

华为微认证ModelArts实现智能花卉识别稳过!

ModelArts实现智能花卉识别的概述

image

image

image

image

image

ModelArts实现智能花卉识别的解决方案

image

image

image

image

image

image

image

ModelArts实现智能花卉识别所需的华为云技术

image

image

image

image

image

image

image

image

image

image

image

image

image

image

image

ModelArts实现智能花卉识别的华为云实践

image

image

image

image

image

image

image

image-20220211133704043

image

image

image

自测题

image

image

实践

什么是OBS?对象存储服务(Object Storage Service,OBS)是一个基于对象的海量存储服务,为客户提供海量、安全、高可靠、低成本的数据存储能力,包括:创建、修改、删除桶,上传、下载、删除对象等。

image

image

import moxing as mox
mox.file.copy_parallel('s3://sandbox-experiment-resource-north-4/flowers-data/flowers-100', 's3://your_bucket_name/your_folder_name')

image

image

点击【选择】后在选择算法框中,点击【我的订阅】,在我的订阅算法中找到算法【图像分类-ResNet_v1_50】,点击算法名称,在弹出下拉框中选择【10.0.0】(算法是按订阅时间显示的,若之前已订阅则需往前查找该算法‘图像分类-ResNet_v1_50’)。

填写参数:① “名称”和“描述”可以随意填写;② “算法来源”中的“算法管理”,算法名称默认为之前选择的算法。③ “训练输入”->“数据来源”点击“数据存储位置”,选择1.2步骤中创建的存放数据的文件夹;④ “训练输出”->“模型输出”点击“选择”,选择1.2创建的OBS桶,并选择新建文件夹,创建一个输出文件夹 如:out⑤ “调优参数”:默认;⑥ 作业日志路径:默认;⑦ 资源池:公共资源池;⑧ 规格:GPU:1*NVIDIA-V100(32GB) | CPU:8核64GB;⑨ 计算节点个数:1;

2.2.通过可视化作业查看模型训练信息在模型训练的过程完成后,通过创建可视化作业查看一些参数的统计信息,如loss, accuracy等。操作如下:① 在“训练作业”界面,点击“可视化作业”,再点击“创建”按钮;② 参数“名称”,可随意填写;③ 规格:默认;④ “训练输出位置”选择2.2步骤中的训练输出位置;⑤ “自动停止”不设置(关闭)。点击“下一步”确认规格无误后点击“提交”完成此步。此步骤创建时间较长【约等待5分钟】,建议直接继续下一步实验,无需等待。

3.2.部署在线服务点击已创建模型名称前的下拉箭头,点击操作列中【部署】,选择部署菜单栏中的【在线服务】。或点击模型名称进入模型详情页,点击详情页右上角的【部署】,在部署菜单中选择【在线服务】。参数如下:① 计费模式:按需计费② 名称:自定义③ 是否自动停止:关闭④ 描述:自定义⑤ 资源池:公共资源池⑥ 服务流量限制:关闭⑦ 选择模型及配置:⑧ 模型来源:我的模型⑨ 模型:默认已选择所创建的模型名称及版本⑩ 计算节点规格:CPU:2核8GB其他配置默认即可。

image

image

点击“下一步”->“提交”完成部署。说明:部署模型为导入的模型。部署创建完成后,返回列表需要等待部署成功【约等待2分钟】,部署服务状态显示“运行中”,即可进行下一步操作。

4.发起预测请求点击刚刚部署上线(已完成部署)的在线服务名称,进入服务详情,点击“预测”标签,在此可进行在线预测,如下图所示。操作:选择预测图片文件,点击左侧“上传”选择pic文件夹内的图片资源,点击“预测”完成操作。说明:测试图片存放于桌面pic文件夹内。尝试更多图片预测,可点击桌面sunflower.sh脚本进行快捷搜索。

image

返回值如图所示,预测结果显示,所选图片与五种类型花卉的匹配程度为:dandelion:1.000(匹配度为100)tulip:0.000(匹配度为0%)

测试常见题型

IAM深入理解

统一身份认证(Identity and Access Management,简称IAM)是华为云提供权限管理的基础服务,可以帮助您安全地控制云服务和资源的访问权限。

AK/SK(Access Key ID/Secret Access Key)

登录验证策略

  • 会话超时策略
  • 账号锁定策略
  • 账号停用策略
  • 最近登录提示
  • 登录验证提示

访问控制

  • 允许访问的IP地址区间
  • 允许访问的IP地址或网段
  • 允许访问的VPC Endpoint

OBS

OBS是一项面向Internet访问的服务,提供了基于HTTP/HTTPS协议的Web服务接口,用户可以随时随地连接到Internet的电脑上,通过OBS管理控制台或各种OBS工具访问和管理存储在OBS中的数据。此外,OBS支持SDK和OBS API接口,可使用户方便管理自己存储在OBS上的数据,以及开发多种类型的上层业务应用。

对象是OBS中数据存储的基本单位,一个对象实际是一个文件的数据与其相关属性信息的集合体,包括Key、Metadata、Data三部分:

OBS资源管理工具:管理控制台、OBS Browser(已下线)、OBS Browser+、obsutil命令行工具、obsfs文件系统工具、SDK、API

  • OBS支持如下请求方式:

    通过永久访问密钥访问OBS
    通过临时访问密钥访问OBS
    通过临时URL访问OBS
    通过IAM委托访问OBS

OBS支持通过权限控制(IAM权限、桶策略、ACL)、防盗链和跨域资源共享(CORS)进行访问控制。

OBS权限:Tenant Administrator、Tenant Guest、OBS Administrator、OBS Buckets Viewer、OBS ReadOnlyAccess、OBS OperateAccess

一个帐号及帐号下的所有IAM用户可创建的桶+并行文件系统的上限为100个。每个桶中存放的对象的数量和大小总和没有限制,用户不需要考虑数据的可扩展性。

由于OBS是基于REST风格HTTP和HTTPS协议的服务,您可以通过URL(Uniform Resource Locator)来定位资源。

产生碎片

  • 网络条件较差,与OBS的服务器之间的连接经常断开。
  • 上传过程中,人为中断上传任务。
  • 设备故障。
  • 突然断电等特殊情况。

OBS支持以下两种方式的服务端加密:KMS托管密钥的服务端加密(SSE-KMS)、客户提供加密密钥的服务端加密(SSE-C)

ModelArts

由于模型训练过程需要大量有标签的数据,因此在模型训练之前需对数据进行标注。针对不同类型的数据集,支持在ModelArts中进行手工标注

ModelArts是一个一站式的开发平台,能够支撑开发者从数据到AI应用的全流程开发过程。包含数据处理、模型训练、模型管理、模型部署等操作,并且提供AI Gallery功能,能够在市场内与其他开发者分享模型。

ModelArts支持应用到图像分类、物体检测、视频分析、语音识别、产品推荐、异常检测等多种AI应用场景。

端-边-云分别指端侧设备、智能边缘设备、公有云。

MoXing是ModelArts自研的组件,是一种轻型的分布式框架,构建于TensorFlow、PyTorch、MXNet、MindSpore等深度学习引擎之上,使得这些计算引擎分布式性能更高,同时易用性更好。

访问ModelArts

云服务平台提供了Web化的服务管理平台,即管理控制台和基于HTTPS请求的API(Application programming interface)管理方式。

  • 管理控制台方式
  • SDK方式
  • API方式

ModelArts系统策略:ModelArts FullAccess 、ModelArts CommonOperations

默认情况下,管理员创建的IAM用户没有任何权限,需要将其加入用户组,并给用户组授予策略或角色,才能使得用户组中的用户获得对应的权限,这一过程称为授权。授权后,用户就可以基于授予的权限对云服务进行操作。

计费方式:

  • 按需计费:这种购买方式比较灵活,可以即开即停。在创建开发环境、创建训练作业、部署模型服务等页面中选择相应资源规格时购买。按实际使用的时长收费

  • 预付套餐包

  • 包周期(包年包月)购买

外部数据接入:AI Gallery、OBS、MRS、DWS、本地

人工智能网络简单介绍

image

RetinaNet

基于深度学习的目标检测算法有两类经典的结构:Two Stage 和 One Stage。

Two Stage:例如Faster-RCNN算法。第一级专注于proposal的提取,第二级对提取出的proposal进行分类和精确坐标回归。两级结构准确度较高,但因为第二级需要单独对每个proposal进行分类/回归,速度上就打了折扣

One Stage:例如SSD,YOLO算法。此类算法摒弃了提取proposal的过程,只用一级就完成了识别/回归,虽然速度较快但准确率远远比不上两级结构、

RetinaNet算法源自2018年Facebook AI Research的论文 Focal Loss for Dense Object Detection,作者包括了Ross大神、Kaiming大神和Piotr大神。该论文最大的贡献在于提出了Focal Loss用于解决类别不均衡问题,从而创造了RetinaNet(One Stage目标检测算法)这个精度超越经典Two Stage的Faster-RCNN的目标检测网络。

resnet,retinanet,fpn网络结构及pytorch实现代码

yolo

典型目标检测算法

inception_v3

经典卷积神经网络

卷积网络是大多数计算机视觉任务的 state of the art 模型采用的方法。

Inception v3 论文笔记

darknet

Darknet是一个比较小众的深度学习框架

yolo是模型;darkent是框架。作者:Joseph Chet Redmon开发了一个深度学习框架——Darkent,并且设计了多种yolo系列模型

Darknet53网络结构图及代码实现

SegNet

SegNet是Cambridge提出旨在解决自动驾驶或者智能机器人的图像语义分割深度网络

【语义分割】--SegNet理解

semantic segmentation

ResNet

深度残差网络(Deep residual network, ResNet)的提出是CNN图像史上的一件里程碑事件

你必须要知道CNN模型:ResNet

卷积神经网络百科

Faster_RCNN

RCNN(Region with CNN feature)是卷积神经网络应用于目标检测问题的一个里程碑的飞跃。

RCNN,Fast RCNN, Faster RCNN整理总结

一文读懂Faster RCNN

推荐阅读