azure - 是否可以监控 Azure 集成运行时?
问题描述
我在 Azure 数据工厂中运行了一些数据管道,并使用 Azure 集成运行时进行计算。我正在尝试监视 CPU/内存使用管道消耗和利用 Azure IR。我已经检查了 Azure Monitor,但我认为 CPU / 内存指标适用于自托管集成运行时。此外,启用诊断设置后,我也尝试验证日志中的详细信息,但这些详细信息不可用。任何人都可以帮助了解更多选择吗?
解决方案
如果您指的是 Azure AutoResolveIntegrationRuntime,那么没有,这就是原因(来自https://www.cathrinewilhelmsen.net/integration-runtimes-azure-data-factory/)
Microsoft 在他们提供 Azure 的各个位置/区域中拥有庞大的弹性池,并且在运行时 ADF 确定它将用于执行管道活动的池/硬件。所以真的没有办法(也没有必要)监控 Azure Autoresolve IR。但是,如果您对监控自托管 IR 感兴趣,那么有很多方法可以做到这一点。
一种简单直接的方法是在 Azure Monitor 的 Metrics 部分创建 Azure Dashboards。正如您从下面的屏幕截图中看到的那样,它提供了随时间推移的使用/资源的良好可视化表示。 如您所见,我正在可视化集成运行时本身(CPU/内存)以及托管集成运行时的 Azure VM。最重要的是,如果满足某些条件(例如,过去 15 分钟的 AVG CPU % 使用率超过 75%),您可以进入 Metrics 仪表板设置警报。这些警报可以向您发送短信或电子邮件……甚至可以执行复杂的操作,例如触发 LogicApp 或 WebHook 以实现自动扩展/扩展、高级通知等。
我认为这是最好的监控方式,但另一种选择是调用 Azure 数据工厂 REST API 来获取集成运行时的监控数据
POST https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.DataFactory/factories/{factoryName}/integrationRuntimes/{integrationRuntimeName}/monitoringData?api-version=2018-06-01
但是这种方法需要您逐步提取数据、存储数据、解析数据,然后将其可视化或在已经非常适合您的情况下对其采取行动。不过,有时重新制作轮子很有趣。
推荐阅读
- r - 在 Windows 上的 R 版本 4.0.1 上安装 R Markdown 时出现错误消息
- java - 为什么我的数据只在读取时刷新到数据库?
- apache-spark - 没有流时的Spark结构化流窗口
- arrays - 喜欢 - 不像 MongoDb 中的系统来查找用户是否喜欢?
- git - qt.qpa.plugin 的 Git Difftool 问题:在“”中找不到 Qt 平台插件“cocoa”
- python - 仅针对一个文件的 Python 命令未找到错误
- angular - spyOn(document, 'getElementById') 升级到 angular 8/"@types/jasmine": "^3.4.0" 后抛出错误
- docker - WORKDIR 作为 VOLUME
- node.js - Parallelshell 模块未在 npm 上运行。可以做什么?
- swift - 如何在 Swift 中替换字符串中的子字符串