azure - 比较两个 azure 数据工厂管道的基准
问题描述
我已经为相同的功能构建了两个具有不同转换的管道。
是否有任何基准来比较这两个管道的效率和/或资源利用率?
详细解释: Pipeline 1 :仅使用 2 Mapping 数据流。一个有 4 个变换,另一个有 20 个变换。管道 2:使用 2 个映射数据流。一个有 4 个转换,第二个 DF 另一个有 15 个转换和 Databricks 笔记本。
我想比较这两个管道 1.效率 2.资源利用 3.成本
有什么输入吗?
谢谢
解决方案
我认为您可以比较管道的输出,输出包含您想要的值。
这是管道执行的输出示例:
{
"dataRead": 8192,
"dataWritten": 612,
"filesRead": 1,
"sourcePeakConnections": 1,
"sinkPeakConnections": 2,
"rowsRead": 1,
"rowsCopied": 1,
"copyDuration": 12,
"throughput": 0.667,
"errors": [],
"effectiveIntegrationRuntime": "DefaultIntegrationRuntime (East US)",
"usedDataIntegrationUnits": 4,
"billingReference": {
"activityType": "DataMovement",
"billableDuration": [
{
"meterType": "AzureIR",
"duration": 0.06666666666666667,
"unit": "DIUHours"
}
]
},
"usedParallelCopies": 1,
"executionDetails": [
{
"source": {
"type": "AzureBlobStorage",
"region": "Central US"
},
"sink": {
"type": "AzureSqlDatabase",
"region": "East US"
},
"status": "Succeeded",
"start": "2020-09-01T08:20:09.1734161Z",
"duration": 12,
"usedDataIntegrationUnits": 4,
"usedParallelCopies": 1,
"profile": {
"queue": {
"status": "Completed",
"duration": 9
},
"transfer": {
"status": "Completed",
"duration": 3,
"details": {
"listingSource": {
"type": "AzureBlobStorage",
"workingDuration": 0
},
"readingFromSource": {
"type": "AzureBlobStorage",
"workingDuration": 0
},
"writingToSink": {
"type": "AzureSqlDatabase",
"workingDuration": 0
}
}
}
},
"detailedDurations": {
"queuingDuration": 9,
"transferDuration": 3
}
}
],
"dataConsistencyVerification": {
"VerificationResult": "NotVerified"
},
"durationInQueue": {
"integrationRuntimeQueue": 0
}
}
在门户网站上:
推荐阅读
- javascript - 获取元素相对于溢出页面的位置
- javascript - 碰撞检测/玩家运动物理
- android - Android 使用字体进行依赖包
- google-apps-script - 如何避免请求 OAuth API 验证以使用 Google 脚本发送电子邮件
- python - 由于调色板导致 matplotlib 散点图出错
- python - 拆分和重组 Python 模块
- php - htaccess 在 wordpress 中重定向
- apache-spark - spark close() 导致缓存被自动清除?
- python - 芹菜。当任务超过一定的执行时间时如何杀死它?
- javascript - 如何在 vuex 商店中存储 nuxtjs 动态生成的路由