azure-sqldw - 是否有系统 DMV 来监控正在加载的文件?
问题描述
我正在使用 polybase 将文件从 blob 存储加载到 Azure DW。
我通常使用sys.dm_pdw_exec_requests
andsys.dm_pdw_sql_requests
查看任何长时间运行的进程在做什么,但是 polybase 负载的信息有限。
是否有一个文件可以显示 Polybase 在目录中找到的文件列表并指示任何类型的进度(可能是已完成的文件或加载的行?)
解决方案
我们仍在添加围绕 Polybase 监控的功能。
这是一个查询,可帮助您监视正在加载的当前文件的进度。“当前”表示如果数据集中有 1,000 个文件,并且 Polybase 一次处理 10 个文件,则在任何给定时间,此查询只能产生 10 行。
-- To track bytes and files
SELECT
r.command,
s.request_id,
r.status,
count(distinct input_name) as nbr_files,
sum(s.bytes_processed)/1024/1024/1024 as gb_processed
FROM
sys.dm_pdw_exec_requests r
inner join sys.dm_pdw_dms_external_work s
on r.request_id = s.request_id
GROUP BY
r.command,
s.request_id,
r.status
ORDER BY
nbr_files desc,
gb_processed desc;
这是一个越来越重要的话题,我创建了一个用户语音任务来注册用户支持。您介意添加您的投票/评论吗?
推荐阅读
- c - 如何将其更改为预处理器宏
- r - 使用 dplyr 为纵向数据随时间的变化生成新变量
- python - RuntimeError:CUDA 错误 - 训练我的模型时?
- maven - maven-cucumber-reporting - 插件 net.masterthought:maven-cucumber-reporting:5.5.4 或其依赖项之一无法解决
- oracle - 如何使用 Oracle APEX 页面作为书签?
- sql - 使用 VBA 插入 Access 联结表
- qt - 如何让对话框作为独立窗口弹出?
- python - How to use putString() method in pyrebase (Python) Firebase storage
- sql - 数据库网格未正确显示列宽
- git - 为什么升级到 git 2.32 后我所有的本地 git 存储库都是“稀疏结帐”?