azure - 将流式数据引入 Azure 数据资源管理器的限制
问题描述
我正在尝试对一个表执行更新查询,该表在写入更新表之前查询和连接另一个表中的数据。不幸的是,当我尝试将更新策略应用于表时,我收到以下错误;
Microsoft 文档描述了在其上配置了流式摄取策略的表上的更新策略只能在其更新查询中引用摄取的数据的限制。
为了尝试导航,我在流表和转换表之间有一个暂存表,我认为这可能有所帮助,方法是不直接引用复杂更新策略中的流数据。所以我目前的数据流如下:
- T1 - 从事件中心流式传输的消息
- T2 - 将数据从 T1 中的原始消息解析到列的简单更新策略
- T3 - 使用简单的更新策略从 T1 解析部分数据
- T4 - 来自 T2 和 T3 的组合数据被合并以在表中生成一行,这是在应用更新策略时出现问题的表。
T4 和 T1 之间没有直接联系,这就是为什么我看到这个错误很奇怪,除非限制意味着一旦您将任何流式摄取策略引入数据库中的任何表,您就会受到更新策略的限制可以应用。
我已经确认我的更新策略在使用默认的“批量摄取”方法时都有效。
我还确认流式摄取策略仅适用于 T1,而不适用于数据库范围。
在尝试应用更新策略时,有没有人有任何类似的经验?
解决方案
文档中描述的限制与到达流式摄取本身的数据相关,并且不限于单级更新策略。
推荐阅读
- html - 如何将新的 { @class = "form-control } 添加到 MVC 视图
- javascript - 使用 joi 进行 Multer 验证
- kotlin - 在 Kotlin 中使用 Coroutine 时如何保证获取最新数据?
- mvvm - 我应该在哪里为 SwiftUI 中的视图创建模型实例?
- c++ - 我是否应该添加 c1 中的所有值以获得答案 10?
- kubernetes - 用于调试 kubeflow/pipeline/helloworld 的 dockershim 和相关日志在哪里
- java - 将 byte[] 中的 JPEG2000 图像转换为 BufferedImage 对象
- amazon-web-services - 用于查询 AWS Athena 的 Lambda 函数给出超时
- javascript - Google Drive API 浏览器 - 所有用户的默认驱动器
- docker - Terraform、Kubernetes 和 Helm——为部署设置 CI