apache-spark - 从 cosmos 到 ADLS 的数据归档

Question

我正在研究物联网数据，我每 1 秒从每个设备获取数据。这是通过 IOT 中心来的，然后在 Azure 函数中进行处理，最后存储在 Cosmos DB 中。但是这些数据正在增长到大规模，所以我想在 cosmos 中设置 TTL 5 天，并将数据存档在 ADLS 中，可以定期完成，一天两次或一天一次。但我无法弄清楚我是否应该编写一个火花作业来进行这种转移或使用任何其他强大和优化的方法？我想要一些关于我可以用于这个用例的不同方法的建议。

标签： apache-sparkbigdataazure-cosmosdbdata-migrationazure-data-factory-2

Answer 1

Azure 数据工厂可以将数据从 Cosmos DB 复制到许多数据存储。https://docs.microsoft.com/en-us/azure/data-factory/connector-azure-cosmos-db