azure - 将数据从数据库移动到 Azure Blob 存储
问题描述
我可以使用dask.dataframe.read_sql_table来读取数据,例如df = dd.read_sql_table(table='TABLE', uri=uri, index_col='field', npartitions=N)
将其保存为 Azure Blob 存储中的镶木地板文件的下一个(最佳)步骤是什么?
根据我的小型研究,有两种选择:
- 在本地保存并使用https://docs.microsoft.com/en-us/azure/storage/common/storage-use-azcopy-blobs?toc=/azure/storage/blobs/toc.json(不适合大数据)
- 我相信adfs是从 blob 中读取
- 使用dask.dataframe.to_parquet并找出如何指向 blob 容器
- 摄入项目(不知道从哪里开始)
解决方案
$ pip install adlfs
dd.to_parquet(
df=df,
path='absf://{BLOB}/{FILE_NAME}.parquet',
storage_options={'account_name': 'ACCOUNT_NAME',
'account_key': 'ACCOUNT_KEY'},
)
推荐阅读
- angular - 无法读取单元测试错误中未定义的属性 setNumber
- javascript - 如何在反应中比较两个数组
- firebase - 使用 Flutter 和 Firebase_ml_vision 无法使人脸检测正常工作
- java - 按下按钮时显示一条消息,释放时显示另一条消息。安卓
- xamarin.forms - 在 ValueConverter 中获取 NullReferenceException
- java - 如何强制超时和取消异步 CompletableFuture 作业
- node.js - 为什么 fs.readFileSync() 比 await fsPromises.readFile() 快?
- plsql - PLSql - 不允许用户在上次更新后 4 小时内更改密码
- firebase - 新的 Flutter Cloud Firestore
- amazon-ecs - Fargate 服务停止,因为“ELB 运行状况检查”失败