azure-data-factory - 将文件从一个区域复制到其他区域 - Azure Data Lake Gen2
问题描述
我想将具有给定路径的文件从 Azure 数据湖的一个区域复制到数据湖的其他区域。
例子:
来源:/RawZone/Incremental/2020/05/01/file.parquet
目的地:/StdZone/Incremental/2020/05/01/file.parquet
我应该使用复制活动将源作为数据集读取并写入目标。或者有没有办法在Azure Data Factory中将文件从源复制到目标。
解决方案
据我所知,复制活动是唯一的方法。
您将需要一个数据集来定义文件的来源和去向(尽管路径可以参数化)及其格式。
如果要按原样复制文件而不进行更改,请将数据集格式设置binary
为避免必须定义文件结构和“浪费时间”提取和解析其中的数据。
推荐阅读
- python - Python 可以对 R 进行函数调用吗?
- r - 将 SeatGeek API 数据(JSON 格式)导入平面数据框的最简单方法是什么?
- javascript - 如何在不更改 html 字体大小的情况下使文本框变大?
- mlflow - mlflow 不支持 adbazureml
- xml - TALLY - http 标头 DISABLELOG 未禁用 http 日志记录
- python - 即使设置了套接字超时,SMTPLIB 超时也不起作用
- python - ValueError:传递值的长度为0,索引意味着11?
- regex - 用于开始和结束单词的 Python 正则表达式
- snowflake-cloud-data-platform - 有没有办法查看失败查询的查询配置文件?
- c# - 如何在 c# 中将我的文本文件拆分为带有分隔符的二维数组?