hdfs - HDFS 用于大数据存储和 Azure 存储

Question

我正在使用 HDFS 来存储数据文件。想知道有没有办法使用 Azure 存储来代替 HDFS？如果有怎么办。我正在使用 Spark 和 Python。

标签： hdfsazure-blob-storage

Answer 1

发布答案以结束此问题。正如@Joel Cochran 评论的那样，您可以使用完全兼容 HDFS 的 Azure Data Lake Gen2。您可以参考https://docs.microsoft.com/en-us/azure/storage/blobs/data-lake-storage-introduction来启动它。