时间戳

首页 > 解决方案 > Flink 文件系统支持

apache-flink - Flink 文件系统支持

问题描述

文档https://ci.apache.org/projects/flink/flink-docs-stable/internals/filesystems.html#implementations说“一个不完整的列表”。我在哪里可以找到完整的？

标签： apache-flink

解决方案

文档的部署和操作部分包括一个关于文件系统的页面。

引用该页面：

Flink 直接实现了以下文件系统：

  • local：当方案为“file://”时使用此文件系统，它表示本地机器的文件系统，包括挂载到该本地文件系统中的任何NFS 或SAN 。

  • S3：Flink 直接提供文件系统与 Amazon S3 通信，注册在“s3://”方案下。基于 Presto 项目和 Hadoop 项目的代码，有两种替代实现，flink-s3-fs-presto 和 flink-s3-fs-hadoop。两种实现都是自包含的，没有依赖关系。要在使用 Flink 作为库时使用它们，请添加相应的 maven 依赖项（org.apache.flink:flink-s3-fs-presto:1.5.0 或 org.apache.flink:flink-s3-fs-hadoop:1.5。 0)。从 Flink 二进制文件启动 Flink 应用程序时，将相应的 jar 文件从 opt 文件夹复制或移动到 lib 文件夹。有关详细信息，请参阅 AWS 设置。

  • MapR FS：当 MapR 库位于类路径中时，MapR 文件系统“maprfs://”自动可用。

  • OpenStack Swift FS：Flink 直接提供了一个文件系统来与 OpenStack Swift 文件系统通信，注册在“swift://”方案下。flink-swift-fs-hadoop 的实现基于 Hadoop 项目，但它是自包含的，没有依赖关系。要在使用 Flink 作为库时使用它，请添加相应的 maven 依赖项（org.apache.flink:flink-swift-fs-hadoop:1.5.0 从 Flink 二进制文件启动 Flink 应用程序时，复制或移动相应的 jar 文件从 opt 文件夹到 lib 文件夹。

文档还描述了如何实现和注册自定义文件系统连接器。

推荐阅读