时间戳

首页 > 解决方案 > 我可以使用 Flink 的文件系统连接器作为查找表吗？

apache-flink - 我可以使用 Flink 的文件系统连接器作为查找表吗？

问题描述

Yarn 上的 Flink 1.13.2 (Flink SQL)。

有点困惑 - 我发现了两种（据我所知）不同规格的文件系统连接器（Ververica.com vs ci.apache.org）：

  1. https://ci.apache.org/projects/flink/flink-docs-master/docs/connectors/table/overview/#supported-connectors - 文件系统是“有界和无界扫描，查找”

  2. https://docs.ververica.com/user_guide/sql_development/connectors.html#packaged-connectors — 仅标记为可用于查找的 JDBC。

我可以使用文件系统连接器 (csv) 创建查找（维度）表来丰富 Kafka 事件表吗？如果是 - 如何使用 Flink SQL？

（我尝试过简单FOR SYSTEM_TIME AS OF a.event_datetime的左连接 - 它适用于测试环境中的少量 Kafka 事件，但在生产中GC overhead limit exceeded出现错误。我猜这是因为没有将小型 csv 表广播到工作节点。在 Spark 中，我曾经解决这些问题使用相关提示输入问题。）

标签： apache-flinkflink-streamingflink-sql

解决方案

文件系统连接器不应用作查找，因为查找访问需要索引访问。我们应该为此更新文档。

推荐阅读