首页 > 解决方案 > 在处理 apache Beam 框架时,Python 和 java 有什么区别?

问题描述

在编写我的 apache 光束管道时,我使用了 python。我注意到一些限制,例如处理延迟数据等。我想知道与 Java 相比是否还有其他限制或优势

标签: javapythonapache-beam

解决方案


截至 2019 年秋季,我们可以考虑使用 Python SDK 来提供 Java SDK 的一部分功能。

您可用的 I/O 转换较少(与其他系统、数据存储、消息队列等集成的可能性)。文档在此处提供了 java vs python 支持的列表:https ://beam.apache.org/documentation/io/built-in/

您还可以使用更少的聚合转换(例如,在 python 端缺少 Min 和 Max),尽管随着人们回馈社区,这种情况正在变得更好(请参阅https://issues.apache.org/jira/浏览/BEAM-6695)。

以我个人的经验,缺乏 sql 数据库连接是让我用 java 编写管道的交易破坏者,实际上是 kotlin :)。


推荐阅读