时间戳

首页 > 解决方案 > Spring Cloud 数据流 Git 源码

spring - Spring Cloud 数据流 Git 源码

问题描述

我有兴趣查看 git 存储库的更改，然后对该存储库的文件进行操作。我可以在 github 中设置一个 webhook 以在存储库更改时通知 Data Flow，但我需要下载/克隆文件来处理它们。是否有一些本地存储可以保证部署到我可以做类似事情的地方？

基本上，数据流部署管道中的处理器是否有可用的本地存储，以便他们可以将文件保存到磁盘并将它们处理到管道的下一阶段？

谢谢！

标签： springgitspring-bootspring-cloud-dataflow

解决方案

Spring Cloud Data Flow 只不过是一个 Spring Boot 应用程序。SCDF 不直接与应用程序、消息代理或底层平台组件（包括卷挂载）交互。

也就是说，如果您需要应用程序下载和处理下载的文件，则必须依赖应用程序运行所在的组件。

例如，在本地模式下使用 SCDF 时，所有应用程序都在机器/VM 中作为 Java 进程运行，因此如果处理器可以访问本地文件系统，那么可以，您可以将其称为file:///资源。您可以使用SFTP 到 JDBC数据管道作为参考。在这里，SFTP 源在本地下载文件，读取文件的元数据，然后将元数据作为有效负载发送到下游应用程序，下游应用程序又启动一个任务将文件内容写入数据库。

如果您在 Cloud Foundry 中运行 SCDF，您将依赖PCF Volume Services、Minio 等托管服务和类似的东西。（见文档）

同样，在 Kubernetes 上使用 SCDF，您可以将K8s 卷挂载与您选择的后端一起使用。（请参阅文档）

推荐阅读