时间戳

首页 > 解决方案 > 有没有办法为数据融合中的管道注入“资源”内存值？

apache-spark - 有没有办法为数据融合中的管道注入“资源”内存值？

问题描述

我正在尝试在 Google Cloud Data Fusion 中自动化一些管道执行（我们目前使用的是 6.1.4 和 6.4.0）。此时，我们正在通过 PUT API 调用将一些“运行时参数”注入 DF。我的问题是关于注入参数来修改配置部分。例如，我们目前正在使用“ system.profile.name ”参数来告诉此管道使用特定的配置文件，请参阅： 运行时参数的屏幕截图。

我想知道是否有任何类似的配置选项来定义“配置/资源/执行器内存”标签：“配置/资源”标签的屏幕截图。我知道这可以通过修改 UI 或在导入管道之前在管道模板 (json) 中设置不同的值来手动配置。但是我想知道在部署管道后是否有任何方法可以自动执行此操作（我不想每次修改时都重新部署管道）。

提前致谢！

标签： apache-sparkgoogle-cloud-data-fusioncdap

解决方案

我不相信可以将其设置为首选项，但您可以使用 CDAP 的 PUT API 在管道上传时进行设置，或更新管道：

PUT /v3/namespaces/<namespace-id>/apps/<pipeline-name>

{
    "name": "<pipeline-name>",
    "description": "Data Pipeline Application",
    "artifact": {
        "name": "cdap-data-pipeline",
        "version": "[6.1.1,7.0.0)",
        "scope": "SYSTEM"
    },
    "config": {
        "resources": {
            "memoryMB": 9999,
            "virtualCores": 9
        },
        "driverResources": {
            "memoryMB": 9999,
            "virtualCores": 9
        },
    ...
    }
...
}

上传的 JSON 应该是您的整个管道，但根据您的偏好设置驱动程序和执行程序资源。这应该比每次都使用 UI 更容易实现自动化 如果您有更多问题，请告诉我。

推荐阅读