时间戳

首页 > 解决方案 > 如何将“user_data_mapper”参数传递给光束管道的 WriteToSnowflake 函数？

google-cloud-platform - 如何将“user_data_mapper”参数传递给光束管道的 WriteToSnowflake 函数？

问题描述

我正在尝试创建一个管道，用于使用 apache 梁将数据写入雪花。为了写入数据，我使用的是 WriteToSnowflakes 函数，但我收到以下错误消息。

TypeError：init（）缺少1个必需的位置参数：'user_data_mapper'

当我搜索这个论点时，我创建了这个链接
https://beam.apache.org/documentation/io/built-in/snowflake/#required-parameters-1
但我无法理解这个函数。这个“用户”参数的含义、定义它的方式和位置以及必须从管道传递给这个函数的数据。任何人都可以帮我提供一些有关此参数的示例代码。

示例代码：

     with TestPipeline(options=PipelineOptions(OPTIONS)) as p:
      (p
       
       | <SOURCE OF DATA>
       | WriteToSnowflake(
       server_name=<SNOWFLAKE SERVER NAME>,
       username=<SNOWFLAKE USERNAME>,
       password=<SNOWFLAKE PASSWORD>,
       schema=<SNOWFLAKE SCHEMA>,
       database=<SNOWFLAKE DATABASE>,
       staging_bucket_name=<GCS OR S3 BUCKET>,
       storage_integration_name=<SNOWFLAKE STORAGE INTEGRATION NAME>,
       table_schema=<SNOWFLAKE TABLE SCHEMA>,
       table=<SNOWFLAKE TABLE>,
       create_disposition='CREATE_NEVER',
       write_disposition= 'WRITE_TRUNCATE',
       
      )

标签： google-cloud-platformsnowflake-cloud-data-platformpipelineapache-beam-io

解决方案

推荐阅读