时间戳

首页 > 解决方案 > 我能够使用 Talend 作业创建 .csv 文件，并且我想使用 tSystem 组件将 .csv 转换为 .parquet 文件？

talend - 我能够使用 Talend 作业创建 .csv 文件，并且我想使用 tSystem 组件将 .csv 转换为 .parquet 文件？

问题描述

我有一个创建 .csv 文件的 Talend 作业，现在我想使用 Talend v6.5.1 转换 .parquet 格式。我能想到的唯一选择是 tSystem 组件从本地或 .csv 临时登陆的目录调用 python 脚本。我知道我可以使用 pandas 或 pyspark 轻松转换它，但我不确定相同的代码是否适用于 Talend 中的 tSystem。您能否提供建议或说明-

代码：

   import pandas as pd
   DF = pd.read_csv("Path")
   DF1 = to_parquet(DF)

标签： talend

解决方案

如果您的文件系统上有外部脚本，您可以尝试

"python \"myscript.py\" "

这是 talend 论坛上有关此问题的链接： https ://community.talend.com/t5/Design-and-Development/how-to-execute-a-python-script-file-with-an-argument-using /mp/23975#M3722

推荐阅读