sql - 将列连接到 Apache Spark DataFrame 中的列列表

Question

spark-sql 中有没有办法在数据框中添加一个新列，例如：

• 新列包含字符串数组
• 每个字符串是另一列的值

基本上这和函数是一样的，concat除了连接返回一个字符串列表而不是一个由标识符分隔的大字符串

注意：我正在使用 python API

标签： sqlapache-sparkapache-spark-sql

Answer 1

您可以使用内置array功能。在 scala 中，这看起来像：

df
.withColumn("col_arr",array(df.columns.map(c => col(c)):_*))