时间戳

首页 > 解决方案 > 如何用 Spark python 对 CSV 文件列求和

python - 如何用 Spark python 对 CSV 文件列求和

问题描述

我是 spark 的新手，我有一些数据要处理，我想对 CSV 文件中列的总和，文件的标题：（[colmun1]，[colmun2]，[colmun3]），我要计算的是column3根据column1的总和，（column1 表示日期，column2 表示类别，column3 在该日期出现其中一个类别，所以我想计算所有类别的总和每个日期），我都试过这个代码：

    from pyspark import SparkContext, SparkConf
    if __name__ == "__main__":
        conf = SparkConf().setAppName("sum").setMaster("local[3]")
        sc = SparkContext(conf = conf)
        line.split(",")).map(lambda line: (line[0:1]+line[3:4]))
        text_file = sc.textFile("in/fileinput.CSV")
        counts = text_file.flatMap(lambda line: line.split(",")) \
             .map(lambda line: (line[0:1],line[2:3])) \
             .reduceByKey(lambda a, b: a + b)
        counts.saveAsTextFile("out/fileoutput.txt")

提前谢谢你（对不起我的英语）

标签： pythoncsvapache-sparkpyspark

解决方案

请尝试以下步骤以达到预期的效果。

  1. 将 CSV 文件读取为 Dataframe。

    df = spark.read.csv("path_to_csv_file", header=True, inferSchema=True)

  2. 根据第 1 列按数据分组。

    group_df = df.groupBy("Column_1")

  3. 对分组数据求第三列的总和

    result_df = group_df.agg(sum("column_3").alias("SUM"))

  4. 显示数据 result_df.show()

希望能帮助到你。

注意：有关 CSV 函数的更多信息，请参阅下面的链接。 https://spark.apache.org/docs/latest/api/python/pyspark.sql.html#pyspark.sql.DataFrameReader.csv

问候，

尼拉吉

推荐阅读