scala - spark scala数据框将1添加到列中的所有值
问题描述
我是火花数据框的新手。我有一个文本文件,其中包含类似的数据
schoolid,classid,studentid,subject,marks
bjs,5,111,hindi,23
bjs,5,222,maths,78
bjs,7,333,bio,89
bjs,1,444,chemistry,67
ghs,2,555,bio,78
ghs,2,666,phy,56
ghs,9,777,drawing,56
我想将此数据转换为数据框并将 1 添加到标记列下的每个值
所以我使用的代码是
val df = sparkSession.read.format("csv").option("header","true").load("samplefile1.txt")
val newdf = df.select(col($"marks"+1)).show()
但我得到的错误是
type mismatch; found : org.apache.spark.sql.Column required: String
我能得到正确语法的帮助吗
解决方案
试试这个解决方案:
df.withColumn("marks",col("marks") + lit(1)).show
推荐阅读
- r - Power Bi 中次 y 轴上的网格线
- javascript - 如何过滤数组以匹配数组
- oracle - 由于过去 2 个月的非活动会话而创建的阻塞锁
- rest - 从 Swagger api-client 发送 PATCH 请求
- css - 当只有较少的项目时,将弹性容器高度设置为弹性项目内容高度
- java - 获取字符串中的字母。为什么我的代码不能正常工作?
- node.js - 如何在 Node.js 中以交互方式接受数组的值
- java - 获取错误“线程“主”java.lang.ExceptionInInitializerError中的异常”
- ionic4 - 如何使用 AWS-Amplify 创建具有分区键和排序键的新表?
- ruby-on-rails - 如何在 ruby on rails 中访问现有用户电子邮件