scala - 在 Spark 中,我无法按现有列进行过滤
问题描述
我正在尝试使用 spark 按数据框中的一列进行过滤。但火花抛出低于错误,
Exception in thread "main" org.apache.spark.sql.AnalysisException: cannot resolve 'Inv. Pty' given input columns: [Pstng Date, Name 1, Inv. Pty, Year]
invDF.filter(col("Inv. Pty") === "2001075").show()
解决方案
问题是 Spark 假定带有“点”的列作为结构列。为了解决这个问题,您需要使用反引号“`”。这应该有效:
invDF.filter(col("`Inv. Pty`") === "2001075").show()
推荐阅读
- c# - PDFsharp - 来自其他 PDF 的叠加页面
- python - 优化超过 300 000 行的 xlsxwriter
- javascript - Vue.js 通过基于条件的方法设置类
- python - 提取字符串中的文本,直到某个新行(“\n”)
- python - 根据第三个数据框加入 Pandas 中的两个数据框
- python - 当数据库中存在行时抛出异常
- c++ - 链表 - AppendLastNToFirst (C++),我只写了问题的逻辑。请告诉我更正
- python-3.x - Featuretools:在新数据上使用在训练数据中计算的特征
- c# - 对象引用未设置为 foreach 循环中的对象
- sql - 如何为在其他列中具有 Data/NULL 值的列选择重复记录?