dataframe - “unicodeescape”编解码器无法解码位置 0-1 中的字节：格式错误的 \N 字符转义

Question

我正在尝试将数据从 Databricks 推送到 SQL 中。但是，我收到以下错误：

我注意到在我正在处理的文件中，其中一列具有以下值：

我尝试使用以下方法过滤掉记录：

df = df.filter(df.COLUMN != "\N")

但是，当上述运行时，我收到上面标识的错误消息。有没有办法过滤掉其中有转义字符的值？

我真的很感激任何帮助。谢谢你。

标签： dataframeapache-sparkpyspark

Answer 1

正如错误建议的那样，您需要转义反斜杠\

df.filter(df.value != "\\N")