apache-spark - 在数据块中过滤 %[A-Za-z]%

Question

我正在尝试table.column LIKE '%[A-Za-z]%在 Databricks 笔记本中使用，但它没有返回任何值。

它在 SQL server 中工作，但似乎在 Pysql 中不起作用。

有谁知道 Databricks 中的替代方案是什么？

标签： apache-sparktsqldatabricksspark-notebook

Answer 1

LIKE 函数的功能有限，因此您需要使用rlike代替：

select * .... where column rlike '.*[A-Za-z].*'

更新：真实示例：

%python
df = spark.createDataFrame([{'id': 1, 's':'12323'}, {'id': 1, 's':'123T23'}], 
  schema='id int, s string')
df.createOrReplaceTempView("rlike_test")

和查询：

%sql
select * from rlike_test where s rlike '.*[A-Za-z].*'

这是执行结果：