apache-spark-sql - 从具有动态名称的列中删除空行

Question

如何从动态的列名中删除空行？

它是动态的，因为该表中的唯一列来自 UDF，并且它是一个临时视图。

CREATE TEMPORARY VIEW temp_table
AS
SELECT udf1(input)
FROM input_table;

所以临时视图看起来像

|UDF:udf1(some input)|
|--------------------|
|         1          |
|         2          |
|         null       |
 --------------------

我想删除所有空行，所以临时视图看起来像

|UDF:udf1(some input)|
|--------------------|
|         1          |
|         2          |
 --------------------

我一直在尝试类似的东西

DELETE FROM temp_table
WHERE ??? IS NULL;

但似乎列名不是静态的......我一直在看，INFORMATION_SCHEMA.COLUMNS但我的 sql 没有识别出这样的视图。我也考虑过尝试做类似的事情，drop from table where 'column that starts with UDF' is null但显然这也是不允许的

标签： apache-spark-sql