hive - 对 Hplsql.g4 或 Hive.g4 的数组支持

问题描述

大家好，我正在使用 antlr4 为 Hive SQL (Hplsql.g4) 创建解析器和词法分析器。
我相信这是最新的语法文件。
https://github.com/AngersZhuuuu/Spark-Hive/blob/master/hplsql/src/main/antlr4/org/apache/hive/hplsql/Hplsql.g4

但是，我发现至少需要添加两个：IF 和数组索引。例如，在一个 select 语句中，我可能有： a) SELECT if(a>8,12,20) FROM x
b) SELECT column_name[2] FROM x

两者在 Hive 中都是有效的，但是当我从上面的 Hplsql.g4 为 java 创建解析器和词法分析器时，两者都不解析。我为 IF 添加了一个表达式，它似乎可以工作。

我添加了

 expr :
     ...
     | expr_if  //I added

和一个新规则：

expr_if : 
       T_IF T_OPEN_P bool_expr T_COMMA expr T_COMMA expr T_CLOSE_P  //I added
     ;

然而，弄清楚如何允许数组索引并不容易，因为语法允许别名：

select a from x
select a alias_of_a from x
select a[1] from x
select a[1] alias_of_a from x

应该都是有效的。我尝试为此添加一个新表达式，如下所示：

expr :
     ...
     | expr_array //I added

expr_array : 
       T_OPEN_SB L_INT T_OPEN_CB  //I added
     ;

这对我不起作用。（T_OPEN_SB L_INT T_OPEN_CB 分别是[整数]）。我也尝试了很多变化。我的问题是：

我是否使用了正确的语法文件 - 如果没有，是否有更新的带有 IF 和数组处理的文件？
有没有人成功地扩展了这个语法来处理我上面的案例？

根据 Bart 的建议：我更新了 ident。
我更新了 expr_atom。
我添加了array_index。
我有 // | '[' .*? ']' 之前已注释掉。

测试 Sql：从 t 中选择 a[0]
结果：第 1:8 行在输入 'selecta[0]' 处没有可行的替代方案
第 1:8 行不匹配输入'[0]'

Tree (program (block stmt (stmt select) (stmt (expr_stmt (expr (expr_atom (ident a)))))) [0] from t)

我觉得这个问题与下面的 select_list_alias 有某种关系。select_list_alias 包含 ident 和 T_AS 可选，ident 匹配数组索引。我无法理解为什么会发生这种情况，尤其是在 ident 已更新之后。

摘自 Hplsql.sql：

select_list :           
       select_list_set? select_list_limit? select_list_item (T_COMMA select_list_item)*
     ;
select_list_item :
       (ident T_EQUAL)? expr select_list_alias? 
     | select_list_asterisk   
     ;
select_list_alias :
       {!_input.LT(1).getText().equalsIgnoreCase("INTO") && !_input.LT(1).getText().equalsIgnoreCase("FROM")}? T_AS? ident
     | T_OPEN_P T_TITLE L_S_STRING T_CLOSE_P
     ;

如果我将一个简单的 SQL stmt 传递给 grun，例如

select a[1] from t

解析树应该看起来像这样：

我希望看到 expr_array 而不是 expr_atom，它会拆分为 a 的 expr_atom 和 [1] 的 array_index。

请注意，这里有一个 SQL 语句。使用我现有的 g4，数组索引 [1]（以及 stmt 的其余部分）被解析为单独的 SQL 语句。

Bart，我从您的解析树中看到，解析导致来自“select a[0] from t”的两个 SQL 语句 - 我遇到了同样的情况。

我将继续探索不同的方法——我仍然对最后的 select_list_alias 持怀疑态度T_AS? ident。只是为了确认一下，我已经从 ident_part 中注释掉了一行，如下所示： // | '[' .*? ']'

标签： hiveantlr4

解决方案

如评论中所述：[ ... ]将被标记为L_ID令牌。如果您不想这样做，请删除该| '[' .*? ']'部分：

fragment
L_ID_PART  :
             [a-zA-Z] ([a-zA-Z] | L_DIGIT | '_')*                           // Identifier part
            | ('_' | '@' | ':' | '#' | '$') ([a-zA-Z] | L_DIGIT | '_' | '@' | ':' | '#' | '$')+     // (at least one char must follow special char)
            | '"' .*? '"'                                                   // Quoted identifiers
            // | '[' .*? ']' <-- removed
            | '`' .*? '`'
            ;

并像这样创建/编辑语法：

expr_atom :
       date_literal
     | timestamp_literal
     | bool_literal
     | expr_array // <-- added
     | ident
     | string
     | dec_number
     | int_number
     | null_const
     ;

// new rule
expr_array
     : ident array_index+
     ;

// new rule
array_index
     : T_OPEN_SB expr T_CLOSE_SB
     ;

上面的规则将导致select a[1] alias_of_a from x解析成功，但在输入时会失败，例如select a[1] alias_of_a from [identifier]：[identifier]不会作为标识符匹配。

您可以尝试添加如下内容：

ident :
       L_ID
     | T_OPEN_SB ~T_CLOSE_SB+ T_CLOSE_SB // <-- added
     | non_reserved_words
     ;

它将select a[1] alias_of_a from [identifier]正确解析，但对整个语法（或对 HPL/SQL 的深入了解）没有很好的了解，以确定这是否会搞砸其他事情:)

编辑

通过我提出的更改，语法如下所示：https ://gist.github.com/bkiers/4aedd6074726cbcd5d87ede00000cd0d （由于字符限制，我无法在 SO 上发布它）

用这个解析select a[0] from t会得到解析树：

用这个解析select a[0] from [t]会得到这个解析树：

您还可以通过运行以下 Java 代码对其进行测试：

String source = "select a[0] from [t]";
HplsqlLexer lexer = new HplsqlLexer(CharStreams.fromString(source));
HplsqlParser parser = new HplsqlParser(new CommonTokenStream(lexer));
ParseTree root = parser.program();

JFrame frame = new JFrame("Antlr AST");
JPanel panel = new JPanel();
TreeViewer viewer = new TreeViewer(Arrays.asList(parser.getRuleNames()), root);
viewer.setScale(1.5);
panel.add(viewer);
frame.add(panel);
frame.setDefaultCloseOperation(JFrame.EXIT_ON_CLOSE);
frame.pack();
frame.setVisible(true);

hive - 对 Hplsql.g4 或 Hive.g4 的数组支持

问题描述

解决方案

编辑

推荐阅读