compiler-construction - 如何在 antlr4 lexer g4 文件中为 IF () THEN abc ELSEIF () THEN xyz ElSE yzx ENDIF 创建令牌

Question

问题是我已经编写了词法分析器文件并创建了类似的令牌

IF_EXPR : 'IF';
ELSEIF_EXPR : 'ELSEIF';
THEN_EXPR : 'THEN';
ELSE_EXPR : 'ELSE'

但是在某些情况下，我可以在条件块或 THEN 块中包含一些包含“IF”的字符串。并将字符串中的“IF”视为令牌。

例子：

IF abc=1 
THEN 
   xyzIF=3
ELSE 
   abc=2
ENDIF

在上面的示例中，我的词法分析器将 xyzIF 中的“IF”视为 IF_EXPR 令牌，但它应该将 xyzIF 视为一个不同的令牌。

标签： compiler-constructionantlr4lexer

Answer 1

您应该有一个IDENTIFIER匹配的规则定义xyzIF：

// Keywords first!
IF : 'IF';

// After keywords, define something that matches an identifier:
IDENTIFIER : [a-zA-Z_] [a-zA-Z_0-9]*;