时间戳

首页 > 解决方案 > 更正嵌套函数的 ANTLR 语法错误

kotlin - 更正嵌套函数的 ANTLR 语法错误

问题描述

我在函数体内使用自定义函数（assertFailsWith），但在“assertFailsWith(IllegalArgumentException::class) {”行中出现 ANTLR 解析器错误：
输入不匹配 '{' 期待 {NL, '}'，我正在使用来自https://github.com/antlr/grammars-v4/tree/master/kotlin/kotlin的 Kotlin 语法

我是否需要对以下部分进行任何更改才能消除错误：

functionBody
    : block
    | ASSIGNMENT NL* expression
    ;

block
     : LCURL statements RCURL
   ;



@Test
    fun `Create invalid test`() {
        assertFailsWith(IllegalArgumentException::class) {
            // Variables
            val realVocabPath = "realVocabPath"
            val realAlphabetPath = "realAlphabetPath"
            val vocabFactory = VocabFactory(mockFileLoader, 0.6f)

            // Execute
            val vocab = vocabFactory.create(realVocabPath, realAlphabetPath, mockEngineSpec)

            // Verify
            assertEquals(mockWordPieceVocab, vocab)
        }
    }

标签： kotlinantlrgrammar

解决方案

这是词法分析器语法中的错误。因此，解析器会出错并且无法从意外的令牌流中恢复。该错误不是因为任何嵌套函数（或函数调用）。

如果您让输入.6f 0.6f 1.6f被标记化，您将看到词法分析器生成这些标记：

RealLiteral               `.6f`
IntegerLiteral            `0`
RealLiteral               `.6f`
RealLiteral               `1.6f`

如您所见，输入0.6f未被识别为RealLiteral令牌。您可以通过更改来验证这一点，0.6f并且1.6f您的解析器不会产生任何错误。

要解决此问题，请更改：

DoubleLiteral
    : ( (DecDigitNoZero DecDigit*)? '.'
      | (DecDigitNoZero (DecDigit | '_')* DecDigit)? '.')
     ( DecDigit+
      | DecDigit (DecDigit | '_')+ DecDigit
      | DecDigit+ [eE] ('+' | '-')? DecDigit+
      | DecDigit+ [eE] ('+' | '-')? DecDigit (DecDigit | '_')+ DecDigit
      | DecDigit (DecDigit | '_')+ DecDigit [eE] ('+' | '-')? DecDigit+
      | DecDigit (DecDigit | '_')+ DecDigit [eE] ('+' | '-')? DecDigit (DecDigit | '_')+ DecDigit
     )
    ;

进入：

DoubleLiteral
    : ( (DecDigitNoZero DecDigit* | '0')? '.'
      | (DecDigitNoZero (DecDigit | '_')* DecDigit)? '.')
     ( DecDigit+
      | DecDigit (DecDigit | '_')+ DecDigit
      | DecDigit+ [eE] ('+' | '-')? DecDigit+
      | DecDigit+ [eE] ('+' | '-')? DecDigit (DecDigit | '_')+ DecDigit
      | DecDigit (DecDigit | '_')+ DecDigit [eE] ('+' | '-')? DecDigit+
      | DecDigit (DecDigit | '_')+ DecDigit [eE] ('+' | '-')? DecDigit (DecDigit | '_')+ DecDigit
     )
    ;

并且您的解析器将能够正确解析您的输入。

在这里提交了一个修复：https ://github.com/antlr/grammars-v4/pull/1850

推荐阅读