Antlr4 c++ visitor API

Antlr4 c++ visitor API

本文关键字：API visitor c++ Antlr4      更新时间：2023-10-16

我正在使用Antlr4的C++访问者api来遍历解析树。 但是，我正在努力使其正常运行。 也就是说，我不确定如何使用visitChildren(ParseTree *tree)调用。

我得到了我定义的每个规则的上下文。 我可以使用上下文遍历树：context->accept[RuleContext]([RuleContext]* rule)

但是，当我使用这些节点时，我会多次连续访问同一节点。

例如：

program:
: nameRule
dateRule
( statements )*
EOF
;
nameRule
: NAME IDENTIFIER ;
dateRule
: DATE IDENTIFIER ;
statements:
: statementX
| statementY
| statementZ
;
statementX:
: // do something here
statementY:
: // do something here
statementZ:
: // do something here

IDENTIFIER、DATE和NAME是终端。

我通过以下方式构建 Antlr 解析结构：

void Parser::parse() {
ifstream file(FLAGS_c, ifstream::binary);
// Convert the file into ANTLR's format.
ANTLRInputStream stream = ANTLRInputStream(file);
// Give the input to the lexer.
MyLexer lexer = new MyLexer(&stream);
// Generate the tokens.
CommonTokenStream tokens(lexer);
file.close();
tokens.fill();
// Create the translation that will parse the input.
MyParser parser = new MyParser(&tokens);
parser->setBuildParseTree(true);
MyParser::ProgramContext *tree = parser->program();
auto *visitor = new MyVisitor();
visitor->visitProgram(tree);
}

因此，当我尝试遍历它时，它看起来与此类似，类MyVisitor扩展MyParserVisitor.MyVisitor是我用来遍历生成的树的访问者类。

Any MyVisitor::visitProgram(ParserVisitor::ProgramContext *context) {
this->visitNameRule(context->nameRule());
this->visitDateRule(context->dateRule());
if (!this->statements.empty()) {
for (auto &it : this->statements) {
this->visitStatements(it);
}
}
return Any(context);
}
// Omitting name and date rules.
Any MyVisitor::visitStatements(ParserVisitor::StatementContext *context) {
this->visitStatementX(context->statementX());
this->visitStatementY(context->statementY());
this->visitStatementZ(context->statementZ());
return Any(context);
}

在这种情况下，每次访问语句时都会访问语句X、Y和Z。 即使它们不存在于输入程序中。

这是正确的使用方法吗？ 如果不是，那么我假设visitChildren(ParseTree *tree)是在每个访问者函数中使用的正确 api。 但是我不明白如何从*Context访问ParseTree数据结构。

这个问题与C++访问者没有直接关系，而是ANTLR4中的一般访问者问题。你正在做的是以一种你不打算做的方式捷径。不要手动显式访问某些子树，而是调用超级实现来让它为您完成，并在各个visitStatementXXX函数中收集结果。看看这个(非常简单的(表达式计算器的实现，用于单元测试(用 C++ 编写(。以下是演示原理的部分副本：

class EvalParseVisitor : public MySQLParserBaseVisitor {
public:
std::vector<EvalValue> results; // One entry for each select item.
bool asBool(EvalValue in) {
if (!in.isNullType() && in.number != 0)
return true;
return false;
};
virtual Any visitSelectItem(MySQLParser::SelectItemContext *context) override {
Any result = visitChildren(context);
results.push_back(result.as<EvalValue>());
return result;
}
virtual Any visitExprNot(MySQLParser::ExprNotContext *context) override {
EvalValue value = visit(context->expr());
switch (value.type) {
case EvalValue::Null:
return EvalValue::fromNotNull();
case EvalValue::NotNull:
return EvalValue::fromNull();
default:
return EvalValue::fromBool(!asBool(value));
}
}
virtual Any visitExprAnd(MySQLParser::ExprAndContext *context) override {
EvalValue left = visit(context->expr(0));
EvalValue right = visit(context->expr(1));
if (left.isNullType() || right.isNullType())
return EvalValue::fromNull();
return EvalValue::fromBool(asBool(left) && asBool(right));
return visitChildren(context);
}
...

重要的部分是对visit()的调用，它反过来迭代给定上下文树的子节点，并仅触发实际存在的元素的访问者函数。

相关文章：