【编译原理】Antlr 入门使用

前面文章我们学习了编译器前端的词法和语法分析工具,本篇我们来看看如何借助 Antlr 工具,快速生成词法和语法分析代码。

一、安装

mac 环境:
1)安装

brew install antlr

2)配置 classpath
(把 Antlr 的 JAR 文件设置到 CLASSPATH 环境变量中,以便顺利编译所生成的 Java 源代码。)

vi ~/.bash_profile

# 替换成你的 antlr jar 路径
CLASSPATH=".:/opt/homebrew/Cellar/antlr/4.13.1/antlr-4.13.1-complete.jar:$CLASSPATH"

source ~/.bash_profile

有了这个玩意,你可以用很简单的方式定义好词法和语法文件,他会自动生成对应的解析文件,给你生成出 AST 来。

你可以从生成的类文件中,看看是如何生成 AST 树的。
对于我们之前遇到的左递归问题,它又是如何解决的,也是用循环代替递归么?

生成 AST 树,算完成了词法分析和语法分析。
根据这棵树做什么,就是语义分析了。

二、开发 Java 项目

1、创建一个 maven 项目
2、pom 中添加 Antlr 库

        <dependency>
            <groupId>org.antlr</groupId>
            <artifactId>antlr4-runtime</artifactId>
            <version>4.10</version>
        </dependency>

3、编写一个 antlr 文件 Expr.g4。位置随意,可以放到 src 目录

grammar Expr;

expr: expr op=(ADD|SUB) expr      # AddSub
| INT                             # int
;

ADD: '+';
SUB: '-';

INT : [0-9]+ ;
WS : [ \t]+ -> skip;

4、编译项目 (这样可以生成一些antlr的解析器的类代码,方便后面编程)

mvn compile

你应该能在项目根目录看到一个 gen 文件夹,打开后里面是生成的 java 类

把这部分代码放到你的 src 包路径下 src/main/java/com/xxx/my_antlr_demo/antlr4
5、编写调用代码
EvalVisitor.java

import com.shuofxz.my_antlr_demo.antlr4.ExprBaseVisitor;
import com.shuofxz.my_antlr_demo.antlr4.ExprLexer;
import com.shuofxz.my_antlr_demo.antlr4.ExprParser;

public class EvalVisitor extends ExprBaseVisitor<Integer> {
    @Override
    public Integer visitAddSub(ExprParser.AddSubContext ctx) {
        Integer left = visit(ctx.expr(0));  // should call "visit", not "visitChildren"
        Integer right = visit(ctx.expr(1));
        if (ctx.op.getType() == ExprLexer.ADD) {
            return left + right;
        } else {
            return left - right;
        }
    }

    @Override
    public Integer visitInt(ExprParser.IntContext ctx) {
        return Integer.valueOf(ctx.INT().getText());
    }
}

AppDemo.java

import com.shuofxz.my_antlr_demo.antlr4.ExprLexer;
import com.shuofxz.my_antlr_demo.antlr4.ExprParser;
import org.antlr.v4.runtime.CharStreams;
import org.antlr.v4.runtime.CodePointCharStream;
import org.antlr.v4.runtime.CommonTokenStream;
import org.antlr.v4.runtime.tree.ParseTree;

public class AppDemo {
    public static void main(String[] args) {
        String input = null;
        // 此处把输入的参数,直接赋值了
        args = new String[2];
        args[0] = "-input";
        args[1] = "1+2+3-4";
        for (int i=0; i<args.length; i++) {
            if (args[i].equals("-input")) {
                input = args[++i];
            }
        }

        if (input == null) {
            System.out.println("args:  -input <expression>");
            return;
        }

        CodePointCharStream charStream = CharStreams.fromString(input);
        ExprLexer lexer = new ExprLexer(charStream);
        CommonTokenStream tokens = new CommonTokenStream(lexer);
        ExprParser parser = new ExprParser(tokens);
        ParseTree tree = parser.expr();
        EvalVisitor visitor = new EvalVisitor();

        Object result = visitor.visit(tree);
        System.out.println("output=" + result);
    }
}

6、运行就能看到结果了。

你可能会有疑问:
兜了这么一大圈这有啥用呢?

那我们把 Antrl 文件修改一下 Expr.g4
ADDSUB 两个操作符换成其他的符号。

grammar Expr;

expr: expr op=(ADD|SUB) expr      # AddSub
| INT                             # int
;

ADD: '@';
SUB: '#';

INT : [0-9]+ ;
WS : [ \t]+ -> skip;

记得重新执行第四步生成代码并替换。

然后我们可以把输入字符换为 1@2@3#4
你大概猜到了这里就实现了类似操作符重载的功能。
那么后面我们就可以用这个工具,实现我们自己的语法解析工具了。

三、Antlr 中都做了什么?

antlr 语法文件中写的都是啥?

  • 分为两个部分:词法规则和语法规则
  • 词法规则定义了语言的基本词汇元素,即词法单元(Tokens)。它们通常包括标识符、常量、关键字和符号等。通常以大写字母开头,如 ADD、INT 等
  • 语法规则定义了语言的结构,说明了不同词法单元是如何组合起来形成语言结构的。语法规则描述了语句、表达式、声明等高级结构,如 expr。

接下来我们解释一下关键执行步骤中都做了什么事情:

// 将字符串转换为 antlr 能接受的 CodePointCharStream 类型
CodePointCharStream charStream = CharStreams.fromString(input);

// 创建一个词法分析器实例
ExprLexer lexer = new ExprLexer(charStream);
// 创建一个记号流实例
CommonTokenStream tokens = new CommonTokenStream(lexer);
// 创建一个语法分析器实例
ExprParser parser = new ExprParser(tokens);

// 这是实际开始进行词法和语法分析的步骤,生成 AST
ParseTree tree = parser.expr();

// 遍历 AST。按照自己定义的 visitXxx() 方法执行实际的逻辑。
EvalVisitor visitor = new EvalVisitor();
Object result = visitor.visit(tree);
  • 词法分析器:词法分析的任务是将输入文本分割成一系列的记号(tokens),每个记号是语言中最小的有意义单元,如关键字、标识符、字面量等。
  • 记号流:用于从词法分析器中获取记号,并将它们组织成一个流,以便之后进行语法分析。
  • 语法分析器:对记号流tokens进行语法分析。

热门相关:福晋有喜:四爷,宠上天!   伏天剑尊   风流医圣   来自异世界的诺诺   美食萌后:皇上,休了你