Java 抽象语法树（AST）详解

Java 抽象语法树（Abstract Syntax Tree, AST）是 Java 源代码在编译过程中生成的一种树状结构，它表明程序的语法结构，但不包含源代码中的具体格式信息（如空格、注释等）。AST 是编译器前端的重大组成部分，广泛用于代码分析、重构、静态检查、代码生成、IDE 功能（如自动补全、导航）等场景。

本文将从多个维度对 Java AST 进行解析。

作者前面的文章讲源代码编译的时候有提到 AST，可以私信参考。

一、AST 的理论基础

1.1 什么是抽象语法树？

抽象语法树（AST） 是对编程语言源代码语法结构的一种树形抽象表明。它以层次化的方式描述程序的组成部分，每个节点代表一个语法构造（如类、方法、表达式、语句等），子节点则表明该构造的组成部分。

与具体语法树（Concrete Syntax Tree, CST） 不同，AST 省略了语法细节（如分号、括号、关键字等），仅保留对程序语义有贡献的结构。这种“抽象”使得 AST 更适合程序分析与转换。

示例对比

思考以下 Java 表达式：

int result = (a + b) * c;

CST 可能包含：Assignment, Identifier(“result”), =, Parentheses, Addition, Identifier(“a”), +, Identifier(“b”), *, Identifier(“c”)
AST 则简化为：VariableDeclaration
├── Type: int
├── Name: result
└── Initializer: InfixExpression (*)
├── Left: InfixExpression (+)
│ ├── Left: SimpleName(a)
│ └── Right: SimpleName(b)
└── Right: SimpleName(c)

可见，AST 自动处理了运算符优先级和括号冗余，直接反映语义结构。

1.2 AST 在编译流程中的位置

Java 源码到字节码的完整编译流程如下：

Java 抽象语法树（AST）详解

AST 位于前端（Frontend） 的核心，是后续所有分析与优化的基础。

1.3 AST 的数学属性

有根树（Rooted Tree）：存在唯一根节点（如 CompilationUnit）
有序树（Ordered Tree）：子节点顺序有意义（如方法参数顺序）
带标签树（Labeled Tree）：每个节点有类型标签（如 MethodDeclaration）
可能含属性（Attributed Tree）：节点可附加元数据（如位置、绑定）

这些属性使得 AST 既能准确表明语法，又能高效支持遍历与查询。

二、Java AST 的构建过程详解

2.1 词法分析（Lexical Analysis）

输入：字符序列（如 'p','u','b','l','i','c',' ','c','l','a','s','s',…）输出：Token 序列（PUBLIC, CLASS, IDENTIFIER(“MyClass”), {, …）

Java 关键字、运算符、分隔符、字面量等均有明确定义（见 JLS §3）。词法分析器一般由正则表达式驱动，使用 DFA/NFA 实现。

2.2 语法分析（Parsing）

输入：Token 流输出：AST

Java 语法由上下文无关文法（CFG） 定义（JLS §19）。主流解析算法包括：

LL(k)：自顶向下，Eclipse JDT 使用改善的 LL(∞)
LR(k)：自底向上，javac 内部使用手写递归下降（非标准 LR）

解析器根据文法规则递归构建节点。例如：

MethodDeclaration ← Modifiers Type Identifier '(' FormalParameterList ')' Block

当解析器识别出符合该模式的 Token 序列时，即创建 MethodDeclaration 节点，并填充其子节点。

2.3 抽象化（Abstraction）

解析器生成的初始树可能包含冗余节点（如显式的分号、括号）。抽象化阶段将其移除，形成精简的 AST。

例如：

移除 ; 节点
合并连续的修饰符（public static final → ModifierSet）
将 (expr) 简化为 expr

2.4 绑定解析（Binding Resolution）——赋予语义

这是 AST 从“语法骨架”变为“语义实体”的关键一步。

绑定（Binding） 是将 AST 中的符号（如变量名、方法名）链接到其声明的过程。例如：

List<String> list = new ArrayList<>();
list.add("hello");

List → 绑定到 java.util.List
ArrayList → 绑定到 java.util.ArrayList
add → 绑定到 List.add(E)

绑定依赖符号表（Symbol Table），需完成以下步骤：

作用域分析：确定每个标识符的作用域（类、方法、块）
类型推导：计算表达式类型（如 a + b 若 a,b 为 int，则结果为 int）
方法解析：根据参数类型选择重载方法
泛型擦除前的类型保留：记录原始泛型信息（如 List<String>）

⚠️ 绑定解析需要完整的 classpath 和 sourcepath。若缺失依赖，绑定将失败（返回 null）。

三、Eclipse JDT AST 体系详解

Eclipse JDT 是目前最成熟、功能最全的 Java AST 实现，被用于 Eclipse IDE、Spring Tools、Checkstyle 等众多项目。

3.1 核心包与类

包：org.eclipse.jdt.core.dom
根类：ASTNode
工厂类：AST（用于创建新节点）
解析器：ASTParser

3.2 主要节点类型全景图

3.2.1 文件级节点

节点	说明
CompilationUnit	整个 .java 文件的根节点
PackageDeclaration	package com.example;
ImportDeclaration	import java.util.*;

3.2.2 类型声明

节点	对应代码
TypeDeclaration	class A { } 或 interface B { }
EnumDeclaration	enum Color { RED, GREEN }
RecordDeclaration （Java 14+）	record Point(int x, int y) { }
AnnotationTypeDeclaration	@interface MyAnno { }

3.2.3 成员声明

节点	说明
FieldDeclaration	字段：private int x;
MethodDeclaration	方法：void foo() { }
Initializer	静态/实例初始化块

3.2.4 语句（Statement）

节点	示例
Block	{ stmt1; stmt2; }
IfStatement	if (cond) thenStmt else elseStmt
ForStatement / EnhancedForStatement	for (int i=0;…) / for (Item item : list)
TryStatement	try { } catch (Exception e) { }
ReturnStatement	return expr;

3.2.5 表达式（Expression）

节点	示例
SimpleName	name
QualifiedName	java.util.List
InfixExpression	a + b , x > y
PrefixExpression	!flag , ++i
PostfixExpression	i++
Assignment	x = 10
MethodInvocation	obj.method(arg)
SuperMethodInvocation	super.toString()
ClassInstanceCreation	new ArrayList<>()
ArrayCreation	new int[10]
LambdaExpression （Java 8+）	(x) -> x * 2
SwitchExpression （Java 14+）	switch (day) { … }

3.2.6 类型（Type）

节点	示例
PrimitiveType	int , boolean
SimpleType	String , MyClass
ParameterizedType	List<String>
ArrayType	int[]
UnionType	IOException \| SQLException （catch 多异常）

3.3 节点通用属性

所有 ASTNode 子类均支持：

int getNodeType()：返回节点类型常量（如 ASTNode.METHOD_DECLARATION）
AST getAST()：获取所属 AST 工厂
ASTNode getParent()：父节点引用
int getStartPosition() / int getLength()：源码偏移与长度
Object getProperty(Object key)：自定义属性存储

四、绑定（Binding）机制深度解析

绑定是 AST 区别于普通语法树的核心能力。

4.1 绑定接口体系

接口	用途
IBinding	所有绑定的基接口
ITypeBinding	类/接口/数组/基本类型的绑定
IMethodBinding	方法/构造函数的绑定
IVariableBinding	字段/局部变量/参数的绑定
IPackageBinding	包的绑定

4.2 获取绑定

通过节点方法：

// 方法调用
MethodInvocation mi = ...;
IMethodBinding methodBinding = mi.resolveMethodBinding();

// 类型
SimpleType st = ...;
ITypeBinding typeBinding = st.resolveBinding();

// 变量
SimpleName name = ...;
IBinding binding = name.resolveBinding(); // 可能是 IVariableBinding 或 ITypeBinding

4.3 绑定信息示例

IMethodBinding mb = mi.resolveMethodBinding();
if (mb != null) {
    System.out.println("Declaring class: " + mb.getDeclaringClass().getQualifiedName());
    System.out.println("Method name: " + mb.getName());
    System.out.println("Return type: " + mb.getReturnType().getQualifiedName());
    for (ITypeBinding param : mb.getParameterTypes()) {
        System.out.println("Param: " + param.getQualifiedName());
    }
    System.out.println("Is override: " + mb.overrides(mb.getOriginatingMethod()));
}

4.4 绑定限制

仅当 ASTParser.setResolveBindings(true) 时可用
需提供正确的 classpath/sourcepath
某些上下文（如注释处理器）中不可用

五、AST 遍历与访问模式

5.1 递归遍历（不推荐）

手动编写递归函数，易出错且难以维护。

5.2 Visitor 模式（推荐）

Eclipse JDT 提供 ASTVisitor，支持精细化控制。

5.2.1 基本用法

cu.accept(new ASTVisitor() {
    @Override
    public boolean visit(MethodDeclaration node) {
        System.out.println("Method: " + node.getName().getIdentifier());
        return true; // 继续子节点
    }

    @Override
    public void endVisit(MethodDeclaration node) {
        System.out.println("End of method");
    }
});

visit(X)：进入节点前调用
endVisit(X)：离开节点后调用
返回 false 可剪枝（跳过子树）

5.2.2 高级技巧：选择性遍历

// 只遍历方法体，忽略 import/package
cu.accept(new ASTVisitor() {
    @Override
    public boolean visit(TypeDeclaration node) {
        return true; // 进入类
    }

    @Override
    public boolean visit(MethodDeclaration node) {
        node.getBody().accept(this); // 手动遍历 body
        return false; // 不自动遍历其他子节点（如参数）
    }
});

六、AST 修改与代码生成

6.1 ASTRewriter 机制

ASTRewriter 允许安全地修改 AST，并生成对应的文本编辑操作（TextEdit）。

6.1.1 替换节点

AST ast = cu.getAST();
ASTRewriter rewriter = ASTRewriter.create(ast);

StringLiteral oldLit = ...;
StringLiteral newLit = ast.newStringLiteral();
newLit.setLiteralValue("NEW_VALUE");

rewriter.replace(oldLit, newLit, null);

6.1.2 插入节点

// 在方法开头插入日志
Block body = method.getBody();
Statement logStmt = createLogStatement(ast, "Entering " + method.getName());
rewriter.insertFirst(body, logStmt, null);

6.1.3 删除节点

rewriter.remove(statement, null);

6.2 应用 TextEdit

Document document = new Document(originalSource);
TextEdit edits = rewriter.rewriteAST();
edits.apply(document);
String modifiedSource = document.get();

此机制被 Eclipse 的“Organize Imports”、“Generate Getters/Setters”等功能使用。

七、主流 Java AST 框架横向对比

特性	Eclipse JDT	Java Compiler Tree API	JavaParser	Spoon
来源	Eclipse Foundation	OpenJDK	社区开源	INRIA（法国）
依赖	需 org.eclipse.jdt.core	JDK 自带	无	无
Binding 支持	✅ 完整	❌ 有限	⚠️ 需 Symbol Solver	✅ 强劲
AST 修改	✅ ASTRewriter	❌ 只读	✅	✅
保留格式/注释	✅	✅	✅	✅✅（最佳）
Java 版本支持	最新（需匹配 JDT 版本）	当前 JDK	Java 21+	Java 21+
学习曲线	陡峭	平缓	平缓	中等
典型应用	Eclipse IDE, Checkstyle	注解处理器	教学、小型工具	代码迁移、学术研究

选型提议：

企业级分析工具 → Eclipse JDT

快速原型/教学 → JavaParser

保留代码风格的大规模重构 → Spoon

八、应用场景详解

8.1 静态代码分析（Static Analysis）

PMD / Checkstyle：基于 AST 规则检测代码异味
SpotBugs：结合 AST 与字节码进行缺陷检测
SonarJava：深度语义分析（需绑定）

示例规则：禁止使用 System.out.println

@Override
public boolean visit(MethodInvocation node) {
    Expression expr = node.getExpression();
    if (expr instanceof SimpleName && "out".equals(((SimpleName) expr).getIdentifier())) {
        ITypeBinding type = ((SimpleName) expr).resolveTypeBinding();
        if (type != null && "java.lang.System".equals(type.getQualifiedName())) {
            reportViolation(node);
        }
    }
    return true;
}