深入 clox 编译器:Pratt 解析器的调用轨迹、双角色 Token 与三元运算符接入

发布时间:2026/11/22 5:15:55

深入 clox 编译器:Pratt 解析器的调用轨迹、双角色 Token 与三元运算符接入 编程语言解释器编译器语言运行时教程【免费下载链接】craftinginterpretersRepository for the book Crafting Interpreters项目地址https://gitcode.com/gh_mirrors/cr/craftinginterpreters点击查看免费下载本文基于《Crafting Interpreters》第 17 章Compiling Expressions的课后习题解答笔记结合本仓库中 clox 的 C 源码c/compiler.c深入剖析 clox 单遍编译器如何用 Vaughan Pratt 的自顶向下运算符优先级解析Top-Down Operator Precedence简称 Pratt parsing完成表达式解析与字节码生成。读完本文你将掌握parsePrecedence()的递归调用细节、-等前后缀双角色 Token 的解析规则以及如何把 C 语言?:这样的 mixfix混合位置运算符接入运算符优先级表格。背景clox 的单遍编译管线与 Pratt 解析在动手解读三个练习题之前先建立共同语境。正如书中第 17 章开篇所述这一章补全了 VM 执行管线的最后一块拼图用户源码从扫描器scanner流向编译器compiler再由编译器填充字节码块chunk最终交给虚拟机VM执行。与 jlox 先构建 AST、再遍历 AST 生成代码的两遍式做法不同clox 采取的是单遍编译Single-Pass Compilation解析与代码生成合并为一遍。这种方式对语言设计要求较高——编译器只有窥视孔般的局部视野好在小型、动态类型的 Lox 恰好适合这种设计见 book/compiling-expressions.md。而表达式解析的引擎就是 Pratt 解析。它的优雅之处在于每个 Token 在表格中登记一个前缀prefix解析函数、一个中缀infix解析函数和一个优先级解析器只需一个统一的parsePrecedence()循环即可处理前缀、中缀、后缀乃至 mixfix 运算符无需为每种运算符手写递归下降代码。核心数据结构Precedence 枚举与 ParseRule 表格先看 clox 源码中定义的两块基石。首先是优先级枚举位于 c/compiler.ctypedef enum { PREC_NONE, PREC_ASSIGNMENT, // PREC_OR, // or PREC_AND, // and PREC_EQUALITY, // ! PREC_COMPARISON, // PREC_TERM, // - PREC_FACTOR, // * / PREC_UNARY, // ! - PREC_CALL, // . () PREC_PRIMARY } Precedence;该枚举按优先级从低到高排列PREC_NONE为最低无法作为操作数PREC_PRIMARY为最高主表达式。然后是ParseRule结构体与解析规则表c/compiler.c、c/compiler.ctypedef struct { ParseFn prefix; ParseFn infix; Precedence precedence; } ParseRule;规则表为每个 Token 类型登记三项信息。以算术运算符为例TokenprefixinfixprecedenceTOKEN_MINUSunarybinaryPREC_TERMTOKEN_PLUSNULLbinaryPREC_TERMTOKEN_SLASHNULLbinaryPREC_FACTORTOKEN_STARNULLbinaryPREC_FACTORTOKEN_MINUS一行同时登记了unary和binary——这正是练习 2 讨论的双角色 Token。而TOKEN_PLUS的 prefix 为NULL意味着只能作为中缀减法使用不能用于前缀位置。parsePrecedence()是 Pratt 解析的核心c/compiler.cstatic void parsePrecedence(Precedence precedence) { advance(); ParseFn prefixRule getRule(parser.previous.type)-prefix; if (prefixRule NULL) { error(Expect expression.); return; } bool canAssign precedence PREC_ASSIGNMENT; prefixRule(canAssign); while (precedence getRule(parser.current.type)-precedence) { advance(); ParseFn infixRule getRule(parser.previous.type)-infix; infixRule(canAssign); } if (canAssign match(TOKEN_EQUAL)) { error(Invalid assignment target.); } }流程为消费一个 Token → 调用其前缀函数 → 只要后续 Token 的优先级不低于当前界限就持续调用中缀函数。binary()c/compiler.c在编译完右操作数后按运算符类型发出对应字节码OP_ADD、OP_SUBTRACT、OP_MULTIPLY、OP_DIVIDE等unary()c/compiler.c则以parsePrecedence(PREC_UNARY)递归编译操作数并发出OP_NEGATE/OP_NOT。练习 1追踪(-1 2) * 3 - -4的解析调用轨迹原笔记给出了这道题的答案——一个按调用顺序展开的嵌套轨迹图。表达式(-1 2) * 3 - -4看似古怪实则每一层都对应parsePrecedence()与规则表函数的递归调用。将笔记中的轨迹整理成更易读的调用树缩进表示嵌套调用箭头表示返回值expression() ← parsePrecedence(PREC_ASSIGNMENT) └── parsePrecedence(PREC_ASSIGNMENT) ├── ( 前缀函数 grouping() │ └── expression() │ └── parsePrecedence(PREC_ASSIGNMENT) │ ├── - 前缀函数 unary() │ │ └── parsePrecedence(PREC_UNARY) │ │ └── number() // 字面量 1 │ ├── 中缀函数 binary() │ │ └── parsePrecedence(PREC_TERM 1) PREC_FACTOR │ │ └── number() // 字面量 2 │ └── ) 结束分组 ├── * 中缀函数 binary() │ └── parsePrecedence(PREC_FACTOR 1) PREC_UNARY │ └── number() // 字面量 3 └── - 中缀函数 binary() └── parsePrecedence(PREC_FACTOR) // 即 PREC_TERM 1 └── - 前缀函数 unary() └── parsePrecedence(PREC_UNARY) └── number() // 字面量 4对照源码逐一印证每一步expression()的入口expression()就是parsePrecedence(PREC_ASSIGNMENT)c/compiler.c这是整棵调用树的总入口。左括号的分组grouping()c/compiler.c消费(后调用expression()并consume右括号因为(在规则表中的中缀优先级为PREC_CALLc/compiler.c高于后续运算符所以括号内的表达式会被完整吞掉。内层-1-的前缀函数unary()用parsePrecedence(PREC_UNARY)编译操作数c/compiler.cPREC_UNARY高于加减乘除因此1之后紧跟的不会进入该层-1被完整解析。1 2的中缀加法binary()用parsePrecedence(rule-precedence 1)编译右操作数c/compiler.c的优先级是PREC_TERM加一后变成PREC_FACTOR右操作数2立即完成不向左结合更多项。* 3*的规则是{NULL, binary, PREC_FACTOR}binary()以PREC_FACTOR 1 PREC_UNARY编译3保证乘法右操作数不会被加减法抢走。最外层- -4外层-是中缀减法右操作数以PREC_TERM 1 PREC_FACTOR编译-4中前缀-的unary()再以PREC_UNARY编译4。这里的关键是中缀-的右操作数允许出现前缀-这正是笔记中注释PREC_FACTOR // PREC_TERM 1的含义。值得一提的细节binary()中右操作数的优先级是运算符自身优先级 1这是 Pratt 解析处理左结合的标准手法——同一优先级的后续运算符不会进入右操作数从而保证a - b - c解析为(a - b) - c。练习 2哪些 Token 既作前缀又作中缀原笔记的答案分三层展开Lox 语言中唯一的前缀/中缀双角色 Token 是左括号(前缀位置用于分组grouping中缀位置用于函数调用callc/compiler.c。这直接体现在规则表中TOKEN_LEFT_PAREN {grouping, call, PREC_CALL}c/compiler.c——grouping和call同时挂在同一个 Token 上。call解析参数列表argumentList()后发出OP_CALL指令。其他语言中常见的双角色 Token笔记列举一元加号若干语言允许像-一样作前缀一元运算符正号同时当然也用作中缀加法。有趣的是clox 的规则表中TOKEN_PLUS {NULL, binary, PREC_TERM}即 clox不支持一元正号这正是 Lox 与这些语言的差异点。方括号[不少语言用方括号表示列表/数组字面量前缀又用作下标访问运算符中缀。C 语言的*与*前缀为指针解引用、中缀为乘法前缀为取地址、中缀为按位与。Ruby 的*与它们不能作为前缀表达式但可以出现在实参列表的前缀位置如块参数展开*args。对照 clox 规则表可以佐证一个规律同一 Token 的 prefix 与 infix 可以是完全无关的两个函数表格把符号外形与解析语义解耦这是 Pratt 解析表达力的关键来源。练习 3将 C 风格三元运算符?:接入编译器原笔记给出的方案是在PREC_ASSIGNclox 中实际命名为PREC_ASSIGNMENT与PREC_OR之间新增一个优先级层级PREC_CONDITIONAL然后在?的规则表行中登记一个中缀函数conditional()static void conditional() { // Compile the then branch. parsePrecedence(compiler, PREC_CONDITIONAL); consume(compiler, TOKEN_COLON, Expect : after then branch of conditional operator.); // Compile the else branch. parsePrecedence(compiler, PREC_ASSIGNMENT); }注原笔记中的代码是为书中早期签名编写的完整 clox 最终版中解析函数统一带bool canAssign参数接入时应写作static void conditional(bool canAssign)与 c/compiler.c 的ParseFn类型保持一致。笔记同时点出了两个关键洞察?的操作数优先级是非对称的then 分支以PREC_CONDITIONAL比条件表达式自身低一级编译而 else 分支以PREC_ASSIGNMENT更低编译。也就是说最后一个操作数的优先级低于条件表达式本身。这看似反常但正是 C 的行为方式——a ? b : c ? d : e会右结合且整个条件表达式几乎可以作为任何更大表达式的一个操作数出现。这只是一个编译操作数的骨架完整实现还需要真正生成条件跳转字节码如 clox 后续章节中and_()/or_()那样通过emitJump()/patchJump()实现短路求值但该函数已经保证了三个操作数在正确的优先级下被解析。以 clox 的优先级枚举为参照接入点应当是typedef enum { PREC_NONE, PREC_ASSIGNMENT, // PREC_CONDITIONAL, // ?: PREC_OR, // or ... } Precedence;同时需要在rules表中为TOKEN_QUESTION增加一行{NULL, conditional, PREC_CONDITIONAL}。注意当前 clox 的扫描器与 Token 枚举中并未定义TOKEN_QUESTION与TOKEN_COLON在 c/scanner.h 与 c/token.h 中搜索无结果因此完整接入还需先在词法层补上这两个 Token 类型这也是原笔记明确跳过的一步。结合测试与运行验证本仓库的 test/ 目录提供了大量可运行验证材料。与本文主题最直接相关的有test/expressions/evaluate.lox 与 test/expressions/parse.lox覆盖表达式求值与解析的基础路径test/operator/ 下的negate.lox、add.lox、multiply.lox、divide.lox等逐一验证unary/binary产生的字节码在 VM 上的运行结果test/precedence.lox直接验证运算符优先级的整体行为。编译运行 clox 后你可以直接输入(-1 2) * 3 - -4观察解析结果(1) * 3 - (-4)求值为7。若想观察字节码可借助调试模块disassembleChunk()c/debug.c输出指令序列直观看到OP_NEGATE、OP_ADD、OP_MULTIPLY、OP_SUBTRACT的生成顺序与调用轨迹完全一致。小结三个练习题从三个角度覆盖了 Pratt 解析器的核心机制调用轨迹揭示了parsePrecedence()如何用前缀函数 中缀循环 优先级1统一处理嵌套表达式左结合、括号分组与一元运算符全部由同一套递归规则自然涌现双角色 Token展示了规则表一 Token 两函数的设计如何让同一个符号在不同位置获得不同语义同时指出了 Lox(与其他语言、[、*、的差异三元运算符示范了扩展语法时如何加一级优先级、加一行规则、写一个解析函数并强调了条件表达式右操作数优先级更低这一反直觉但符合 C 语义的设计。掌握这三个要点你就已经抓住了 clox 前端最核心的算法骨架——后续章节的赋值、变量、逻辑与短路运算符都是在这张规则表和parsePrecedence()之上逐步叠加的。赞分享编程语言解释器编译器语言运行时教程【免费下载链接】craftinginterpretersRepository for the book Crafting Interpreters项目地址https://gitcode.com/gh_mirrors/cr/craftinginterpreters点击查看免费下载相关推荐Velero Node-agent 配置指南通过 ConfigMap 精细调优 Data Mover 数据移动 PodVelero Node agent 配置指南通过 ConfigMap 精细调优 Data Mover 数据移动 Pod 导读 Velero node agen编程语言解释器编译器语言运行时教程深入解析DoctorWkt/acwj项目编译器开发中的运算符扩展与优化深入解析DoctorWkt/acwj项目编译器开发中的运算符扩展与优化 引言编译器开发中的运算符挑战 在编译器开发过程中运算符的处理是一个既基础又复杂的关编译器示例工程教程编程语言Impeller 入门实战用 HAL 与着色器编译管线绘制你的第一个三角形Impeller 入门实战用 HAL 与着色器编译管线绘制你的第一个三角形 导读 本文基于 Flutter 引擎中 Impeller 渲染器的官方教程文档跨平台移动开发前端图形学上一篇iPhone激活锁免费绕过applera1n保姆级教程动手前先过四道自检下一篇Visual C 运行库完整指南老系统软件闪退、DLL 缺失的一键修复方案创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
延伸阅读

更多相关文章

2026/11/23 0:51:35

2 条命令玩转 MagiskBoot:boot.img 解包、重打包与任务清单

2 条命令玩转 MagiskBoot:boot.img 解包、重打包与任务清单 【免费下载链接】Magisk The Magic Mask for Android 项目地址: https://gitcode.com/GitHub_Trending/ma/Magisk boot.img 其实是一只格式固定的行李箱:头部记录页大小与各区段的偏移、…

2026/11/21 5:58:00

花钱的任务先确认:Drama Skills预览-确认-执行的付费闸门详解

花钱的任务先确认:Drama Skills预览-确认-执行的付费闸门详解 【免费下载链接】drama-skills 开源 AI 短剧/漫剧创作 skill 合集:剧本、角色资产、分镜 storyboard、图片/视频提示词、审查,适配 Claude Code 与 Codex | Open-source AI short…

2026/11/23 1:43:03

红河蒙自高压电工证怎么考?良心建议告诉你实操关键点

红河蒙自高压电工证怎么考?良心建议告诉你实操关键点 你是不是正在为找不到工作发愁?特种作业证就是你进入一些高薪行业的敲门砖,尤其是像 红河蒙自高压电工证 这样的证书,直接决定了你能不能从事相关岗位。别再等了,现在就行动起来,掌握这…

2026/11/23 1:43:03

潮州a2电工证怎么考?外省证书能否转过来?官方报名入口全解析

潮州a2电工证怎么考?外省证书能否转过来?官方报名入口全解析 之前考的证在外省能不能转过来?这是很多电工朋友在报名潮州a2电工证前都会问的问题。如果你也有类似的疑问,那这篇内容正好为你详细解答,包括报名流程、证书转移、备考技巧以及…

2026/11/23 1:43:03

宣化低压电工证怎么考才不挂科 电子证书怎么领

宣化低压电工证怎么考才不挂科 电子证书怎么领 实操考试心里没底怕挂科?考低压电工证的时候,很多人都有这样的担忧。尤其是新手,面对各种设备和操作流程,不知道从哪里下手,更怕一不小心操作不当就被判定不合格。其实,只要你掌握了正确的方法,拿到…

2026/11/23 1:43:02

弱电工是否需要电工证在哪考?别再被中介忽悠了

弱电工是否需要电工证在哪考?别再被中介忽悠了 你是不是也在纠结, 弱电工是否需要电工证 ?又在四处打听“ 在哪考 ”?别急,这篇文章就帮你理清楚,不仅告诉你为什么必须考证,还会教你怎么避开那些坑人的中介,找到靠谱的报考渠道。…

2026/11/22 0:09:40

高压电工证还能年审吗良心建议来了,学历不高也能考!

高压电工证还能年审吗良心建议来了,学历不高也能考! 你是不是也担心,自己学历不高,根本报不上高压电工证?其实不然,现在政策已经非常明确, 高压电工证还能年审 ,而且只要符合条件, 学历不是门槛 , 良心建议…

2026/11/22 0:09:40

吴江的电工证免费培训怎么报名?官方报名入口全解析

吴江的电工证免费培训怎么报名?官方报名入口全解析 你急需特种作业证才能上岗找工作,但不知道从哪里下手?别急,现在就给你讲明白【吴江的电工证免费培训】到底怎么操作,以及怎么通过 官方报名入口…

2026/11/23 0:26:19

电工证复审肃州区的真实经历:别被中介坑了,自己搞定更靠谱

电工证复审肃州区的真实经历:别被中介坑了,自己搞定更靠谱 不知道去哪报名怕被中介坑?这几乎是每个需要办理或复审电工证的人的真实经历。尤其在肃州区,信息不透明、流程复杂、中介收费高又不靠谱,让很多电工从业者感到头疼。作为一个在应急管理和特种作…

2026/11/23 0:01:38

南宁哪里可以学电工证值不值得考?怕被中介坑?看这篇就够了

南宁哪里可以学电工证值不值得考?怕被中介坑?看这篇就够了 不知道去哪报名怕被中介坑?南宁哪里可以学电工证值不值得考?这是很多想考电工证的朋友最关心的问题。现实中,不少人在选择培训机构时被各种五花八门的广告信息搞得晕头转向,甚至被坑了钱还没拿…

2026/11/23 0:01:38

建设局特种工证怎么查全国通用的复审流程

建设局特种工证怎么查全国通用的复审流程 证书过期了不知道怎么复审延期,这是很多特种作业从业者常遇到的问题。尤其是在洛阳涧西区从事水利工程工作的你,特种作业操作证不仅是上岗的“通行证”,更是保障安全作业的法律底线。如果操作证过期了,不仅影响工…

2026/11/23 0:01:38

电工证跨考政策值不值得考?学历不高也能考的真相

电工证跨考政策值不值得考?学历不高也能考的真相 你是不是也觉得学历不够,报电工证怕被拒?别急,国家安全生产考试网明文规定, 电工证跨考政策 对学历门槛没有硬性限制,只要你年满18岁,身体健康,能通过实操考试,就能报考。关键是, 值不值得考…

2026/11/22 9:39:14

面向复杂光照与角度的宠物面部识别鲁棒性增强策略

在智慧养宠时代,基于视觉的宠物身份识别技术正逐步从实验室走向家庭应用。然而,与配合度高的人类不同,宠物是典型的“非合作生物识别对象”——它们不会主动配合摄像头调整姿态,更无法控制光照环境。实际应用中,我们常…

2026/11/22 5:39:03

SSM电子书店源码全解析:结构、原理、部署与排错实战

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

还想了解更多?直接咨询顾问

免费诊断 + 免费方案 + 透明报价。

全国咨询热线400-8866-253
免费获取方案
☎咨询二维码 ☎ ↑