MLIR 学习笔记 -- IR 和 Dialect 之间的关系1. 一句话理解2. 什么是 IR3. 什么是 Dialect4. mini dialect 里定义了哪些 op5. IR 和 Dialect 的关系6. 为什么需要 Dialect7. mini.add 和 arith.addi 的区别8. 本 demo 中的完整例子9. 学习时要抓住的关键点IR 不是文本文件本身Dialect 不是一个 passLowering 是 dialect 之间的转换10. 总结生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能丰富你的文章UML图表流程图FLowchart流程图导出与导入导出导入本文结合mini-compilerdemo整理 MLIR 中IR和dialect的关系。摘要本文结合mini-compiler教学 demo深入浅出地讲解了 MLIR 中 IR中间表示与 Dialect方言的概念及其关系。文章从一句话理解入手逐步拆解了什么是 IR、什么是 Dialect并通过自定义minidialect 的实例展示了如何定义 operation、进行 lowering 转换。最后总结了学习 MLIR 的关键要点帮助读者建立从源语言到低层 IR 的完整认知链路。1. 一句话理解IR 是编译器内部表示程序的中间形式。 Dialect 是 MLIR 中定义一组 operation/type/attribute 语义的机制。在这个 demo 里数据流的转换过程如下.mini 源码 - AST - mini dialect MLIR - arith func dialect MLIR也就是说整个流程可以概括为.mini是源语言。AST 是 parser 之后的语法树。mini.*是我们自己定义的高层 MLIR IR。arith.*/func.*是 lowering 后更标准、更低层的 MLIR IR。2. 什么是 IRIR 是 Intermediate Representation中间表示。源代码var x a 1;经过mini-cc --emitmini后会变成%0 mini.constant 1 %1 mini.add %arg0, %0 : i32这就是 IR。它比源代码更适合编译器处理因为每一步计算都变成了明确的 operation。每个中间结果都是 SSA value例如%0,%1。每个值都有明确类型例如i32。后续优化和 lowering pass 可以直接匹配、分析、替换这些 operation。3. 什么是 DialectDialect 可以理解为 MLIR 里的方言或子语言。MLIR 核心只定义通用结构Operation Region Block Value Type Attribute但具体有哪些 operation不是 MLIR 核心写死的而是由 dialect 定义。例如mini.add - mini dialect arith.addi - arith dialect func.func - func dialect scf.for - scf dialect linalg.matmul - linalg dialect在 demo 里我们定义了一个自定义 dialectmini dialect核心代码def Mini_Dialect : Dialect { let name mini; let summary A small teaching dialect for a complete MLIR compiler demo; let cppNamespace ::mlir::mini; }这表示所有以mini.开头的 operation 都属于minidialect。4. mini dialect 里定义了哪些 op定义位置include/Mini/MiniOps.td本 demo 定义了 4 个 operationmini.constant mini.add mini.mul mini.return例如mini.add的定义def Mini_AddOp : Mini_Opadd, [Pure, SameOperandsAndResultType] { let summary Mini integer addition; let arguments (ins I32:$lhs, I32:$rhs); let results (outs I32:$result); let assemblyFormat $lhs , $rhs attr-dict : type($result); }这段 ODS 定义说明op 名字是mini.add。输入是两个i32。输出是一个i32。Pure表示没有副作用。SameOperandsAndResultType表示输入和输出类型一致。所以它可以打印成%1 mini.add %arg0, %0 : i325. IR 和 Dialect 的关系一个 MLIR module 是一段 IR。这段 IR 可以同时包含多个 dialect 的 operation。例如module { func.func main(%arg0: i32, %arg1: i32) - i32 { %0 mini.constant 1 : i32 %1 mini.add %arg0, %0 : i32 mini.return %1 : i32 } }这里面有多个 dialectmodule - builtin dialect func.func - func dialect mini.constant - mini dialect mini.add - mini dialect mini.return - mini dialect所以关系可以记成IR 是整体程序表示。 Dialect 是 IR 里某一组 operation/type/attribute 的语义集合。 一个 IR 可以混合多个 dialect。换句话说MLIR IR contains operations each operation belongs to a dialect6. 为什么需要 Dialect因为编译器的不同阶段需要不同抽象层级。高层阶段希望保留源语言语义便于进行与语言特性相关的分析和优化mini.add低层阶段希望转成通用标准表示以便与后端如 LLVM对接arith.addi从高层 dialect 到低层 dialect 的转换过程就叫 lowering。在 demo 里lowering pass 实现在lib/Mini/MiniPasses.cpp核心代码structLowerAdd:OpRewritePatternAddOp{LogicalResultmatchAndRewrite(AddOp op,PatternRewriterrewriter)constoverride{autoloweredarith::AddIOp::create(rewriter,op.getLoc(),op.getLhs(),op.getRhs());rewriter.replaceOp(op,lowered.getResult());returnsuccess();}};它把%1 mini.add %arg0, %0 : i32转换成%1 arith.addi %arg0, %0 : i32这就是 dialect 之间转换的具体例子。7. mini.add 和 arith.addi 的区别二者都表示加法但抽象层级不同。mini.add Mini 源语言里的加法 frontend 生成 高层、语言相关 arith.addi MLIR 标准整数加法 lowering 后生成 低层、语言无关真实编译器通常会经历类似路径源语言 dialect - 结构化计算 dialect - buffer/memref/scf/cf dialect - LLVM dialect - LLVM IR / machine code8. 本 demo 中的完整例子源代码var x a 1;ASTVarDecl x Binary Variable a Number 1mini dialect IR%0 mini.constant 1 : i32 %1 mini.add %arg0, %0 : i32lowered IR%c1_i32 arith.constant 1 : i32 %0 arith.addi %arg0, %c1_i32 : i32这个变化过程说明源语言语法 - AST - 高层 IR - 低层 IR9. 学习时要抓住的关键点IR 不是文本文件本身.mlir文件只是 IR 的文本打印形式。实际开发中IR 通常存在于 C 内存对象里例如mlir::ModuleOp mlir::Operation mlir::Value打印出来才变成.mlir文本。Dialect 不是一个 passDialect 定义的是一组 op/type/attr 的语义。Pass 是转换 IR 的过程。在 demo 中mini dialect 定义 mini.add 等 op lower-mini-to-arith pass 把 mini.add 转成 arith.addiLowering 是 dialect 之间的转换Lowering 不是简单地改字符串而是用 MLIR C API 创建新 operation并替换旧 operation。例如arith::AddIOp::create(...)rewriter.replaceOp(...)这是真正修改内存中的 MLIR IR。10. 总结可以用这张表来快速回顾核心概念概念在 demo 中的例子作用源语言.mini用户写的程序ASTVarDecl,Binary,Returnparser 后的结构化语法树IR.mlir打印出来的 module编译器中间表示Dialectmini,arith,func一组 operation/type/attribute 的语义集合Operationmini.add,arith.addiIR 中的具体计算单元最终记忆IR 是程序的中间表示。 Dialect 是 IR 中 operation/type/attribute 的语义集合。 一个 IR 可以混合多个 dialect。 编译器通过 lowering pass 把高层 dialect 逐步转换成低层 dialect。生成一个适合你的列表项目项目项目项目1项目2项目3计划任务完成任务创建一个表格一个简单的表格是这么创建的项目Value电脑$1600手机$12导管$1设定内容居中、居左、居右使用:---------:居中使用:----------居左使用----------:居右第一列第二列第三列第一列文本居中第二列文本居右第三列文本居左SmartyPantsSmartyPants 是一个文本转换工具主要功能是将普通的 ASCII 标点符号自动转换为更美观的印刷体标点符号。例如原始符号转换后说明引号“引号”直引号变弯引号单引号‘单引号’直单引号变弯单引号--–两个连字符变短破折号---—三个连字符变长破折号...…三个点变省略号创建一个自定义列表MarkdownText-to-HTMLconversion toolAuthorsJohnLuke如何创建一个注脚一个具有注脚的文本。1注释也是必不可少的Markdown将文本转换为HTML。KaTeX数学公式您可以使用渲染LaTeX数学表达式 KaTeX:Gamma公式展示Γ ( n ) ( n − 1 ) ! ∀ n ∈ N \Gamma(n) (n-1)!\quad\forall n\in\mathbb NΓ(n)(n−1)!∀n∈N是通过欧拉积分Γ ( z ) ∫ 0 ∞ t z − 1 e − t d t . \Gamma(z) \int_0^\infty t^{z-1}e^{-t}dt\,.Γ(z)∫0∞tz−1e−tdt.你可以找到更多关于的信息LaTeX数学表达式here.新的甘特图功能丰富你的文章2014-01-072014-01-092014-01-112014-01-132014-01-152014-01-172014-01-192014-01-21已完成进行中计划一计划二现有任务Adding GANTT diagram functionality to mermaid关于甘特图语法参考 这儿,UML图表可以使用UML图表进行渲染例如下面产生的一个序列图王五李四张三王五李四张三李四想了很长时间, 文字太长了不适合放在一行.你好李四, 最近怎么样?你最近怎么样王五我很好谢谢!我很好谢谢!打量着王五...很好... 王五, 你怎么样?关于UML图表语法参考 这儿,流程图链接长方形圆圆角长方形菱形关于Mermaid语法参考 这儿,FLowchart流程图我们依旧会支持flowchart.js的流程图语法Created with Raphaël 2.3.0开始我的操作确认结束yesno关于Flowchart流程图语法参考 这儿.导出与导入导出如果你想尝试使用此编辑器, 你可以在此篇文章任意编辑。当你完成了一篇文章的写作, 在上方工具栏找到文章导出生成一个.md文件或者.html文件进行本地保存。导入如果你想加载一篇你写过的.md文件在上方工具栏可以选择导入功能进行对应扩展名的文件导入继续你的创作。注脚的解释 ↩︎
MLIR 学习笔记 -- IR 和 Dialect 之间的关系1. 一句话理解2. 什么是 IR3. 什么是 Dialect4. mini dialect 里定义了哪些 op5. IR 和 Dialect 的关系6. 为什么需要 Dialect7. mini.add 和 arith.addi 的区别8. 本 demo 中的完整例子9. 学习时要抓住的关键点IR 不是文本文件本身Dialect 不是一个 passLowering 是 dialect 之间的转换10. 总结生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能丰富你的文章UML图表流程图FLowchart流程图导出与导入导出导入本文结合mini-compilerdemo整理 MLIR 中IR和dialect的关系。摘要本文结合mini-compiler教学 demo深入浅出地讲解了 MLIR 中 IR中间表示与 Dialect方言的概念及其关系。文章从一句话理解入手逐步拆解了什么是 IR、什么是 Dialect并通过自定义minidialect 的实例展示了如何定义 operation、进行 lowering 转换。最后总结了学习 MLIR 的关键要点帮助读者建立从源语言到低层 IR 的完整认知链路。1. 一句话理解IR 是编译器内部表示程序的中间形式。 Dialect 是 MLIR 中定义一组 operation/type/attribute 语义的机制。在这个 demo 里数据流的转换过程如下.mini 源码 - AST - mini dialect MLIR - arith func dialect MLIR也就是说整个流程可以概括为.mini是源语言。AST 是 parser 之后的语法树。mini.*是我们自己定义的高层 MLIR IR。arith.*/func.*是 lowering 后更标准、更低层的 MLIR IR。2. 什么是 IRIR 是 Intermediate Representation中间表示。源代码var x a 1;经过mini-cc --emitmini后会变成%0 mini.constant 1 %1 mini.add %arg0, %0 : i32这就是 IR。它比源代码更适合编译器处理因为每一步计算都变成了明确的 operation。每个中间结果都是 SSA value例如%0,%1。每个值都有明确类型例如i32。后续优化和 lowering pass 可以直接匹配、分析、替换这些 operation。3. 什么是 DialectDialect 可以理解为 MLIR 里的方言或子语言。MLIR 核心只定义通用结构Operation Region Block Value Type Attribute但具体有哪些 operation不是 MLIR 核心写死的而是由 dialect 定义。例如mini.add - mini dialect arith.addi - arith dialect func.func - func dialect scf.for - scf dialect linalg.matmul - linalg dialect在 demo 里我们定义了一个自定义 dialectmini dialect核心代码def Mini_Dialect : Dialect { let name mini; let summary A small teaching dialect for a complete MLIR compiler demo; let cppNamespace ::mlir::mini; }这表示所有以mini.开头的 operation 都属于minidialect。4. mini dialect 里定义了哪些 op定义位置include/Mini/MiniOps.td本 demo 定义了 4 个 operationmini.constant mini.add mini.mul mini.return例如mini.add的定义def Mini_AddOp : Mini_Opadd, [Pure, SameOperandsAndResultType] { let summary Mini integer addition; let arguments (ins I32:$lhs, I32:$rhs); let results (outs I32:$result); let assemblyFormat $lhs , $rhs attr-dict : type($result); }这段 ODS 定义说明op 名字是mini.add。输入是两个i32。输出是一个i32。Pure表示没有副作用。SameOperandsAndResultType表示输入和输出类型一致。所以它可以打印成%1 mini.add %arg0, %0 : i325. IR 和 Dialect 的关系一个 MLIR module 是一段 IR。这段 IR 可以同时包含多个 dialect 的 operation。例如module { func.func main(%arg0: i32, %arg1: i32) - i32 { %0 mini.constant 1 : i32 %1 mini.add %arg0, %0 : i32 mini.return %1 : i32 } }这里面有多个 dialectmodule - builtin dialect func.func - func dialect mini.constant - mini dialect mini.add - mini dialect mini.return - mini dialect所以关系可以记成IR 是整体程序表示。 Dialect 是 IR 里某一组 operation/type/attribute 的语义集合。 一个 IR 可以混合多个 dialect。换句话说MLIR IR contains operations each operation belongs to a dialect6. 为什么需要 Dialect因为编译器的不同阶段需要不同抽象层级。高层阶段希望保留源语言语义便于进行与语言特性相关的分析和优化mini.add低层阶段希望转成通用标准表示以便与后端如 LLVM对接arith.addi从高层 dialect 到低层 dialect 的转换过程就叫 lowering。在 demo 里lowering pass 实现在lib/Mini/MiniPasses.cpp核心代码structLowerAdd:OpRewritePatternAddOp{LogicalResultmatchAndRewrite(AddOp op,PatternRewriterrewriter)constoverride{autoloweredarith::AddIOp::create(rewriter,op.getLoc(),op.getLhs(),op.getRhs());rewriter.replaceOp(op,lowered.getResult());returnsuccess();}};它把%1 mini.add %arg0, %0 : i32转换成%1 arith.addi %arg0, %0 : i32这就是 dialect 之间转换的具体例子。7. mini.add 和 arith.addi 的区别二者都表示加法但抽象层级不同。mini.add Mini 源语言里的加法 frontend 生成 高层、语言相关 arith.addi MLIR 标准整数加法 lowering 后生成 低层、语言无关真实编译器通常会经历类似路径源语言 dialect - 结构化计算 dialect - buffer/memref/scf/cf dialect - LLVM dialect - LLVM IR / machine code8. 本 demo 中的完整例子源代码var x a 1;ASTVarDecl x Binary Variable a Number 1mini dialect IR%0 mini.constant 1 : i32 %1 mini.add %arg0, %0 : i32lowered IR%c1_i32 arith.constant 1 : i32 %0 arith.addi %arg0, %c1_i32 : i32这个变化过程说明源语言语法 - AST - 高层 IR - 低层 IR9. 学习时要抓住的关键点IR 不是文本文件本身.mlir文件只是 IR 的文本打印形式。实际开发中IR 通常存在于 C 内存对象里例如mlir::ModuleOp mlir::Operation mlir::Value打印出来才变成.mlir文本。Dialect 不是一个 passDialect 定义的是一组 op/type/attr 的语义。Pass 是转换 IR 的过程。在 demo 中mini dialect 定义 mini.add 等 op lower-mini-to-arith pass 把 mini.add 转成 arith.addiLowering 是 dialect 之间的转换Lowering 不是简单地改字符串而是用 MLIR C API 创建新 operation并替换旧 operation。例如arith::AddIOp::create(...)rewriter.replaceOp(...)这是真正修改内存中的 MLIR IR。10. 总结可以用这张表来快速回顾核心概念概念在 demo 中的例子作用源语言.mini用户写的程序ASTVarDecl,Binary,Returnparser 后的结构化语法树IR.mlir打印出来的 module编译器中间表示Dialectmini,arith,func一组 operation/type/attribute 的语义集合Operationmini.add,arith.addiIR 中的具体计算单元最终记忆IR 是程序的中间表示。 Dialect 是 IR 中 operation/type/attribute 的语义集合。 一个 IR 可以混合多个 dialect。 编译器通过 lowering pass 把高层 dialect 逐步转换成低层 dialect。生成一个适合你的列表项目项目项目项目1项目2项目3计划任务完成任务创建一个表格一个简单的表格是这么创建的项目Value电脑$1600手机$12导管$1设定内容居中、居左、居右使用:---------:居中使用:----------居左使用----------:居右第一列第二列第三列第一列文本居中第二列文本居右第三列文本居左SmartyPantsSmartyPants 是一个文本转换工具主要功能是将普通的 ASCII 标点符号自动转换为更美观的印刷体标点符号。例如原始符号转换后说明引号“引号”直引号变弯引号单引号‘单引号’直单引号变弯单引号--–两个连字符变短破折号---—三个连字符变长破折号...…三个点变省略号创建一个自定义列表MarkdownText-to-HTMLconversion toolAuthorsJohnLuke如何创建一个注脚一个具有注脚的文本。1注释也是必不可少的Markdown将文本转换为HTML。KaTeX数学公式您可以使用渲染LaTeX数学表达式 KaTeX:Gamma公式展示Γ ( n ) ( n − 1 ) ! ∀ n ∈ N \Gamma(n) (n-1)!\quad\forall n\in\mathbb NΓ(n)(n−1)!∀n∈N是通过欧拉积分Γ ( z ) ∫ 0 ∞ t z − 1 e − t d t . \Gamma(z) \int_0^\infty t^{z-1}e^{-t}dt\,.Γ(z)∫0∞tz−1e−tdt.你可以找到更多关于的信息LaTeX数学表达式here.新的甘特图功能丰富你的文章2014-01-072014-01-092014-01-112014-01-132014-01-152014-01-172014-01-192014-01-21已完成进行中计划一计划二现有任务Adding GANTT diagram functionality to mermaid关于甘特图语法参考 这儿,UML图表可以使用UML图表进行渲染例如下面产生的一个序列图王五李四张三王五李四张三李四想了很长时间, 文字太长了不适合放在一行.你好李四, 最近怎么样?你最近怎么样王五我很好谢谢!我很好谢谢!打量着王五...很好... 王五, 你怎么样?关于UML图表语法参考 这儿,流程图链接长方形圆圆角长方形菱形关于Mermaid语法参考 这儿,FLowchart流程图我们依旧会支持flowchart.js的流程图语法Created with Raphaël 2.3.0开始我的操作确认结束yesno关于Flowchart流程图语法参考 这儿.导出与导入导出如果你想尝试使用此编辑器, 你可以在此篇文章任意编辑。当你完成了一篇文章的写作, 在上方工具栏找到文章导出生成一个.md文件或者.html文件进行本地保存。导入如果你想加载一篇你写过的.md文件在上方工具栏可以选择导入功能进行对应扩展名的文件导入继续你的创作。注脚的解释 ↩︎
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
