Apache Spark SQL 语法全景指南从 DDL/DML 到数据检索、SQL 脚本与辅助语句【免费下载链接】sparkApache Spark - A unified analytics engine for large-scale data processing项目地址: https://gitcode.com/gh_mirrors/sp/sparkApache Spark SQL 是 Spark 生态中处理结构化数据的核心模块而 SQL 语法是其对外提供的最直接、最广泛使用的接口。本文以 Spark 官方文档中 SQL Syntax 总览 为主体骨架系统梳理 Spark SQL 支持的五类语句——DDL数据定义、DML数据操作、数据检索SELECT 与 EXPLAIN、SQL 脚本过程化逻辑以及辅助语句并结合仓库中的 ANTLR 语法文件与解析器源码讲清每类语句的定位、语法要点与底层解析机制。读完本文你将能快速定位任意一条 Spark SQL 语句的完整语法定义理解 Spark 如何将一条 SQL 文本逐步解析为可执行的逻辑计划与物理计划并据此编写规范、可高效执行的查询。一、从 SQL 语法文档到执行计划Spark 的解析链路在深入各类语句之前先理解 Spark 如何处理一条 SQL。整个 SQL 语法体系由两大部分承载语法定义仓库中 SqlBaseParser.g4 与 SqlBaseLexer.g4 是 ANTLR 4 文法文件其声明adapted from Prestos SqlBase.g4 grammar定义了从顶层compoundOrSingleStatement到每个具体语句的完整语法规则。解析实现SparkSqlParser.scala 继承AbstractSqlParser通过parsePlanWithParameters调用语法文件的compoundOrSingleStatement()入口将解析树交给SparkSqlAstBuilder转换为 Catalyst 的逻辑计划LogicalPlan若结果是CompoundPlanStatementSQL 脚本复合体则原样返回。从语法文件可以看到解析器内置了若干可配置的行为开关它们直接影响语句的解析语义语法文件成员开关含义关联配置SQL_standard_keyword_behavior为 true 时关键字遵循 ANSI SQL 标准spark.sql.parser.ansi.enabled配合 ANSI 模式double_quoted_identifiers为 true 时双引号内容按标识符而非字符串解析spark.sql.parser.escapedStringLiterals相关 ANSI 设置legacy_setops_precedence_enabled控制 INTERSECT 与 UNION/EXCEPT 的优先级false 时遵循 SQL 标准spark.sql.legacy.setopsPrecedence.enabledlegacy_identifier_clause_only控制IDENTIFIER(literal)的解析方式spark.sql.legacy.identifierClausesingle_character_pipe_operator_enabled是否允许单字符|作为 SQL 管道运算符管道语法开关顶层语法规则compoundOrSingleStatement由singleStatement或singleCompoundStatement组成后者即BEGIN (NOT ATOMIC)? compoundBody? END形式的 SQL 脚本复合语句。而singleStatement内部又分为dmlStatement、use、setCatalog、createTable、analyze、showTables、explain、cacheTable、loadData等数十条具体规则——这正是文档中五类语句在语法层面的映射。理解了这条文本 → 词法 → 语法树 → 逻辑计划 → 物理计划的链路后续阅读各类语句时就能知其然也知其所以然。二、DDL 语句定义与修改数据库对象结构Data Definition Statements 用于创建或修改数据库中数据库对象的结构。Spark SQL 支持以下 DDL 语句语句文档位置用途ALTER DATABASEsql-ref-syntax-ddl-alter-database.md修改数据库属性、位置ALTER TABLEsql-ref-syntax-ddl-alter-table.md修改表结构增删列、改分区、改属性等ALTER VIEWsql-ref-syntax-ddl-alter-view.md修改视图定义COMMENT ONsql-ref-syntax-ddl-comment.md为表/列添加注释CREATE DATABASEsql-ref-syntax-ddl-create-database.md创建数据库CREATE FUNCTION (External)sql-ref-syntax-ddl-create-function.md注册外部Hive UDF/UDTF/UDAF函数CREATE FUNCTION (SQL)sql-ref-syntax-ddl-create-sql-function.md创建 SQL 标量/表值函数CREATE TABLEsql-ref-syntax-ddl-create-table.md定义表入口页含三种子形态CREATE VIEWsql-ref-syntax-ddl-create-view.md创建视图DECLARE VARIABLEsql-ref-syntax-ddl-declare-variable.md声明会话级变量DROP DATABASEsql-ref-syntax-ddl-drop-database.md删除数据库DROP FUNCTIONsql-ref-syntax-ddl-drop-function.md删除函数DROP TABLEsql-ref-syntax-ddl-drop-table.md删除表DROP TEMPORARY VARIABLEsql-ref-syntax-ddl-drop-variable.md删除临时变量DROP VIEWsql-ref-syntax-ddl-drop-view.md删除视图REPAIR TABLEsql-ref-syntax-ddl-repair-table.md恢复/刷新表分区元数据TRUNCATE TABLEsql-ref-syntax-ddl-truncate-table.md清空表数据USE DATABASEsql-ref-syntax-ddl-usedb.md切换当前数据库2.1 CREATE TABLE三种建表形态CREATE TABLE的入口文档将其划分为三种形态CREATE TABLE USING DATA_SOURCE使用 DataSource 数据源如USING PARQUET、USING CSV建表可配合PARTITIONED BY、LOCATION、TBLPROPERTIES、OPTIONS等子句。CREATE TABLE USING HIVE FORMAT使用 Hive SerDe 格式建表STORED AS、ROW FORMAT等。CREATE TABLE LIKE以一张已有表为模板创建同构新表。语法层面SqlBaseParser.g4 中的createTableHeader (LEFT_PAREN tableElementList RIGHT_PAREN)? tableProvider? createTableClauses (AS? query)?规则完整刻画了建表语法其中AS? query即CREATE TABLE ... AS SELECTCTAS能力。与CREATE TABLE并列的还有replaceTableHeader对应的CREATE OR REPLACE TABLE。2.2 变量声明DECLARE / DROP TEMPORARY VARIABLE值得关注的是DECLARE VARIABLE与DROP TEMPORARY VARIABLE两条语句它们服务于 Spark 3.4 引入的 SQL 变量体系配合参数化查询与 SQL 脚本。语法文件中的declareVariable规则支持带DEFAULT值的变量声明。变量可进一步与文档中的 SET VAR、EXECUTE IMMEDIATE 配套使用构成会话内可编程的数据处理环境。三、DML 语句增、改、删数据Data Manipulation Statements 用于添加、变更或删除数据。Spark SQL 支持以下 DML 语句语句文档位置用途INSERT TABLEsql-ref-syntax-dml-insert-table.md向表插入或覆盖数据INSERT OVERWRITE DIRECTORYsql-ref-syntax-dml-insert-overwrite-directory.md将查询结果写入外部目录MERGE INTOsql-ref-syntax-dml-merge-into.md依据源数据对目标表执行插入/更新/删除LOADsql-ref-syntax-dml-load.md从文件路径加载数据到 Hive 表3.1 INSERT 的完整语法形态INSERT语句插入新行或覆盖表中已有数据插入行可由值表达式指定也可由查询结果产生。其语法如下INSERT [ WITH SCHEMA EVOLUTION ] [ INTO | OVERWRITE ] [ TABLE ] table_identifier [ partition_spec ] [ ( column_list ) | [BY NAME] ] { VALUES ( { value | NULL } [ , ... ] ) [ , ( ... ) ] | query } INSERT [ WITH SCHEMA EVOLUTION ] INTO [ TABLE ] table_identifier [ BY NAME ] REPLACE WHERE boolean_expression query关键参数解析WITH SCHEMA EVOLUTION允许本次 INSERT 依据源查询自动演进目标表 schema新增列、拓宽数据类型具体能力取决于底层 connector。partition_specPARTITION ( partition_col_name partition_col_val [ , ... ] )支持类型化字面量如date2019-01-02。column_list按列名将源查询列重排以匹配表 schema需注意所有列必须真实存在且不重复列数须与 VALUES/查询输出严格一致。BY NAME默认按位置匹配列与嵌套字段BY NAME改为按名称匹配允许源与目标列顺序不同。query可来源于 SELECT、Inline Table 或FROM语句。语法文件中对应的INSERT (OVERWRITE | INTO)? ...规则将INSERT INTO、INSERT OVERWRITE与INSERT OVERWRITE DIRECTORY含LOCAL、STORED AS等变体统一收纳。仓库中的使用示例与测试大量覆盖了INSERT INTO ... VALUES、INSERT OVERWRITE TABLE、INSERT OVERWRITE DIRECTORY三种形态例如在分区表students中插入单行CREATE TABLE students (name VARCHAR(64), address VARCHAR(64)) USING PARQUET PARTITIONED BY (student_id INT); INSERT INTO students VALUES (Amy Smith, 123 Park Ave, San Jose, 111111);3.2 MERGE INTO 与 LOADMERGE INTO以源表可通过USING子句指定含AS OF时态表驱动对目标表执行WHEN MATCHEDUPDATE/DELETE与WHEN NOT MATCHEDINSERT分支操作是湖仓场景 upsert 的标准手段。LOAD将本地或远程文件系统中的数据加载进 Hive 表支持LOAD DATA [LOCAL] INPATH ... INTO TABLE语法。四、数据检索语句SELECT 及其子句体系Spark 支持符合 ANSI SQL 标准的SELECT语句用于从一个或多个表中检索结果集。SELECT及其关联语句是 Spark SQL 使用频率最高、语法最丰富的部分完整定义见 SELECT。4.1 SELECT 整体语法[ WITH with_query [ , ... ] ] select_statement [ { UNION | INTERSECT | EXCEPT } [ ALL | DISTINCT ] select_statement, ... ] [ ORDER BY { expression [ ASC | DESC ] [ NULLS { FIRST | LAST } ] [ , ... ] } ] [ SORT BY { expression [ ASC | DESC ] [ NULLS { FIRST | LAST } ] [ , ... ] } ] [ CLUSTER BY { expression [ , ... ] } ] [ DISTRIBUTE BY { expression [, ... ] } ] [ WINDOW { named_window [ , WINDOW named_window, ... ] } ] [ LIMIT { ALL | expression } ]其中select_statement定义为SELECT [ hints , ... ] [ ALL | DISTINCT ] { [ [ named_expression | regex_column_names | star ] [ , ... ] | TRANSFORM (...) ] } FROM { from_item [ , ... ] } [ PIVOT clause ] [ UNPIVOT clause ] [ LATERAL VIEW clause ] [ ... ] [ WHERE boolean_expression ] [ GROUP BY expression [ , ... ] ] [ HAVING boolean_expression ] [ WINDOW clause ] [ QUALIFY boolean_expression ]4.2 核心子句速查语法元素语义要点with_query在主查询前声明 CTE便于抽象复用子查询块hints指导优化器做连接策略选择与数据重分区ALL/DISTINCT是否对结果去重ALL为默认named_expression带别名的表达式语法为expression [[AS] alias]star*选择 FROM 子句中一个或所有关系的列from_item输入来源表、JOIN、ASOF JOIN、PIVOT、UNPIVOT、表值函数、JSON_TABLE、内联表、UNNEST、子查询可 LATERAL、FileWHERE基于布尔表达式过滤 FROM 结果GROUP BY配合聚合函数MIN/MAX/COUNT/SUM/AVG 等分组聚合聚合函数后可挂FILTER子句只对匹配行聚合HAVING对 GROUP BY 产出行过滤无 GROUP BY 时表示全局聚合QUALIFY在窗口函数求值后过滤行SELECT 列表或 QUALIFY 条件中必须至少含一个窗口函数QUALIFY 内不允许聚合函数ORDER BY/SORT BY前者对整个结果集全局排序后者仅在每个分区内排序两者互斥CLUSTER BY/DISTRIBUTE BY前者等价于 DISTRIBUTE BY SORT BY重分区并排序后者仅重分区与 ORDER BY 互斥LIMIT限制返回的最大行数常与 ORDER BY 搭配产生确定性结果4.3 CTE公共表表达式CTE 定义一个临时结果集可在单条 SQL 语句作用域内被多次引用语法为WITH common_table_expression [ , ... ]其中common_table_expression定义为expression_name [ ( column_name [ , ... ] ) ] [ AS ] [ [ NOT ] MATERIALIZED ] ( query )MATERIALIZED/NOT MATERIALIZED允许用户显式提示优化器是否物化 CTE 结果这在重复引用同一子查询时可显著影响执行效率。4.4 窗口函数窗口函数基于一组行窗口计算每行的返回值适用于移动平均、累计统计、相对位置取值等场景。其语法为window_function [ nulls_option ] OVER ( [ { PARTITION | DISTRIBUTE } BY partition_col_name partition_col_val ( [ , ... ] ) ] { ORDER | SORT } BY expression [ ASC | DESC ] [ NULLS { FIRST | LAST } ] [ , ... ] [ window_frame ] )窗口函数类型排名类RANK | DENSE_RANK | PERCENT_RANK | NTILE | ROW_NUMBER、分析类CUME_DIST | LAG | LEAD | NTH_VALUE | FIRST_VALUE | LAST_VALUE、聚合类MAX | MIN | COUNT | SUM | AVG | ...。nulls_option{ IGNORE | RESPECT } NULLS默认RESPECT NULLS仅LAG/LEAD/NTH_VALUE/FIRST_VALUE/LAST_VALUE支持IGNORE NULLS。window_frame{ RANGE | ROWS } { frame_start | BETWEEN frame_start AND frame_end }帧端点可为UNBOUNDED PRECEDING | offset PRECEDING | CURRENT ROW | offset FOLLOWING | UNBOUNDED FOLLOWING省略frame_end时默认为CURRENT ROW。4.5 检索语法的完整清单SELECT 主文档 及其子页面覆盖了以下全部子句与构造Common Table ExpressionCLUSTER BY Clause、DISTRIBUTE BY ClauseGROUP BY Clause、HAVING ClauseHintsInline Table、UNNEST Clause、FileJOIN、ASOF JOINLIKE PredicateLIMIT Clause、OFFSET ClauseORDER BY Clause、SORT BY ClauseSet OperatorsTABLESAMPLETable-valued FunctionJSON_QUERY、JSON_ARRAY、JSON_TABLE、JSON_VALUE、JSON_EXISTSWHERE ClauseAggregate Function、Window FunctionCASE ClausePIVOT Clause、UNPIVOT ClauseLATERAL VIEW Clause、LATERAL SUBQUERYTRANSFORM Clausestar (*) Clause其中regex_column_names是 Spark 较有特色的能力当spark.sql.parser.quotedRegexColumnNames为 true 时SELECT 中用反引号包裹的标识符会被解释为正则表达式。例如下面这条语句只会取到列cSELECT (a|b)?. FROM ( SELECT 1 as a, 2 as b, 3 as c )而TRANSFORM子句则提供 Hive 风格的 transform 查询通过 fork 并运行用户指定的命令或脚本对输入做变换。4.6 EXPLAIN观察查询计划Spark 提供EXPLAIN语句为给定语句生成逻辑/物理计划。默认仅输出物理计划语法为EXPLAIN [ EXTENDED | CODEGEN | COST | FORMATTED ] statementEXTENDED依次生成 Parsed Logical Plan未解析逻辑计划、Analyzed Logical Plan已解析并类型化、Optimized Logical Plan经优化规则集转换与 Physical Plan。CODEGEN生成语句对应的代码如有及物理计划。FORMATTED输出物理计划大纲与节点详情两个部分。COST当计划节点统计信息可用时输出逻辑计划与统计信息。典型输出默认模式EXPLAIN select k, sum(v) from values (1, 2), (1, 3) t(k, v) group by k; ---------------------------------------------------- | plan| ---------------------------------------------------- | Physical Plan *(2) HashAggregate(keys[k#33], functions[sum(cast(v#34 as bigint))]) - Exchange hashpartitioning(k#33, 200), true, [id#59] - *(1) HashAggregate(keys[k#33], functions[partial_sum(cast(v#34 as bigint))]) - *(1) LocalTableScan [k#33, v#34] ----------------------------------------------------可以看到sum被拆分为部分聚合partial_sum与最终聚合两段Exchange hashpartitioning承担了跨节点 Shuffle 职责——这正是分布式聚合在物理计划层面的体现。五、SQL 脚本语句过程化逻辑Spark SQL 提供 SQL 脚本SQL scripting能力用于在 SQL 中执行过程化逻辑。语法层面SqlBaseParser.g4 的singleCompoundStatement规则定义了BEGIN (NOT ATOMIC)? compoundBody? END的复合语句结构compoundStatement则覆盖了变量赋值、IF/WHILE/REPEAT/LOOP/FOR 循环、CASE、LEAVE/ITERATE 跳转、DECLARE 等过程化构造对应文档位于 control-flow 目录CASE多分支条件选择compound statementBEGIN...END 复合语句块FOR按查询结果或计数器循环IF条件分支ITERATE跳回循环开头继续迭代LEAVE跳出循环或语句块LOOP无条件循环REPEAT先执行后判断的循环WHILE先判断后执行的循环SQL 脚本可与DECLARE VARIABLE、SET VAR、EXECUTE IMMEDIATE组合在单个脚本内完成声明变量 → 循环遍历 → 动态执行的完整业务流程适合在spark-sqlCLI、JDBC/ODBC 或 Spark Connect 客户端中直接提交多语句脚本。六、辅助语句Auxiliary Statements辅助语句覆盖资源管理、缓存、元数据查看、会话配置管理、表统计与刷新等运维与调试能力共 30 条资源管理类ADD FILE、ADD JAR向执行器分发文件/依赖LIST FILE、LIST JAR列出已分发资源缓存类CACHE TABLE将表或查询结果缓存进内存支持LAZY与OPTIONSUNCACHE TABLE、CLEAR CACHE清除缓存REFRESH TABLE、REFRESH、REFRESH FUNCTION刷新缓存/函数元数据元数据查看类SHOW / DESCRIBE 系列DESCRIBE DATABASE、DESCRIBE FUNCTION、DESCRIBE QUERY、DESCRIBE TABLESHOW COLLATIONS、SHOW COLUMNS、SHOW CREATE TABLE、SHOW DATABASES、SHOW FUNCTIONS、SHOW PARTITIONS、SHOW TABLE EXTENDED、SHOW TABLES、SHOW TBLPROPERTIES、SHOW VIEWS配置与会话管理类SET、RESET查看/设置/重置 Spark 配置SET PATH管理 SQL 中未限定名称的解析搜索路径SET VAR给会话变量赋值统计与动态执行类ANALYZE TABLE收集表/列统计信息COMPUTE STATISTICS可指定列EXECUTE IMMEDIATE动态执行一条 SQL支持USING参数绑定语法文件中这些语句均有对应规则例如ANALYZE TABLE identifierReference partitionSpec? COMPUTE STATISTICS (simpleIdentifier | FOR COLUMNS identifierSeq | FOR ALL COLUMNS)?、SHOW TABLES ((FROM | IN) identifierReference)? (LIKE? patternstringLit)? (AS JSON)?、CACHE LAZY? TABLE ...、UNCACHE TABLE (IF EXISTS)? ...、CLEAR CACHE等展示了辅助语句在解析层如何被精确识别。七、使用建议与延伸阅读Spark SQL 的语法体系庞大但组织清晰DDL 管结构、DML 管数据、SELECT 管检索、SQL 脚本管过程逻辑、辅助语句管运维与调试。实际使用时建议先定位再细读不确定某条语句的写法时先按本文的五大分类找到对应子文档均在 docs 目录下再阅读其中的完整语法、参数表与示例。善用 EXPLAIN 调优对任何复杂查询先用EXPLAIN EXTENDED观察 Parsed → Analyzed → Optimized → Physical 四层计划确认过滤条件下推、连接策略、Shuffle 分布是否符合预期。关注语句间的组合CTE 窗口函数 QUALIFY、MERGE INTO 分区裁剪、CACHE TABLEREFRESH、变量声明 SQL 脚本循环这些组合能覆盖绝大多数数仓与数据湖上的典型场景。验证运行环境前提部分能力如WITH SCHEMA EVOLUTION、JSON 系列函数、SQL 脚本与数据源 connector 能力及 Spark 版本相关请以当前仓库 pom.xml 对应的版本行为为准。继续深入可阅读 SQL Reference 总入口其中按语法、数据类型、函数、错误条件等维度展开若想了解语法背后的解析与优化实现则可从 SqlBaseParser.g4 与 SparkSqlParser.scala 入手对照本文第一节梳理的解析链路逐条追踪。【免费下载链接】sparkApache Spark - A unified analytics engine for large-scale data processing项目地址: https://gitcode.com/gh_mirrors/sp/spark创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
Apache Spark SQL 语法全景指南从 DDL/DML 到数据检索、SQL 脚本与辅助语句【免费下载链接】sparkApache Spark - A unified analytics engine for large-scale data processing项目地址: https://gitcode.com/gh_mirrors/sp/sparkApache Spark SQL 是 Spark 生态中处理结构化数据的核心模块而 SQL 语法是其对外提供的最直接、最广泛使用的接口。本文以 Spark 官方文档中 SQL Syntax 总览 为主体骨架系统梳理 Spark SQL 支持的五类语句——DDL数据定义、DML数据操作、数据检索SELECT 与 EXPLAIN、SQL 脚本过程化逻辑以及辅助语句并结合仓库中的 ANTLR 语法文件与解析器源码讲清每类语句的定位、语法要点与底层解析机制。读完本文你将能快速定位任意一条 Spark SQL 语句的完整语法定义理解 Spark 如何将一条 SQL 文本逐步解析为可执行的逻辑计划与物理计划并据此编写规范、可高效执行的查询。一、从 SQL 语法文档到执行计划Spark 的解析链路在深入各类语句之前先理解 Spark 如何处理一条 SQL。整个 SQL 语法体系由两大部分承载语法定义仓库中 SqlBaseParser.g4 与 SqlBaseLexer.g4 是 ANTLR 4 文法文件其声明adapted from Prestos SqlBase.g4 grammar定义了从顶层compoundOrSingleStatement到每个具体语句的完整语法规则。解析实现SparkSqlParser.scala 继承AbstractSqlParser通过parsePlanWithParameters调用语法文件的compoundOrSingleStatement()入口将解析树交给SparkSqlAstBuilder转换为 Catalyst 的逻辑计划LogicalPlan若结果是CompoundPlanStatementSQL 脚本复合体则原样返回。从语法文件可以看到解析器内置了若干可配置的行为开关它们直接影响语句的解析语义语法文件成员开关含义关联配置SQL_standard_keyword_behavior为 true 时关键字遵循 ANSI SQL 标准spark.sql.parser.ansi.enabled配合 ANSI 模式double_quoted_identifiers为 true 时双引号内容按标识符而非字符串解析spark.sql.parser.escapedStringLiterals相关 ANSI 设置legacy_setops_precedence_enabled控制 INTERSECT 与 UNION/EXCEPT 的优先级false 时遵循 SQL 标准spark.sql.legacy.setopsPrecedence.enabledlegacy_identifier_clause_only控制IDENTIFIER(literal)的解析方式spark.sql.legacy.identifierClausesingle_character_pipe_operator_enabled是否允许单字符|作为 SQL 管道运算符管道语法开关顶层语法规则compoundOrSingleStatement由singleStatement或singleCompoundStatement组成后者即BEGIN (NOT ATOMIC)? compoundBody? END形式的 SQL 脚本复合语句。而singleStatement内部又分为dmlStatement、use、setCatalog、createTable、analyze、showTables、explain、cacheTable、loadData等数十条具体规则——这正是文档中五类语句在语法层面的映射。理解了这条文本 → 词法 → 语法树 → 逻辑计划 → 物理计划的链路后续阅读各类语句时就能知其然也知其所以然。二、DDL 语句定义与修改数据库对象结构Data Definition Statements 用于创建或修改数据库中数据库对象的结构。Spark SQL 支持以下 DDL 语句语句文档位置用途ALTER DATABASEsql-ref-syntax-ddl-alter-database.md修改数据库属性、位置ALTER TABLEsql-ref-syntax-ddl-alter-table.md修改表结构增删列、改分区、改属性等ALTER VIEWsql-ref-syntax-ddl-alter-view.md修改视图定义COMMENT ONsql-ref-syntax-ddl-comment.md为表/列添加注释CREATE DATABASEsql-ref-syntax-ddl-create-database.md创建数据库CREATE FUNCTION (External)sql-ref-syntax-ddl-create-function.md注册外部Hive UDF/UDTF/UDAF函数CREATE FUNCTION (SQL)sql-ref-syntax-ddl-create-sql-function.md创建 SQL 标量/表值函数CREATE TABLEsql-ref-syntax-ddl-create-table.md定义表入口页含三种子形态CREATE VIEWsql-ref-syntax-ddl-create-view.md创建视图DECLARE VARIABLEsql-ref-syntax-ddl-declare-variable.md声明会话级变量DROP DATABASEsql-ref-syntax-ddl-drop-database.md删除数据库DROP FUNCTIONsql-ref-syntax-ddl-drop-function.md删除函数DROP TABLEsql-ref-syntax-ddl-drop-table.md删除表DROP TEMPORARY VARIABLEsql-ref-syntax-ddl-drop-variable.md删除临时变量DROP VIEWsql-ref-syntax-ddl-drop-view.md删除视图REPAIR TABLEsql-ref-syntax-ddl-repair-table.md恢复/刷新表分区元数据TRUNCATE TABLEsql-ref-syntax-ddl-truncate-table.md清空表数据USE DATABASEsql-ref-syntax-ddl-usedb.md切换当前数据库2.1 CREATE TABLE三种建表形态CREATE TABLE的入口文档将其划分为三种形态CREATE TABLE USING DATA_SOURCE使用 DataSource 数据源如USING PARQUET、USING CSV建表可配合PARTITIONED BY、LOCATION、TBLPROPERTIES、OPTIONS等子句。CREATE TABLE USING HIVE FORMAT使用 Hive SerDe 格式建表STORED AS、ROW FORMAT等。CREATE TABLE LIKE以一张已有表为模板创建同构新表。语法层面SqlBaseParser.g4 中的createTableHeader (LEFT_PAREN tableElementList RIGHT_PAREN)? tableProvider? createTableClauses (AS? query)?规则完整刻画了建表语法其中AS? query即CREATE TABLE ... AS SELECTCTAS能力。与CREATE TABLE并列的还有replaceTableHeader对应的CREATE OR REPLACE TABLE。2.2 变量声明DECLARE / DROP TEMPORARY VARIABLE值得关注的是DECLARE VARIABLE与DROP TEMPORARY VARIABLE两条语句它们服务于 Spark 3.4 引入的 SQL 变量体系配合参数化查询与 SQL 脚本。语法文件中的declareVariable规则支持带DEFAULT值的变量声明。变量可进一步与文档中的 SET VAR、EXECUTE IMMEDIATE 配套使用构成会话内可编程的数据处理环境。三、DML 语句增、改、删数据Data Manipulation Statements 用于添加、变更或删除数据。Spark SQL 支持以下 DML 语句语句文档位置用途INSERT TABLEsql-ref-syntax-dml-insert-table.md向表插入或覆盖数据INSERT OVERWRITE DIRECTORYsql-ref-syntax-dml-insert-overwrite-directory.md将查询结果写入外部目录MERGE INTOsql-ref-syntax-dml-merge-into.md依据源数据对目标表执行插入/更新/删除LOADsql-ref-syntax-dml-load.md从文件路径加载数据到 Hive 表3.1 INSERT 的完整语法形态INSERT语句插入新行或覆盖表中已有数据插入行可由值表达式指定也可由查询结果产生。其语法如下INSERT [ WITH SCHEMA EVOLUTION ] [ INTO | OVERWRITE ] [ TABLE ] table_identifier [ partition_spec ] [ ( column_list ) | [BY NAME] ] { VALUES ( { value | NULL } [ , ... ] ) [ , ( ... ) ] | query } INSERT [ WITH SCHEMA EVOLUTION ] INTO [ TABLE ] table_identifier [ BY NAME ] REPLACE WHERE boolean_expression query关键参数解析WITH SCHEMA EVOLUTION允许本次 INSERT 依据源查询自动演进目标表 schema新增列、拓宽数据类型具体能力取决于底层 connector。partition_specPARTITION ( partition_col_name partition_col_val [ , ... ] )支持类型化字面量如date2019-01-02。column_list按列名将源查询列重排以匹配表 schema需注意所有列必须真实存在且不重复列数须与 VALUES/查询输出严格一致。BY NAME默认按位置匹配列与嵌套字段BY NAME改为按名称匹配允许源与目标列顺序不同。query可来源于 SELECT、Inline Table 或FROM语句。语法文件中对应的INSERT (OVERWRITE | INTO)? ...规则将INSERT INTO、INSERT OVERWRITE与INSERT OVERWRITE DIRECTORY含LOCAL、STORED AS等变体统一收纳。仓库中的使用示例与测试大量覆盖了INSERT INTO ... VALUES、INSERT OVERWRITE TABLE、INSERT OVERWRITE DIRECTORY三种形态例如在分区表students中插入单行CREATE TABLE students (name VARCHAR(64), address VARCHAR(64)) USING PARQUET PARTITIONED BY (student_id INT); INSERT INTO students VALUES (Amy Smith, 123 Park Ave, San Jose, 111111);3.2 MERGE INTO 与 LOADMERGE INTO以源表可通过USING子句指定含AS OF时态表驱动对目标表执行WHEN MATCHEDUPDATE/DELETE与WHEN NOT MATCHEDINSERT分支操作是湖仓场景 upsert 的标准手段。LOAD将本地或远程文件系统中的数据加载进 Hive 表支持LOAD DATA [LOCAL] INPATH ... INTO TABLE语法。四、数据检索语句SELECT 及其子句体系Spark 支持符合 ANSI SQL 标准的SELECT语句用于从一个或多个表中检索结果集。SELECT及其关联语句是 Spark SQL 使用频率最高、语法最丰富的部分完整定义见 SELECT。4.1 SELECT 整体语法[ WITH with_query [ , ... ] ] select_statement [ { UNION | INTERSECT | EXCEPT } [ ALL | DISTINCT ] select_statement, ... ] [ ORDER BY { expression [ ASC | DESC ] [ NULLS { FIRST | LAST } ] [ , ... ] } ] [ SORT BY { expression [ ASC | DESC ] [ NULLS { FIRST | LAST } ] [ , ... ] } ] [ CLUSTER BY { expression [ , ... ] } ] [ DISTRIBUTE BY { expression [, ... ] } ] [ WINDOW { named_window [ , WINDOW named_window, ... ] } ] [ LIMIT { ALL | expression } ]其中select_statement定义为SELECT [ hints , ... ] [ ALL | DISTINCT ] { [ [ named_expression | regex_column_names | star ] [ , ... ] | TRANSFORM (...) ] } FROM { from_item [ , ... ] } [ PIVOT clause ] [ UNPIVOT clause ] [ LATERAL VIEW clause ] [ ... ] [ WHERE boolean_expression ] [ GROUP BY expression [ , ... ] ] [ HAVING boolean_expression ] [ WINDOW clause ] [ QUALIFY boolean_expression ]4.2 核心子句速查语法元素语义要点with_query在主查询前声明 CTE便于抽象复用子查询块hints指导优化器做连接策略选择与数据重分区ALL/DISTINCT是否对结果去重ALL为默认named_expression带别名的表达式语法为expression [[AS] alias]star*选择 FROM 子句中一个或所有关系的列from_item输入来源表、JOIN、ASOF JOIN、PIVOT、UNPIVOT、表值函数、JSON_TABLE、内联表、UNNEST、子查询可 LATERAL、FileWHERE基于布尔表达式过滤 FROM 结果GROUP BY配合聚合函数MIN/MAX/COUNT/SUM/AVG 等分组聚合聚合函数后可挂FILTER子句只对匹配行聚合HAVING对 GROUP BY 产出行过滤无 GROUP BY 时表示全局聚合QUALIFY在窗口函数求值后过滤行SELECT 列表或 QUALIFY 条件中必须至少含一个窗口函数QUALIFY 内不允许聚合函数ORDER BY/SORT BY前者对整个结果集全局排序后者仅在每个分区内排序两者互斥CLUSTER BY/DISTRIBUTE BY前者等价于 DISTRIBUTE BY SORT BY重分区并排序后者仅重分区与 ORDER BY 互斥LIMIT限制返回的最大行数常与 ORDER BY 搭配产生确定性结果4.3 CTE公共表表达式CTE 定义一个临时结果集可在单条 SQL 语句作用域内被多次引用语法为WITH common_table_expression [ , ... ]其中common_table_expression定义为expression_name [ ( column_name [ , ... ] ) ] [ AS ] [ [ NOT ] MATERIALIZED ] ( query )MATERIALIZED/NOT MATERIALIZED允许用户显式提示优化器是否物化 CTE 结果这在重复引用同一子查询时可显著影响执行效率。4.4 窗口函数窗口函数基于一组行窗口计算每行的返回值适用于移动平均、累计统计、相对位置取值等场景。其语法为window_function [ nulls_option ] OVER ( [ { PARTITION | DISTRIBUTE } BY partition_col_name partition_col_val ( [ , ... ] ) ] { ORDER | SORT } BY expression [ ASC | DESC ] [ NULLS { FIRST | LAST } ] [ , ... ] [ window_frame ] )窗口函数类型排名类RANK | DENSE_RANK | PERCENT_RANK | NTILE | ROW_NUMBER、分析类CUME_DIST | LAG | LEAD | NTH_VALUE | FIRST_VALUE | LAST_VALUE、聚合类MAX | MIN | COUNT | SUM | AVG | ...。nulls_option{ IGNORE | RESPECT } NULLS默认RESPECT NULLS仅LAG/LEAD/NTH_VALUE/FIRST_VALUE/LAST_VALUE支持IGNORE NULLS。window_frame{ RANGE | ROWS } { frame_start | BETWEEN frame_start AND frame_end }帧端点可为UNBOUNDED PRECEDING | offset PRECEDING | CURRENT ROW | offset FOLLOWING | UNBOUNDED FOLLOWING省略frame_end时默认为CURRENT ROW。4.5 检索语法的完整清单SELECT 主文档 及其子页面覆盖了以下全部子句与构造Common Table ExpressionCLUSTER BY Clause、DISTRIBUTE BY ClauseGROUP BY Clause、HAVING ClauseHintsInline Table、UNNEST Clause、FileJOIN、ASOF JOINLIKE PredicateLIMIT Clause、OFFSET ClauseORDER BY Clause、SORT BY ClauseSet OperatorsTABLESAMPLETable-valued FunctionJSON_QUERY、JSON_ARRAY、JSON_TABLE、JSON_VALUE、JSON_EXISTSWHERE ClauseAggregate Function、Window FunctionCASE ClausePIVOT Clause、UNPIVOT ClauseLATERAL VIEW Clause、LATERAL SUBQUERYTRANSFORM Clausestar (*) Clause其中regex_column_names是 Spark 较有特色的能力当spark.sql.parser.quotedRegexColumnNames为 true 时SELECT 中用反引号包裹的标识符会被解释为正则表达式。例如下面这条语句只会取到列cSELECT (a|b)?. FROM ( SELECT 1 as a, 2 as b, 3 as c )而TRANSFORM子句则提供 Hive 风格的 transform 查询通过 fork 并运行用户指定的命令或脚本对输入做变换。4.6 EXPLAIN观察查询计划Spark 提供EXPLAIN语句为给定语句生成逻辑/物理计划。默认仅输出物理计划语法为EXPLAIN [ EXTENDED | CODEGEN | COST | FORMATTED ] statementEXTENDED依次生成 Parsed Logical Plan未解析逻辑计划、Analyzed Logical Plan已解析并类型化、Optimized Logical Plan经优化规则集转换与 Physical Plan。CODEGEN生成语句对应的代码如有及物理计划。FORMATTED输出物理计划大纲与节点详情两个部分。COST当计划节点统计信息可用时输出逻辑计划与统计信息。典型输出默认模式EXPLAIN select k, sum(v) from values (1, 2), (1, 3) t(k, v) group by k; ---------------------------------------------------- | plan| ---------------------------------------------------- | Physical Plan *(2) HashAggregate(keys[k#33], functions[sum(cast(v#34 as bigint))]) - Exchange hashpartitioning(k#33, 200), true, [id#59] - *(1) HashAggregate(keys[k#33], functions[partial_sum(cast(v#34 as bigint))]) - *(1) LocalTableScan [k#33, v#34] ----------------------------------------------------可以看到sum被拆分为部分聚合partial_sum与最终聚合两段Exchange hashpartitioning承担了跨节点 Shuffle 职责——这正是分布式聚合在物理计划层面的体现。五、SQL 脚本语句过程化逻辑Spark SQL 提供 SQL 脚本SQL scripting能力用于在 SQL 中执行过程化逻辑。语法层面SqlBaseParser.g4 的singleCompoundStatement规则定义了BEGIN (NOT ATOMIC)? compoundBody? END的复合语句结构compoundStatement则覆盖了变量赋值、IF/WHILE/REPEAT/LOOP/FOR 循环、CASE、LEAVE/ITERATE 跳转、DECLARE 等过程化构造对应文档位于 control-flow 目录CASE多分支条件选择compound statementBEGIN...END 复合语句块FOR按查询结果或计数器循环IF条件分支ITERATE跳回循环开头继续迭代LEAVE跳出循环或语句块LOOP无条件循环REPEAT先执行后判断的循环WHILE先判断后执行的循环SQL 脚本可与DECLARE VARIABLE、SET VAR、EXECUTE IMMEDIATE组合在单个脚本内完成声明变量 → 循环遍历 → 动态执行的完整业务流程适合在spark-sqlCLI、JDBC/ODBC 或 Spark Connect 客户端中直接提交多语句脚本。六、辅助语句Auxiliary Statements辅助语句覆盖资源管理、缓存、元数据查看、会话配置管理、表统计与刷新等运维与调试能力共 30 条资源管理类ADD FILE、ADD JAR向执行器分发文件/依赖LIST FILE、LIST JAR列出已分发资源缓存类CACHE TABLE将表或查询结果缓存进内存支持LAZY与OPTIONSUNCACHE TABLE、CLEAR CACHE清除缓存REFRESH TABLE、REFRESH、REFRESH FUNCTION刷新缓存/函数元数据元数据查看类SHOW / DESCRIBE 系列DESCRIBE DATABASE、DESCRIBE FUNCTION、DESCRIBE QUERY、DESCRIBE TABLESHOW COLLATIONS、SHOW COLUMNS、SHOW CREATE TABLE、SHOW DATABASES、SHOW FUNCTIONS、SHOW PARTITIONS、SHOW TABLE EXTENDED、SHOW TABLES、SHOW TBLPROPERTIES、SHOW VIEWS配置与会话管理类SET、RESET查看/设置/重置 Spark 配置SET PATH管理 SQL 中未限定名称的解析搜索路径SET VAR给会话变量赋值统计与动态执行类ANALYZE TABLE收集表/列统计信息COMPUTE STATISTICS可指定列EXECUTE IMMEDIATE动态执行一条 SQL支持USING参数绑定语法文件中这些语句均有对应规则例如ANALYZE TABLE identifierReference partitionSpec? COMPUTE STATISTICS (simpleIdentifier | FOR COLUMNS identifierSeq | FOR ALL COLUMNS)?、SHOW TABLES ((FROM | IN) identifierReference)? (LIKE? patternstringLit)? (AS JSON)?、CACHE LAZY? TABLE ...、UNCACHE TABLE (IF EXISTS)? ...、CLEAR CACHE等展示了辅助语句在解析层如何被精确识别。七、使用建议与延伸阅读Spark SQL 的语法体系庞大但组织清晰DDL 管结构、DML 管数据、SELECT 管检索、SQL 脚本管过程逻辑、辅助语句管运维与调试。实际使用时建议先定位再细读不确定某条语句的写法时先按本文的五大分类找到对应子文档均在 docs 目录下再阅读其中的完整语法、参数表与示例。善用 EXPLAIN 调优对任何复杂查询先用EXPLAIN EXTENDED观察 Parsed → Analyzed → Optimized → Physical 四层计划确认过滤条件下推、连接策略、Shuffle 分布是否符合预期。关注语句间的组合CTE 窗口函数 QUALIFY、MERGE INTO 分区裁剪、CACHE TABLEREFRESH、变量声明 SQL 脚本循环这些组合能覆盖绝大多数数仓与数据湖上的典型场景。验证运行环境前提部分能力如WITH SCHEMA EVOLUTION、JSON 系列函数、SQL 脚本与数据源 connector 能力及 Spark 版本相关请以当前仓库 pom.xml 对应的版本行为为准。继续深入可阅读 SQL Reference 总入口其中按语法、数据类型、函数、错误条件等维度展开若想了解语法背后的解析与优化实现则可从 SqlBaseParser.g4 与 SparkSqlParser.scala 入手对照本文第一节梳理的解析链路逐条追踪。【免费下载链接】sparkApache Spark - A unified analytics engine for large-scale data processing项目地址: https://gitcode.com/gh_mirrors/sp/spark创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
