Spark集群部署实战：reference-apps生产环境spark-submit指南

Spark集群部署实战reference-apps生产环境spark-submit指南【免费下载链接】reference-appsSpark reference applications项目地址: https://gitcode.com/gh_mirrors/re/reference-apps本文是一份面向新手与运维/数据工程师的Spark集群部署实战指南以 Databricks 官方开源的 Spark reference applicationsreference-apps项目为教材手把手演示如何通过spark-submit将 Spark 作业提交到本地集群与生产集群。reference-apps 收录了日志分析、Twitter 流式语言分类、天气时间序列等完整参考应用覆盖批处理、Spark SQL、Spark Streaming 与 MLlib 全场景是你学习生产环境spark-submit 提交任务的最佳范例。读完本文你将掌握 spark-submit 核心参数、部署模式选型与常见故障排查思路。一、reference-apps 项目里有哪些可实战的 Spark 应用reference-apps 是 Spark 官方推荐的参考应用集合每个子项目都配有完整源码、构建脚本与运行说明非常适合新手对照学习。项目主要包含三大参考应用应用技术栈适合场景Logs Analyzer 日志分析Spark Core Spark SQL Spark Streaming监控 Apache 访问日志实时统计Twitter 语言分类器Spark MLlib Spark Streaming采集推文、训练模型、实时预测天气时间序列应用Spark Streaming Kafka Cassandra大规模时序数据的流式入库与聚合以日志分析应用为例它的 MVP 架构如下新日志文件进入指定目录后由 Spark Streaming 摄入并计算统计指标最终输出为定时刷新的 HTML 报表主类位于logs_analyzer/app/java8/src/main/java/com/databricks/apps/logs/LogAnalyzerAppMain.java。二、生产环境 spark-submit 必懂的 5 个核心参数spark-submit 是 Spark 官方提供的统一作业提交入口无论本地调试还是生产集群运行都靠它。掌握下面 5 个参数你就掌握了spark-submit 参数详解的 80%--class指定应用入口主类如com.databricks.apps.logs.LogAnalyzerAppMain这是提交任务的前提--master指定集群地址如local[*]、spark://YOUR_SPARK_MASTER或yarn决定作业跑在哪里--deploy-mode指定部署模式client模式在提交机运行 Drivercluster模式在集群内运行 Driver生产环境常选后者--conf注入运行配置如--conf spark.executor.memory4g --conf spark.executor.cores2是资源调优的主要手段--jars / --packages附加第三方依赖连接 Kafka、Cassandra 等外部系统时几乎必用。三、快速验证本地模式 spark-submit 提交第一个作业上手最快的路径是在本机用local[*]模式先跑通一个作业验证代码与环境无误。以第一章的 Scala 版 LogAnalyzer 为例参考logs_analyzer/chapter1/scala/README.md中的说明先执行sbt package打包再用 spark-submit 提交${YOUR_SPARK_HOME}/bin/spark-submit \ --class com.databricks.apps.logs.chapter1.LogAnalyzer \ --master local[*] \ target/scala-2.11/spark-logs-analyzer_2.11-2.0.jar \ ../../data/apache.access.log本地模式跑通后作业逻辑就无需再怀疑接下来只需把--master换成集群地址即可这也是Spark集群spark-submit配置中最重要的一步切换。四、生产集群部署standalone 模式提交日志分析应用进入生产环境后建议使用 Standalone 或 YARN 集群并给作业传入完整的业务参数。下面这段命令来自logs_analyzer/app/java8/README.md演示了如何把日志分析应用提交到生产集群并持续监听日志目录${YOUR_SPARK_HOME}/bin/spark-submit \ --class com.databricks.apps.logs.LogAnalyzerAppMain \ --master spark://YOUR_SPARK_MASTER \ target/uber-log-analyzer-2.0.jar \ --logs-directory /tmp/logs \ --output-html-file /tmp/log_stats.html \ --window-length 30 \ --slide-interval 5 \ --checkpoint-directory /tmp/log-analyzer-streaming这里--checkpoint-directory是流式应用的保命参数它保存应用状态与偏移量作业因故障重启后可以从断点恢复是生产环境spark-submit实战中不可省略的一环。运行后把新的 Apache 访问日志丢进--logs-directory目录打开--output-html-file指向的 HTML 页面即可看到实时统计结果。五、流式作业部署Kafka Spark Streaming Cassandra 生产方案如果业务对时效性要求高推荐参考时间序列天气应用timeseries/scala/timeseries-weather/的架构Kafka 负责日志与数据的缓冲削峰Spark Streaming 完成窗口计算与聚合Apache Cassandra 承担时序数据的存储与查询。三者通过 spark-submit 组合起来就形成了一条完整的实时数据管道如下图所示部署时注意两点一是尽量让 Spark 与 Cassandra 节点同机部署co-locate利用数据本地性减少网络开销、降低延迟二是提前用--jars引入 Kafka 与 Cassandra 连接器避免运行时才报 ClassNotFound。Twitter 分类器应用主类com.databricks.apps.twitter_classifier.ExamineAndTrain的提交方式与之类似可参考twitter_classifier/run_part2.md中的命令模板。六、spark-submit 提交任务失败的 4 个常见原因新手在生产环境用 spark-submit 提交任务最容易踩中以下四个坑主类找不到--class拼写或包名错误可先用jar tf 你的jar包.jar核对类全名依赖缺失外部连接器未打入 jar记得用--jars显式附加或构建 uber/assembly 包Driver 与 Executor 内存不足日志 OOM 时通过--conf spark.executor.memory与--conf spark.driver.memory调大内存检查点目录权限问题流式作业写入 HDFS 或本地目录失败先确认目录存在且用户有写权限。七、总结从local[*]本地验证到 Standalone/YARN 生产集群提交再到 Kafka Spark Streaming Cassandra 的流式管道reference-apps 项目几乎覆盖了 Spark 生产部署的全部典型场景。想动手实践的话执行git clone https://gitcode.com/gh_mirrors/re/reference-apps拉取项目参照各子目录 README 中现成的 spark-submit 命令把你的第一个 Spark 作业跑上生产集群吧【免费下载链接】reference-appsSpark reference applications项目地址: https://gitcode.com/gh_mirrors/re/reference-apps创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考