10分钟上手flink-on-k8s-operator：从部署到提交Flink作业的终极教程

10分钟上手flink-on-k8s-operator从部署到提交Flink作业的终极教程【免费下载链接】flink-on-k8s-operator[DEPRECATED] Kubernetes operator for managing the lifecycle of Apache Flink and Beam applications.项目地址: https://gitcode.com/gh_mirrors/fli/flink-on-k8s-operatorflink-on-k8s-operator是一款强大的Kubernetes operator专为简化Apache Flink和Beam应用的生命周期管理而设计。本教程将带你快速掌握从部署operator到提交Flink作业的完整流程让你在10分钟内轻松上手这个高效工具。 准备工作部署前的必备条件在开始部署flink-on-k8s-operator之前请确保你的环境满足以下要求一个运行中的Kubernetes集群可通过以下命令验证集群状态kubectl cluster-info安装kubectl v1.14和go v1.12工具用于执行部署脚本和构建操作克隆项目仓库到本地git clone https://gitcode.com/gh_mirrors/fli/flink-on-k8s-operator⚡ 快速部署两种简单方法任选flink-on-k8s-operator提供了两种便捷的部署方式你可以根据自己的需求选择方法一使用Make命令一键部署在项目根目录下执行以下命令即可完成部署make deploy如果需要自定义部署参数可以使用以下命令格式make deploy \ [IMGoperator-image] \ [FLINK_OPERATOR_NAMESPACEnamespace-to-deploy-operator] \ [RESOURCE_PREFIXkuberntes-resource-name-prefix] \ [WATCH_NAMESPACEnamespace-to-watch]方法二使用Helm Chart部署如果你更熟悉Helm可以通过Helm Chart进行部署详细步骤请参考Helm Chart安装指南。✅ 验证部署确认operator正常运行部署完成后执行以下命令验证CRD是否创建成功kubectl get crds | grep flinkclusters.flinkoperator.k8s.io查看operator部署状态kubectl get deployments -n flink-operator-system确认operator Pod正在运行kubectl get pods -n flink-operator-system查看operator日志确认启动成功kubectl logs -n flink-operator-system -l appflink-operator --all-containers成功启动后你应该能看到类似以下的日志信息INFO setup Starting manager INFO controller-runtime.certwatcher Starting certificate watcher INFO controller-runtime.controller Starting workers {controller: flinkcluster, worker count: 1} 创建示例Flink集群体验operator功能部署完成后我们可以创建示例Flink集群来体验operator的功能。创建Flink会话集群执行以下命令创建一个会话集群kubectl apply -f config/samples/flinkoperator_v1beta1_flinksessioncluster.yaml验证集群是否创建成功kubectl get pods,svc -n default | grep flinksessioncluster创建Flink作业集群执行以下命令创建一个作业集群kubectl apply -f config/samples/flinkoperator_v1beta1_flinkjobcluster.yaml验证集群是否创建成功kubectl get pods,svc -n default | grep flinkjobcluster 提交Flink作业三种方式详解flink-on-k8s-operator提供了多种方式提交Flink作业满足不同场景需求方式一通过Flink Web UI提交首先创建到JobManager的端口转发kubectl port-forward svc/[FLINK_CLUSTER_NAME]-jobmanager 8081:8081然后在浏览器中访问http://localhost:8081通过Flink Web UI提交作业。方式二从集群内部提交创建一个提交作业的Jobcat EOF | kubectl apply --filename - apiVersion: batch/v1 kind: Job metadata: name: my-job-submitter spec: template: spec: containers: - name: wordcount image: flink:1.8.1 args: - /opt/flink/bin/flink - run - -m - flinksessioncluster-sample-jobmanager:8081 - /opt/flink/examples/batch/WordCount.jar - --input - /opt/flink/README.txt restartPolicy: Never EOF方式三从集群外部提交如果JobManager的访问范围配置为External或VPC可以直接从外部提交flink run -m jobmanager-service-ip:8081 \ examples/batch/WordCount.jar --input /opt/flink/README.txt如果访问范围是默认的Cluster需要先创建端口转发kubectl port-forward service/flinksessioncluster-sample-jobmanager 8081:8081然后通过本地端口提交作业flink run -m localhost:8081 \ examples/batch/WordCount.jar --input ./README.txt 监控与管理掌握集群状态监控operator查看operator日志kubectl logs -n flink-operator-system -l appflink-operator --all-containers -f --tail1000监控Flink集群查看Flink集群自定义资源kubectl get flinkclusters查看集群详细状态kubectl describe flinkclusters CLUSTER-NAME监控Flink作业查看作业提交状态和日志kubectl describe jobs CLUSTER-NAME-job-submitter kubectl logs jobs/CLUSTER-NAME-job-submitter -f️ 清理资源删除集群和operator删除Flink集群kubectl delete flinkclusters name卸载operatormake undeploy [FLINK_OPERATOR_NAMESPACEnamespace] 进阶技巧充分利用operator功能flink-on-k8s-operator提供了许多高级功能帮助你更好地管理Flink集群和作业部署多个operator实例在多租户环境中可以为每个命名空间部署专用的operatormake deploy \ IMGoperator-image \ FLINK_OPERATOR_NAMESPACEnamespace-to-deploy-operator \ RESOURCE_PREFIXkuberntes-resource-name-prefix \ WATCH_NAMESPACEnamespace-to-watch取消运行中的Flink作业通过添加注解取消作业kubectl annotate flinkclusters CLUSTER-NAME flinkclusters.flinkoperator.k8s.io/user-controljob-cancel使用Prometheus监控创建带指标导出器的Flink集群和PodMonitorkubectl apply -f examples/prometheus/flink_metric_cluster.yaml kubectl apply -f examples/prometheus/pod-monitor.yaml管理savepoints关于如何使用operator管理savepoints的详细信息请参考savepoints指南。更新Flink集群和作业创建初始作业kubectl apply -f examples/update/wordcount-1.9.2.yaml更新到新版本kubectl apply -f examples/update/wordcount-1.9.3.yaml查看更新历史kubectl get controllerrevision kubectl get controllerrevision REVISION-NAME -o yaml通过本教程你已经掌握了flink-on-k8s-operator的基本使用方法。这个强大的工具能够大大简化Flink应用在Kubernetes上的部署和管理流程提高你的工作效率。如需了解更多详细信息请查阅项目的官方文档。【免费下载链接】flink-on-k8s-operator[DEPRECATED] Kubernetes operator for managing the lifecycle of Apache Flink and Beam applications.项目地址: https://gitcode.com/gh_mirrors/fli/flink-on-k8s-operator创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考