大数据处理之Dinky篇

发布时间:2026/9/12 16:21:35

大数据处理之Dinky篇 官网地址 Dinky 是一个开箱即用的一站式实时计算平台,以 Apache Flink 为基础,连接数据湖仓等众多框架,致力于流批一体和湖仓一体的建设与实践。一、安装部署1、linux单机安装Dinky1.1、下载 点击gitee下载地址比官网下载快10倍1.2、引入jar包阿里云仓库服务A、下载/拷贝对应版本flink的lib/*.jar到/juxin/dinky/lib/下 (log4j之类的包不要拷贝,不然会冲突)1. flink-table-runtime-1.19.3.jar2. flink-table-planner-loader-1.19.3.jar3. flink-table-api-java-uber-1.19.3.jar4. flink-scala_2.12-1.19.3.jar5. flink-json-1.19.3.jar6. flink-dist-1.19.3.jar7. flink-csv-1.19.3.jar8. flink-connector-files-1.19.3.jar9. flink-cep-1.19.3.jar提示:复制上述jar至dinky/lib目录时,**不要复制log4j相关jar包**,避免日志冲突。B、flink-table-runtime-1.19.3.jar、flink-table-planner-blink_2.11-1.93.jar没有这两个包会报错Caused by: java.lang.NoClassDefFoundError: org/apache/flink/table/planner/parse/ExtendedParserC、拷贝mysql-connector-j-8.0.33.jar包到/juxin/dinky-release-1.19-1.2.4/lib下1.3、配置文件修改 Dinky 配置文件,选择默认数据源为 mysqlcd /opt/dinky/config/vim application.yml# 修改 Dinky 所使用的数据库类型为 mysqlspring: application: name: Dinky profiles: # The h2 database is used by default. If you need to use other databases, please set the configuration active to: mysql, currently supports [mysql, pgsql, h2] # If you use mysql database, please configure mysql database connection information in application-mysql.yml # If you use pgsql database, please configure pgsql database connection information in application-pgsql.yml # If you use the h2 database, please configure the h2 database connection information in application-h2.yml, # note: the h2 database is only for experience use, and the related data that has been created cannot be migrated, please use it with cautionnbs
延伸阅读

更多相关文章

2026/9/8 22:21:01

TMS320C2xx DSP接口时序设计:从READY到串口通信的硬件实战

1. 项目概述与核心价值 如果你正在设计基于TMS320C2xx系列DSP的嵌入式系统,比如一个电机控制板、音频处理模块或者通信设备,那么你肯定遇到过这样的问题:电路板焊接好了,程序也烧录进去了,但系统就是跑不起来&#xff…

2026/9/8 6:18:22

TI AM273x高性能MCU:异构计算、功能安全与实时信号处理实战解析

1. 项目概述:为什么我们需要AM273x这样的高性能MCU?在工业自动化产线上,一个机械臂需要同时完成视觉识别、轨迹规划和多关节的实时伺服控制;在一辆智能汽车里,一颗前向雷达芯片要在毫秒级时间内处理海量的回波数据&…

2026/9/9 4:22:55

高清图源赋能大疆T40/T100植保作业:精准打药新实践

摘要:高清图源是提升大疆农业 T40/T100 植保无人机作业质量的关键。通过卫星影像等高清底图,无人机能够精准识别地块边界、区分作物长势,从而支撑变量喷洒与精准施药。这不仅能避免传统作业中的重喷、漏喷问题,还能依据作物密度差…

2026/9/12 20:36:02

Linux 监控:10+ 种监控方式、工具

主要要点 Linux监控对于确保工作负载的性能、安全性、可用性和合规性至关重要。使用htop、Netdata和Prometheus等工具来跟踪CPU、内存、磁盘I/O、网络活动以及整体系统健康状况。监控只是其中一半——与像KernelCare这样的无需重启的补丁解决方案结合使用,可以减少…

2026/9/12 20:36:02

艾思科蓝精选——2026年12月国际学术会议清单:人工智能/能源电力/机械电子等领域全覆盖,IEEE/ACM权威出版,双一流高校主办,线上线下同步,EI/Scopus检索稳定,硕博毕业/职称评审一次过

不少硕博生、青年教师在筹备论文发表时,都希望找到主办单位权威、检索稳定、覆盖学科广的国际学术会议。艾思科蓝整理推出2026 年 12 月国际学术会议清单,汇集人工智能、能源电力、机械电子等多领域会议,由双一流高校主办,支持 IE…

2026/9/12 2:05:33

超人会飞不算本事:系统稳定依赖清晰规则与边界设计

开头先不绕弯子。“#斯坦李吐槽dc 所以超人是无缘无故会飞的嘛哈哈哈哈哈哈哈锤哥真是技术人才啊!#雷神 #复联”这类调侃式短标题,第一波冲击力在于它把两个宇宙的角色塞进同一个吐槽箱里,但细想一下就能发现,它真正碰到的根本不是…

2026/9/12 3:55:12

超人VS蜘蛛侠:拆解超级IP的影响力与传播方法论

把“蜘蛛侠 vs 超人”放在 CSDN 上聊,可能很多人第一反应是走错片场了。但如果把这两个角色看成“两个持续运营了 80 多年的文化产品”,你会发现,这场比较本质上是两个不同 IP 策略的长期结果对比:超人赢在定义了整个超级英雄题材…

2026/9/12 10:09:03

基于CNN的调制信号识别:MATLAB实现时频图分类实战

简介:本资源是一套面向通信工程与信号处理方向学习者、研究者的深度学习实践方案,聚焦调制信号自动检测与识别这一典型无线通信任务,解决传统方法依赖人工特征、低信噪比下性能下降等痛点。压缩包共12个文件(10.73MB)&…

2026/9/12 0:04:17

MATLAB仿生优化框架:长鼻浣熊算法多策略融合实现

简介:本资源是一份面向智能优化算法研究者与MATLAB初学者的仿生智能算法实践代码包,聚焦于长鼻浣熊优化算法(COA)的多策略改进与性能验证。针对传统COA易陷局部最优、收敛精度不足等问题,作者融合Circle映射初始化提升…

2026/9/12 0:04:17

【JAVA毕设源码分享】基于 JavaWeb 的校园一卡通管理系统的设计与实现 基于 JavaWeb 的校园卡业务管理系统(程序+文档+代码讲解+一条龙定制)

博主介绍:✌️码农一枚 ,专注于大学生项目实战开发、讲解和毕业🚢文撰写修改等。全栈领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java、小程序技术领域和毕业项目实战 ✌️技术范围:&am…

2026/9/12 0:04:17

【JAVA毕设源码分享】基于 Java 的图书馆借阅管理平台的搭建与实现 基于 Java 的图书馆综合管理系统(程序+文档+代码讲解+一条龙定制)

博主介绍:✌️码农一枚 ,专注于大学生项目实战开发、讲解和毕业🚢文撰写修改等。全栈领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java、小程序技术领域和毕业项目实战 ✌️技术范围:&am…

2026/9/12 6:29:36

USB Type-C PCB布局分区设计:电源、高速信号与PD协议全攻略

做硬件这行,Type-C接口算是典型的“看着简单,做起来全坑”的东西。光引脚就24个,高低速信号、电源、控制线全部塞在一个小小的连接器里,如果PCB布局不做规划,打样回来基本就是“插上没反应”、“高速掉线”、“静电一打…

2026/9/12 14:32:17

系统编程学习原型如何补齐稳定性边界

系统编程学习原型如何补齐稳定性边界预算有限时&#xff0c;我先优化明显多余的复制&#xff0c;而不是猜测性地换容器。用借用传递只读数据通常就能减少分配&#xff1a; fn parse(line: &str) -> Result<Item, Error> { /* ... */ }用基准确认热点确实在分配&am…

2026/9/12 6:37:43

雨花区哪家财务公司代理记账比较好?

在雨花区&#xff0c;企业处理财税事务常常面临诸多挑战&#xff0c;选择一家靠谱的财务公司至关重要。湖南巨勤财务管理咨询有限公司就是本地正规实体财税服务机构&#xff0c;深耕本地工商财税行业多年&#xff0c;熟悉当地工商局、税务局最新政策与申报流程。主营公司注册、…

还想了解更多?直接咨询顾问

免费诊断 + 免费方案 + 透明报价。

全国咨询热线400-8866-253
免费获取方案
咨询二维码