您的位置:首页 > 财经 > 金融 > 公司展厅设计公司哪家好一点_磁力猫引擎_广州头条今日头条新闻_百度信息流代理

公司展厅设计公司哪家好一点_磁力猫引擎_广州头条今日头条新闻_百度信息流代理

2025/6/21 10:20:14 来源:https://blog.csdn.net/2502_90677941/article/details/147473379  浏览:    关键词:公司展厅设计公司哪家好一点_磁力猫引擎_广州头条今日头条新闻_百度信息流代理
公司展厅设计公司哪家好一点_磁力猫引擎_广州头条今日头条新闻_百度信息流代理

1. Kafka数据源的两种API对比

ReceiverAPI:在早期版本中使用,需专门的Executor接收数据再发送给其他Executor计算。由于接收和计算的Executor速度可能不同,当接收速度大于计算速度时,计算节点易出现内存溢出问题,当前版本已不适用。

 DirectAPI:由计算的Executor主动消费Kafka数据,速度可自行控制。

2. Kafka 0-10 Direct模式实践

需求:利用SparkStreaming从Kafka读取数据,进行简单计算后打印到控制台。

导入依赖:添加 org.apache.spark:spark - streaming - kafka - 0 - 10_2.12:3.0.0 依赖,为后续代码实现提供支持。

代码编写:创建SparkConf和StreamingContext,设置相关参数。定义Kafka参数,通过KafkaUtils.createDirectStream读取Kafka数据创建DStream,提取数据中的value部分,进行wordCount计算并打印结果,最后启动StreamingContext等待终止。

环境准备与操作流程:开启Kafka集群;使用 kafka - console - producer.sh 启动Kafka生产者并向指定topic发送数据;运行程序处理Kafka生产的数据;通过 kafka - consumer - groups.sh 查看消费进度,可了解数据消费情况。

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com