1.Hadoop三大结构及其各自作用
HDFS 提供了分布式存储功能,确保数据的高可靠性和高吞吐量存储。
MapReduce 提供了分布式计算框架,通过并行处理大规模数据集,实现高效的数据处理。
YARN 提供了资源管理和任务调度功能,确保集群资源的高效利用和应用程序的顺利运行。
2.yarn的定义
YARN 是 Hadoop 的资源管理框架,它负责管理和调度集群中的计算资源,并为各种分布式应用程序提供资源分配和任务调度服务。
YARN 的设计目标是提高资源利用率、支持多种计算框架,并提供灵活的资源调度策略。
3.yarn的三大组件及各自作用
ResourceManager(RM):资源管理:决定资源分配。应用程序管理
NodeManager(NM):资源管理:监控节点上的资源使用情况,保证节点的稳定运行。
任务执行:负责启动和管理容器
日志管理:负责管理应用程序的日志文件,确保日志文件的存储和访问。
ApplicationMaster(AM):资源请求:向 ResourceManager 请求资源,获取足够的资源来运行应用程序的任务。
任务管理:负责启动和管理应用程序的任务,并确保任务的正常执行。
状态报告:汇报应用程序的运行状态和资源使用情况,进行资源调度和管理。