全局节点状态数组和几个与分配相关的全局变量。它们是内核内存管理初始化阶段的基础设施。逐块拆解。一、node_states[NR_NODE_STATES]—— 节点状态数组nodemask_t node_states[NR_NODE_STATES] __read_mostly { [N_POSSIBLE] NODE_MASK_ALL, [N_ONLINE] { { [0] 1UL } }, #ifndef CONFIG_NUMA [N_NORMAL_MEMORY] { { [0] 1UL } }, #ifdef CONFIG_HIGHMEM [N_HIGH_MEMORY] { { [0] 1UL } }, #endif [N_MEMORY] { { [0] 1UL } }, [N_CPU] { { [0] 1UL } }, #endif /* NUMA */ }; EXPORT_SYMBOL(node_states);1. 类型nodemask_tnodemask_t是节点位图每个 bit 对应一个 NUMA 节点。类似于cpumask_t之于 CPUnodemask_t描述哪些节点属于某个集合。通常定义为struct { DECLARE_BITMAP(bits, MAX_NUMNODES); }。2. 数组维度NR_NODE_STATESnode_states[]是按状态索引的数组每个元素是一个节点位图表示处于该状态的节点集合。NR_NODE_STATES是状态总数状态枚举通常包括状态含义N_POSSIBLE系统可能存在的节点由固件/ACPI 报告N_ONLINE已经上线的节点N_NORMAL_MEMORY有普通内存ZONE_NORMAL的节点N_HIGH_MEMORY有高端内存ZONE_HIGHMEM的节点N_MEMORY有任何可管理内存的节点N_CPU有CPU的节点具体枚举在include/linux/nodemask.h。3. 初始化值[N_POSSIBLE] NODE_MASK_ALL,NODE_MASK_ALL所有位都置 1表示所有可能的节点都可能存在。这是最宽松的初始假设后续启动过程中根据实际探测收紧例如node_set_online()、node_set_state()。[N_ONLINE] { { [0] 1UL } },只把节点 0置位[0] 1UL表示位图第一个unsigned long的第 0 位为 1。即初始只有节点 0 在线。后续启动时内核探测到其他节点再逐个node_set_online()。4.#ifndef CONFIG_NUMA分支——非 NUMA 系统的简化在非 NUMA单节点系统上这些状态都指向节点 0[N_NORMAL_MEMORY] { { [0] 1UL } }, #ifdef CONFIG_HIGHMEM [N_HIGH_MEMORY] { { [0] 1UL } }, #endif [N_MEMORY] { { [0] 1UL } }, [N_CPU] { { [0] 1UL } },非 NUMA 下只有一个节点node 0所以有普通内存、有高端内存、有内存、有 CPU都指 node 0。CONFIG_HIGHMEM只在某些 32 位架构如 x86_32存在所以N_HIGH_MEMORY有条件编译。NUMA 系统下这些状态不在这里初始化而是在启动时根据实际拓扑用node_set_state()动态设置。5.__read_mostly告诉内核这个变量读多写少应放在.data..read_mostly段。好处与经常写的变量分开减少 cache line 伪共享提高读性能。节点状态确实如此启动时设置运行期几乎只读。6.EXPORT_SYMBOL(node_states)导出给模块模块可以用node_state(node, state)等宏查询。7. 典型使用/* 遍历所有在线节点 */ for_each_node_state(n, N_ONLINE) { ... } /* 遍历有内存的节点 */ for_each_node_state(n, N_MEMORY) { ... } /* 查询某节点是否有 CPU */ if (node_state(n, N_CPU)) { ... }分配器如__alloc_pages选择节点、zone 时会用到这些状态。二、gfp_allowed_mask—— 全局 GFP 允许掩码gfp_t gfp_allowed_mask __read_mostly GFP_BOOT_MASK;1. 作用一个全局的 GFP 标志掩码用于在启动阶段限制哪些 GFP 标志可用。分配时实际使用的标志会被gfp_allowed_mask按位与gfp gfp_allowed_mask;或类似逻辑确保不会使用当前阶段还不允许的标志。2. 为什么需要它启动早期很多子系统还没初始化好不能睡眠调度器/中断未就绪不能做内存回收kswapd/vmscan 未就绪不能做直接回收、规整、OOM 等。GFP_BOOT_MASK就是启动阶段允许的标志集合去掉那些依赖未就绪子系统的标志如__GFP_DIRECT_RECLAIM、__GFP_KSWAPD_RECLAIM、__GFP_NOFAIL等。随着初始化推进通过set_gfp_allowed_mask()逐步放宽最终变成GFP_KERNEL等完整标志。3. 典型流程/* 启动早期 */ gfp_allowed_mask GFP_BOOT_MASK; /* 某个初始化节点后放宽 */ set_gfp_allowed_mask(__GFP_DIRECT_RECLAIM | __GFP_KSWAPD_RECLAIM | ...);__read_mostly启动后基本只读。全局单一变量非 per-CPU。三、pageblock_order—— 可变页块阶数#ifdef CONFIG_HUGETLB_PAGE_SIZE_VARIABLE unsigned int pageblock_order __read_mostly; #endif1. 什么是 pageblockpageblock是伙伴系统之上、用于反碎片anti-fragmentation的页块粒度。页块的迁移类型migratetype按 pageblock 设置set_pageblock_migratetype()。内存规整compaction、CMA 等也以 pageblock 为单位。2.pageblock_order的含义表示一个 pageblock 是2^pageblock_order 个页。默认!CONFIG_HUGETLB_PAGE_SIZE_VARIABLE通常是编译期常量#define pageblock_order min(HUGETLB_PAGE_ORDER, MAX_ORDER - 1)即取大页阶数和伙伴系统最大阶减一的较小值保证 pageblock 至少能容纳一个大页。3.CONFIG_HUGETLB_PAGE_SIZE_VARIABLE某些架构如PPC64支持多种大页尺寸大页的阶数在运行时才知道取决于实际配置/硬件。这时pageblock_order不能是编译期常量必须是一个运行期变量在启动时根据实际大页尺寸设定。所以该配置开启时pageblock_order被定义为unsigned int __read_mostly而非宏。4.__read_mostly启动时确定运行期只读。与node_states、gfp_allowed_mask一样放在 read-mostly 段。5. 典型使用/* 一个 pageblock 的页数 */ 1UL pageblock_order /* 计算 PFN 所属 pageblock 的起始 PFN */ pfn ~((1UL pageblock_order) - 1) /* 判断是否对齐到 pageblock */ IS_ALIGNED(pfn, 1 pageblock_order)四、三个变量的共性变量类型作用写入时机node_statesnodemask_t[]各状态下的节点集合启动初始化 热插拔gfp_allowed_maskgfp_t启动阶段允许的 GFP 标志启动逐步放宽pageblock_orderunsigned int条件pageblock 的阶数启动根据大页尺寸设定共同点都是全局、启动时确定、运行期几乎只读都用__read_mostlynode_states显式标注另两个也是都服务于分配器的初始化与约束。五、小结代码含义node_states[NR_NODE_STATES]按状态索引的节点位图数组描述哪些节点可能/在线/有内存/有 CPUN_POSSIBLE NODE_MASK_ALL初始假设所有节点都可能存在N_ONLINE {[0]1}初始只有节点 0 在线#ifndef CONFIG_NUMA分支非 NUMA 下所有状态都指向节点 0EXPORT_SYMBOL(node_states)导出给模块gfp_allowed_mask启动阶段允许的 GFP 标志掩码初始GFP_BOOT_MASK逐步放宽pageblock_order条件大页尺寸可变时的 pageblock 阶数运行期变量而非宏一句话总结node_states以位图数组形式记录各状态下可能/在线/有内存/有 CPU的 NUMA 节点集合初始只让节点 0 在线、其余按启动探测填充gfp_allowed_mask在启动早期限制可用 GFP 标志并随初始化逐步放宽pageblock_order在大页尺寸可变的架构上是运行期变量决定 pageblock 的阶数——三者都是启动确定、运行期只读的分配器基础设施。
全局节点状态数组和几个与分配相关的全局变量。它们是内核内存管理初始化阶段的基础设施。逐块拆解。一、node_states[NR_NODE_STATES]—— 节点状态数组nodemask_t node_states[NR_NODE_STATES] __read_mostly { [N_POSSIBLE] NODE_MASK_ALL, [N_ONLINE] { { [0] 1UL } }, #ifndef CONFIG_NUMA [N_NORMAL_MEMORY] { { [0] 1UL } }, #ifdef CONFIG_HIGHMEM [N_HIGH_MEMORY] { { [0] 1UL } }, #endif [N_MEMORY] { { [0] 1UL } }, [N_CPU] { { [0] 1UL } }, #endif /* NUMA */ }; EXPORT_SYMBOL(node_states);1. 类型nodemask_tnodemask_t是节点位图每个 bit 对应一个 NUMA 节点。类似于cpumask_t之于 CPUnodemask_t描述哪些节点属于某个集合。通常定义为struct { DECLARE_BITMAP(bits, MAX_NUMNODES); }。2. 数组维度NR_NODE_STATESnode_states[]是按状态索引的数组每个元素是一个节点位图表示处于该状态的节点集合。NR_NODE_STATES是状态总数状态枚举通常包括状态含义N_POSSIBLE系统可能存在的节点由固件/ACPI 报告N_ONLINE已经上线的节点N_NORMAL_MEMORY有普通内存ZONE_NORMAL的节点N_HIGH_MEMORY有高端内存ZONE_HIGHMEM的节点N_MEMORY有任何可管理内存的节点N_CPU有CPU的节点具体枚举在include/linux/nodemask.h。3. 初始化值[N_POSSIBLE] NODE_MASK_ALL,NODE_MASK_ALL所有位都置 1表示所有可能的节点都可能存在。这是最宽松的初始假设后续启动过程中根据实际探测收紧例如node_set_online()、node_set_state()。[N_ONLINE] { { [0] 1UL } },只把节点 0置位[0] 1UL表示位图第一个unsigned long的第 0 位为 1。即初始只有节点 0 在线。后续启动时内核探测到其他节点再逐个node_set_online()。4.#ifndef CONFIG_NUMA分支——非 NUMA 系统的简化在非 NUMA单节点系统上这些状态都指向节点 0[N_NORMAL_MEMORY] { { [0] 1UL } }, #ifdef CONFIG_HIGHMEM [N_HIGH_MEMORY] { { [0] 1UL } }, #endif [N_MEMORY] { { [0] 1UL } }, [N_CPU] { { [0] 1UL } },非 NUMA 下只有一个节点node 0所以有普通内存、有高端内存、有内存、有 CPU都指 node 0。CONFIG_HIGHMEM只在某些 32 位架构如 x86_32存在所以N_HIGH_MEMORY有条件编译。NUMA 系统下这些状态不在这里初始化而是在启动时根据实际拓扑用node_set_state()动态设置。5.__read_mostly告诉内核这个变量读多写少应放在.data..read_mostly段。好处与经常写的变量分开减少 cache line 伪共享提高读性能。节点状态确实如此启动时设置运行期几乎只读。6.EXPORT_SYMBOL(node_states)导出给模块模块可以用node_state(node, state)等宏查询。7. 典型使用/* 遍历所有在线节点 */ for_each_node_state(n, N_ONLINE) { ... } /* 遍历有内存的节点 */ for_each_node_state(n, N_MEMORY) { ... } /* 查询某节点是否有 CPU */ if (node_state(n, N_CPU)) { ... }分配器如__alloc_pages选择节点、zone 时会用到这些状态。二、gfp_allowed_mask—— 全局 GFP 允许掩码gfp_t gfp_allowed_mask __read_mostly GFP_BOOT_MASK;1. 作用一个全局的 GFP 标志掩码用于在启动阶段限制哪些 GFP 标志可用。分配时实际使用的标志会被gfp_allowed_mask按位与gfp gfp_allowed_mask;或类似逻辑确保不会使用当前阶段还不允许的标志。2. 为什么需要它启动早期很多子系统还没初始化好不能睡眠调度器/中断未就绪不能做内存回收kswapd/vmscan 未就绪不能做直接回收、规整、OOM 等。GFP_BOOT_MASK就是启动阶段允许的标志集合去掉那些依赖未就绪子系统的标志如__GFP_DIRECT_RECLAIM、__GFP_KSWAPD_RECLAIM、__GFP_NOFAIL等。随着初始化推进通过set_gfp_allowed_mask()逐步放宽最终变成GFP_KERNEL等完整标志。3. 典型流程/* 启动早期 */ gfp_allowed_mask GFP_BOOT_MASK; /* 某个初始化节点后放宽 */ set_gfp_allowed_mask(__GFP_DIRECT_RECLAIM | __GFP_KSWAPD_RECLAIM | ...);__read_mostly启动后基本只读。全局单一变量非 per-CPU。三、pageblock_order—— 可变页块阶数#ifdef CONFIG_HUGETLB_PAGE_SIZE_VARIABLE unsigned int pageblock_order __read_mostly; #endif1. 什么是 pageblockpageblock是伙伴系统之上、用于反碎片anti-fragmentation的页块粒度。页块的迁移类型migratetype按 pageblock 设置set_pageblock_migratetype()。内存规整compaction、CMA 等也以 pageblock 为单位。2.pageblock_order的含义表示一个 pageblock 是2^pageblock_order 个页。默认!CONFIG_HUGETLB_PAGE_SIZE_VARIABLE通常是编译期常量#define pageblock_order min(HUGETLB_PAGE_ORDER, MAX_ORDER - 1)即取大页阶数和伙伴系统最大阶减一的较小值保证 pageblock 至少能容纳一个大页。3.CONFIG_HUGETLB_PAGE_SIZE_VARIABLE某些架构如PPC64支持多种大页尺寸大页的阶数在运行时才知道取决于实际配置/硬件。这时pageblock_order不能是编译期常量必须是一个运行期变量在启动时根据实际大页尺寸设定。所以该配置开启时pageblock_order被定义为unsigned int __read_mostly而非宏。4.__read_mostly启动时确定运行期只读。与node_states、gfp_allowed_mask一样放在 read-mostly 段。5. 典型使用/* 一个 pageblock 的页数 */ 1UL pageblock_order /* 计算 PFN 所属 pageblock 的起始 PFN */ pfn ~((1UL pageblock_order) - 1) /* 判断是否对齐到 pageblock */ IS_ALIGNED(pfn, 1 pageblock_order)四、三个变量的共性变量类型作用写入时机node_statesnodemask_t[]各状态下的节点集合启动初始化 热插拔gfp_allowed_maskgfp_t启动阶段允许的 GFP 标志启动逐步放宽pageblock_orderunsigned int条件pageblock 的阶数启动根据大页尺寸设定共同点都是全局、启动时确定、运行期几乎只读都用__read_mostlynode_states显式标注另两个也是都服务于分配器的初始化与约束。五、小结代码含义node_states[NR_NODE_STATES]按状态索引的节点位图数组描述哪些节点可能/在线/有内存/有 CPUN_POSSIBLE NODE_MASK_ALL初始假设所有节点都可能存在N_ONLINE {[0]1}初始只有节点 0 在线#ifndef CONFIG_NUMA分支非 NUMA 下所有状态都指向节点 0EXPORT_SYMBOL(node_states)导出给模块gfp_allowed_mask启动阶段允许的 GFP 标志掩码初始GFP_BOOT_MASK逐步放宽pageblock_order条件大页尺寸可变时的 pageblock 阶数运行期变量而非宏一句话总结node_states以位图数组形式记录各状态下可能/在线/有内存/有 CPU的 NUMA 节点集合初始只让节点 0 在线、其余按启动探测填充gfp_allowed_mask在启动早期限制可用 GFP 标志并随初始化逐步放宽pageblock_order在大页尺寸可变的架构上是运行期变量决定 pageblock 的阶数——三者都是启动确定、运行期只读的分配器基础设施。
