简介面向数据库运维与架构人员的中高级实操文档聚焦在 Red Hat Enterprise Linux 7.6 上部署 Oracle 19c RAC 的完整流程重点讲解 GNS 配置与 SCAN 实现并延伸介绍 Flex ASM 及 12.2 之后 Standalone Cluster 与 Domain Service Cluster 两种集群模式的差异。内容从 OS 环境检查、关闭 THP 与开启 Hugepages、软件包安装、内核参数配置到固定网络与 GNS 混合配置、时钟同步等环节逐项展开同时给出问题排查与分析方法适合需要搭建测试环境或对照生产部署的读者参考。资源包共 1 个 docx 文件约 160KB以图文步骤与配置说明为主目录层级清晰便于按章节定位查阅。已有 718 人学习下载可作为 19c RAC 安装与 GNS 配置的案头手册使用。1. 装 Oracle 19c RAC 前先把 Linux 7.6 这五件事钉死上周帮一个朋友救火两节点 RAC 装到 73% 卡在 root.sh日志里全是 ASM 磁盘权限和 THP 的报错最后只能删库重来。Oracle 19c RAC on Linux 7.6 这套环境在企业里太常见了但装不好就是反复重装、反复踩坑。这篇笔记按我实际装机的顺序走先查 OS 环境再关 THP 开 Hugepages装软件包、调内核参数配网络和 GNS最后跑 gridSetup.sh 和 dbca。适合第一次装 19c RAC 的开发者照着走也适合熟手对照版本差异和参数取舍。下面每一步都带命令和参数说明装坏了怎么救也写进去了。2. 环境检查与系统准备从 OS 版本到 Hugepages 的落地顺序装 RAC 最怕的不是命令多而是顺序错。我一般先把 OS 环境检查做完再动任何配置因为后面所有参数都依赖当前内核和内存的实际值。这一章把检查、THP 关闭、Hugepages 开启、软件包安装、内核参数配置串成一条线每一步都给出可抄的命令。2.1 OS 环境检查五个硬指标先过一遍项目要求里列得很清楚RAM 至少 8G运行级别 3 或 5Linux 版本要 Oracle Linux 7.4 以上或 Red Hat Enterprise Linux 7.4 以上/tmp 至少 1Gswap 按内存大小分档。我习惯一次性把检查命令跑完把输出贴到记事本里备查。# 内存总量单位 KB至少 8G 即 8388608 KB grep MemTotal /proc/meminfo # 运行级别必须是 3 或 5 runlevel # 内核版本和架构 uname -mr # 发行版版本 cat /etc/redhat-release # /tmp 空间至少 1G df -h /tmp # swap 大小 grep SwapTotal /proc/meminfo # /dev/shm 挂载类型和权限 df -h /dev/shm # 软件空间grid 至少 12GOracle 至少 10G建议预留 100G df -h /u01这里有个容易忽略的点swap 的算法是 4G 到 16G 之间等于 RAM超过 16G 就固定 16G但如果启用了 Huge Page计算 swap 时要减去分配给 HugePage 的内存。我见过有人内存 64G、Hugepages 分了 32Gswap 还按 16G 配结果系统启动时内存核算对不上。另外 19c 开始 GIMR 在 standalone 安装时变成可选项如果装 Domain Services Cluster 要配 GIMR大页面会被 GIMR 的 SGA 占用 1G这个要提前算进 hugepages 里。2.2 关闭 THP 并开启 Hugepages两个参数决定后面稳不稳透明大页面THP是 RAC 安装里最经典的翻车点之一。先看当前状态# 查看 THP 是否开启输出里带方括号的是当前生效值 cat /sys/kernel/mm/transparent_hugepage/enabled # 典型输出[always] madvise never # 查看 THP 碎片整理功能 cat /sys/kernel/mm/transparent_hugepage/defrag如果显示[always]说明 THP 开着必须关。做法是把transparent_hugepagenever追加到 GRUB_CMDLINE_LINUX 后面# 编辑 grub 配置在 GRUB_CMDLINE_LINUX 末尾追加参数 vi /etc/default/grub # 修改后类似 # GRUB_CMDLINE_LINUXrd.lvm.lvrhel/root rd.lvm.lvrhel/swap ... transparent_hugepagenever # 先备份 grub.cfg cp /boot/grub2/grub.cfg /boot/grub2/grub.cfg.bak # BIOS 机器重建 grub.cfg grub2-mkconfig -o /boot/grub2/grub.cfg # UEFI 机器用这条 grub2-mkconfig -o /boot/efi/EFI/redhat/grub.cfg # 重启生效 shutdown -r now # 验证内核参数 cat /proc/cmdline参数说明transparent_hugepagenever是内核启动参数写在 GRUB_CMDLINE_LINUX 里才会在每次启动时生效直接改/sys下的文件重启就丢。grub2-mkconfig -o的-o指定输出文件BIOS 和 UEFI 路径不同写错会导致启动项没更新重启后参数还在老状态这是血泪经验。THP 关掉后开 Hugepages。先算需要多少页假设 Oracle SGA 计划 8G页大小默认 2M就是 4096 页再留点余量。# 设置大页数量按 SGA 大小除以 2M 再留余量 vi /etc/sysctl.conf # 加入 vm.nr_hugepages 4200 # 使配置生效 sysctl -p # 验证 grep HugePages /proc/meminfo同时要放开 oracle 用户的内存锁定限制否则大页分配会失败# 编辑 limits.confmemlock 单位是 KB要大于等于大页总内存 vi /etc/security/limits.conf # 加入 oracle soft memlock 9437184 oracle hard memlock 9437184memlock的值按大页总字节数算4200 页乘 2M 约 8.4G换算成 KB 约 8808038我一般给到 94371849G留余量。这里有个坑limits.conf 改完要重新登录 oracle 用户才生效装库前用ulimit -l确认一下。2.3 安装软件包RHEL 7 的清单和 preinstall RPM 两条路软件包分两块。第一块是 RHEL 7 的基础包项目里列了一长串我按用途归类编译工具链gcc、make、binutils、兼容库compat-libcap1、compat-libstdc、开发库glibc-devel、libaio-devel、libstdc-devel、图形库libX11、libXau、libXi、libXtst、libXrender、libXrender-devel、libxcb、RAC 专用net-tools、nfs-utils、ACFS 远程相关python、python-configshell、python-rtslib、python-six、targetcli、监控smartmontools、sysstat。一次性装完# 基础包批量安装缺一个都可能让 runInstaller 报 prereq 失败 yum install -y openssh bc binutils compat-libcap1 compat-libstdc \ elfutils-libelf elfutils-libelf-devel fontconfig-devel glibc glibc-devel \ ksh libaio libaio-devel libX11 libXau libXi libXtst libXrender \ libXrender-devel libgcc librdmacm-devel libstdc libstdc-devel \ libxcb make net-tools nfs-utils python python-configshell python-rtslib \ python-six targetcli smartmontools sysstat第二块是内核参数。如果用的是 Oracle Linux 或 RHEL最省事的是 preinstall RPM它会自动创建 oracle 用户、oinstall 和 dba 组、调 sysctl、设 limits、关 numa# 配置 Oracle Linux 7 的 yum 源 cd /etc/yum.repos.d/ wget http://yum.oracle.com/public-yum-ol7.repo yum repolist # 安装 19c 预安装包 yum install -y oracle-database-preinstall-19c如果不用 preinstall就手工写内核参数文件# 手工配置内核参数文件名按 97-oracledatabase-sysctl.conf 规范 vi /etc/sysctl.d/97-oracledatabase-sysctl.conffs.aio-max-nr 1048576 fs.file-max 6815744 kernel.shmall 2097152 kernel.shmmax 4294967295 kernel.shmmni 4096 kernel.sem 250 32000 100 128 net.ipv4.ip_local_port_range 9000 65500 net.core.rmem_default 262144 net.core.rmem_max 4194304 net.core.wmem_default 262144 net.core.wmem_max 1048576# 让内核参数生效 /sbin/sysctl --system # 核对全部参数 /sbin/sysctl -a # 单独确认端口范围 cat /proc/sys/net/ipv4/ip_local_port_range参数说明kernel.shmmax是单个共享内存段最大值kernel.shmall是共享内存总页数kernel.sem四个值分别是信号量集合数、每个集合信号量数、可同时操作数、系统信号量总数。net.ipv4.ip_local_port_range改成 9000 到 65500 是为了给 RAC 的 VIP 和监听留出低位端口。改完端口范围如果没生效可以临时写/proc再重启网络echo 9000 65500 /proc/sys/net/ipv4/ip_local_port_range /etc/rc.d/init.d/network restart2.4 CVU 校验装之前先让工具自己体检不用 preinstall RPM 的话建议用 Cluster Verification Utility 先跑一遍。cvuqdisk 包在 Grid 安装目录的cv/rpm下拷到每个节点装好# 查是否已装旧版本 rpm -qi cvuqdisk # 有旧版本先卸载 rpm -e cvuqdisk # 指定 cvuqdisk 所属组通常是 oinstall export CVUQDISK_GRPoinstall # 安装 cvuqdisk rpm -iv cvuqdisk-1.0.10-1.rpm # 跑安装前校验-fixup 表示尝试自动修复 ./runcluvfy.sh stage -pre crsinst -fixup -n node1,node2,node3-n后面跟所有节点主机名-fixup会让 CVU 尝试修一些它能修的问题但别指望它全包权限和网络还是得自己盯。CVU 报的错要逐条看它说缺包就补包说参数不对就改参数别跳过。3. 网络与 GNS 配置hosts、DNS 和 SCAN 的对应关系RAC 的网络是安装里最容易配错的部分因为 Public、Private、VIP、SCAN 四类地址各有规则。这一章先把规则讲清再落到 hosts 文件和 BIND 的具体配置最后说 GNS 怎么接管 SCAN。3.1 网络配置的五条硬规则项目正文里给了五条我按实际踩坑顺序重排第一要么全 IPv4 要么全 IPv6GNS 可以生成 IPv6 地址第二从 18c 开始 VIP 对 Clusterware 是可选的可以全配也可以全不配但不支持只给部分节点配 VIP第三Private 安装过程可以配四个 interface 做 HAIP超过四个的部分自动做冗余private 不强制 bond集群自己会做高可用第四Public 和 VIP 名称只能用字母数字和连字符不允许下划线第五Public、VIP、SCAN VIP 必须在同一个子网段。另外 Public 要固定配在各节点网卡上VIP、Private IP、SCAN 可以交给 GNS但 SCAN 需要三个固定 IP其他至少一个固定 IP可以不绑网卡但必须固定解析。我一般先定好网段再动手。假设 Public 用 192.168.204.0/24Private 用 40.40.40.0/24两节点。hosts 文件这样写# /etc/hosts 两节点都要一致 192.168.204.11 pub19-node1.rac.libai 192.168.204.12 pub19-node2.rac.libai # private ip 40.40.40.41 priv19-node1.rac.libai 40.40.40.42 priv19-node2.rac.libai # vip 192.168.204.21 vip19-node1.rac.libai 192.168.204.22 vip19-node2.rac.libai # gns-vip 192.168.204.10 gns19-vip.rac.libaiSCAN 的三个 IP 如果交给 GNS 管就不写在 hosts 里由 DNS 解析。这里注意 Public 和 VIP 必须在同一子网Private 单独一个网段别混。3.2 BIND 配置正解、反解和 GNS 子域委托用 GNS 管 SCAN 就要自己搭 DNS。先装 bindyum install -y bind chroot主配置文件/etc/named.conf的关键段落vi /etc/named.confoptions { directory /var/named; dump-file /var/named/data/cache_dump.db; statistics-file /var/named/data/named_stats.txt; memstatistics-file /var/named/data/named_mem_stats.txt; allow-query { any; }; # 允许查询的网段生产环境建议收窄 recursion yes; allow-transfer { none; }; # 禁止区域传送安全考虑 }; zone . IN { type hint; file named.ca; }; zone rac.libai IN { # 正解域 type master; file named.rac.libai; }; zone 204.168.192.in-addr.arpa IN { # 192.168.204 网段反解 type master; file named.192.168.204; }; zone 40.40.40.in-addr.arpa IN { # 40.40.40 网段反解 type master; file named.40.40.40; };正解文件/var/named/named.rac.libai里除了常规的 pub、priv、vip 记录关键是最后两行 GNS 委托$TTL 600 IN SOA rac.libai. admin.rac.libai. ( 0 ; serial 1D ; refresh 1H ; retry 1W ; expire 3H ) ; minimum IN NS master master IN A 192.168.204.12 scan19.vip.rac.libai. IN A 192.168.204.162 scan19.vip.rac.libai. IN A 192.168.204.163 scan19.vip.rac.libai. IN A 192.168.204.164 priv19-node1.rac.libai. IN A 40.40.40.41 priv19-node2.rac.libai. IN A 40.40.40.42 vip19-node1.rac.libai. IN A 192.168.204.21 vip19-node2.rac.libai. IN A 192.168.204.22 pub19-node1.rac.libai. IN A 192.168.204.11 pub19-node2.rac.libai. IN A 192.168.204.12 vip.rac.libai. IN NS gns.rac.libai. gns.rac.libai. IN A 192.168.204.10最后两行的意思是子域vip.rac.libai的解析服务器是gns.rac.libai而gns.rac.libai的地址是 192.168.204.10。这是 GNS 能接管 SCAN 的关键。对应到 gridSetup.sh 里SCAN 的域名scan19.vip.rac.libai必须包含交给 GNS 管理的子域也就是要落在vip.rac.libai下面GNS 的 IP 填 192.168.204.10subdomain 填vip.rac.libai。如果配合 DHCPVIP、Private、SCAN 都能让 GNS 分配 IP。反解文件/var/named/named.192.168.204按 PTR 记录写把 21、22、33、34、35 这些尾号映射回对应主机名。反解不配全后面 CVU 和监听注册会报解析失败这个坑我踩过别省。3.3 其他系统配置时钟、I/O 调度和 limits网络之外还有几项杂配置项目正文里列了时钟同步、NAS 附加配置、I/O Scheduler、SSH 超时、用户组目录、图形界面、limits.conf、关闭 X11 Forward、Direct NFS、Oracle Member Cluster、手工配 ASM 磁盘 UDEV。我挑影响安装成败的说。时钟同步必须做两节点时间差太大会让 Clusterware 起不来。常见做法是配 chrony 指向同一个时间源两节点都执行# 安装并启用 chrony yum install -y chrony systemctl enable chronyd systemctl start chronyd # 查看同步状态确认两节点偏差在秒级以内 chronyc trackingI/O Scheduler 对 ASM 磁盘有影响SSD 一般用 noop 或 none机械盘用 deadline。查看和临时调整# 查看当前调度器 cat /sys/block/sdb/queue/scheduler # 临时改为 noop持久化要写 udev 规则 echo noop /sys/block/sdb/queue/schedulerSSH 超时限制也要调安装过程中节点间 SSH 断开会中断 root.sh。在/etc/ssh/sshd_config里把ClientAliveInterval设成 60、ClientAliveCountMax设成 10然后重启 sshd。limits.conf 除了前面说的 memlock还要给 oracle 用户加 nofile 和 nprocvi /etc/security/limits.conforacle soft nproc 16384 oracle hard nproc 16384 oracle soft nofile 65536 oracle hard nofile 65536 oracle soft stack 10240 oracle hard stack 10240手工配 ASM 磁盘用 UDEV 绑权限避免重启后磁盘属主变回 root# 查磁盘 WWID用 /usr/lib/udev/scsi_id 或 lsblk -o NAME,WWN /usr/lib/udev/scsi_id -g -u -d /dev/sdb # 写 udev 规则按 WWID 绑定属主和权限 vi /etc/udev/rules.d/99-oracle-asmdevices.rulesKERNELsd*, SUBSYSTEMblock, PROGRAM/usr/lib/udev/scsi_id -g -u -d /dev/$name, RESULT3600c0ff000d8a1b2c3d4e5f600000001, OWNERgrid, GROUPasmadmin, MODE0660# 重载规则并触发 udevadm control --reload-rules udevadm trigger --typedevices --actionchange # 验证属主 ls -l /dev/sdbRESULT里的 WWID 每块盘不同要逐块查。OWNER和GROUP按实际 grid 用户和 asmadmin 组填MODE 给 0660 保证 grid 可读写。4. 避坑排查装 19c RAC 最常见的五个翻车点这一章是我自己踩过和帮人救过的记录每条按现象、原因、解决写。装之前扫一眼能省掉至少一次重装。4.1 root.sh 卡住或报 ASM 磁盘权限错误现象gridSetup.sh 跑到最后执行 root.sh卡在 ASM 磁盘发现阶段日志里提示权限拒绝或磁盘不可见。原因多半是 UDEV 规则没生效或者磁盘属主是 root 而不是 grid。解决先ls -l /dev/sd*确认属主和权限不对就重载 udev 规则再 trigger如果规则里 WWID 写错磁盘根本匹配不上要重新查 WWID 改规则。我一般装之前就把所有 ASM 盘用ls -l过一遍确认 grid 可读写再往下走。4.2 THP 没关干净导致实例启动报错现象数据库实例启动时报大页相关错误或者 ASM 实例内存分配异常。原因只改了/sys下的临时文件没写进 GRUB重启后 THP 又回到 always。解决cat /proc/cmdline确认有没有transparent_hugepagenever没有就回 2.2 节重做 GRUB 配置并重启。另外defrag也要一起看两个文件都显示 never 才算干净。4.3 SCAN 解析失败或 GNS 不接管现象gridSetup.sh 配 SCAN 时提示无法解析或者装完 SCAN VIP 起不来。原因通常是 DNS 正解里 SCAN 域名没落在 GNS 子域下或者 named.conf 里没配 GNS 委托。解决检查scan19.vip.rac.libai是否在vip.rac.libai子域内正解文件最后两行 NS 和 A 记录是否齐全然后nslookup scan19.vip.rac.libai在两节点都验证一遍。反解缺失也会导致监听注册失败别只查正解。4.4 内核参数没生效导致 prereq 检查失败现象runInstaller 的 prereq 检查报 shmmax、sem 等参数不达标。原因参数写进了文件但没执行sysctl --system或者 preinstall RPM 和手工配置冲突后写的覆盖了前面的。解决sysctl -a逐项核对重点看kernel.shmmax、kernel.sem、fs.aio-max-nr。如果用了 preinstall RPM 又手工改确认/etc/sysctl.d/下文件加载顺序97 开头的会覆盖更早的。4.5 节点间 SSH 超时中断安装现象root.sh 在第二个节点执行到一半断开报 SSH 连接超时。原因sshd 的 ClientAliveInterval 默认太长或没配安装过程长时间无输出被断开。解决两节点都改/etc/ssh/sshd_config加ClientAliveInterval 60和ClientAliveCountMax 10重启 sshd。装之前用ssh在两节点间互连跑个date确认免密和连通性。5. 装完怎么验证从集群状态到 SCAN 解析的收尾检查装完不是看到 Successfully 就完事我一般按固定顺序验一遍确认这套环境真能跑。先看集群状态# 以 grid 用户执行查看集群整体状态 crsctl stat res -t # 查看节点和 VIP 状态 olsnodes -n srvctl status nodeappscrsctl stat res -t输出里每个资源都应该是 ONLINEVIP 和 SCAN VIP 在对应节点上 ONLINEGSD 和 ONS 也不能是 OFFLINE。如果有资源起不来先看crsctl stat res 资源名 -p的详细状态再去$GRID_HOME/log/节点名/下翻日志。然后验 ASM 和数据库# 以 grid 用户查 ASM 磁盘组 asmcmd lsdg # 以 oracle 用户查数据库实例状态 srvctl status database -d dbname # 用 sqlplus 连一下确认实例可登录 sqlplus / as sysdbaasmcmd lsdg要能看到 DATA 和 RECO 磁盘组状态 MOUNTED。数据库实例两个节点都应该是 OPEN 或至少一个 OPEN 一个 MOUNTED取决于你配的模式。最后验网络解析这是最容易被忽略的一步# 两节点都执行确认 SCAN 解析出三个 IP nslookup scan19.vip.rac.libai # 确认 VIP 解析 nslookup vip19-node1.rac.libai # 用 tnsping 验监听 tnsping scan_name:1521SCAN 必须解析出三个不同 IP少一个说明 DNS 正解漏了记录。VIP 解析要和 hosts 或 DNS 里配的一致。tnsping 能通说明监听和 SCAN 都正常。我还会额外做一件事把两节点重启一次再跑一遍crsctl stat res -t。因为很多配置问题THP、UDEV、内核参数只有重启后才暴露装完当场是好的重启就翻车。这个习惯是从一次 UDEV 规则没持久化、重启后 ASM 盘全变 root 属主的教训里养成的。从那以后我每次装完 RAC 都强制走一遍重启验证确认所有资源能自动拉起才算收工。希望帮到你。本文还有配套的精品资源点击获取
简介面向数据库运维与架构人员的中高级实操文档聚焦在 Red Hat Enterprise Linux 7.6 上部署 Oracle 19c RAC 的完整流程重点讲解 GNS 配置与 SCAN 实现并延伸介绍 Flex ASM 及 12.2 之后 Standalone Cluster 与 Domain Service Cluster 两种集群模式的差异。内容从 OS 环境检查、关闭 THP 与开启 Hugepages、软件包安装、内核参数配置到固定网络与 GNS 混合配置、时钟同步等环节逐项展开同时给出问题排查与分析方法适合需要搭建测试环境或对照生产部署的读者参考。资源包共 1 个 docx 文件约 160KB以图文步骤与配置说明为主目录层级清晰便于按章节定位查阅。已有 718 人学习下载可作为 19c RAC 安装与 GNS 配置的案头手册使用。1. 装 Oracle 19c RAC 前先把 Linux 7.6 这五件事钉死上周帮一个朋友救火两节点 RAC 装到 73% 卡在 root.sh日志里全是 ASM 磁盘权限和 THP 的报错最后只能删库重来。Oracle 19c RAC on Linux 7.6 这套环境在企业里太常见了但装不好就是反复重装、反复踩坑。这篇笔记按我实际装机的顺序走先查 OS 环境再关 THP 开 Hugepages装软件包、调内核参数配网络和 GNS最后跑 gridSetup.sh 和 dbca。适合第一次装 19c RAC 的开发者照着走也适合熟手对照版本差异和参数取舍。下面每一步都带命令和参数说明装坏了怎么救也写进去了。2. 环境检查与系统准备从 OS 版本到 Hugepages 的落地顺序装 RAC 最怕的不是命令多而是顺序错。我一般先把 OS 环境检查做完再动任何配置因为后面所有参数都依赖当前内核和内存的实际值。这一章把检查、THP 关闭、Hugepages 开启、软件包安装、内核参数配置串成一条线每一步都给出可抄的命令。2.1 OS 环境检查五个硬指标先过一遍项目要求里列得很清楚RAM 至少 8G运行级别 3 或 5Linux 版本要 Oracle Linux 7.4 以上或 Red Hat Enterprise Linux 7.4 以上/tmp 至少 1Gswap 按内存大小分档。我习惯一次性把检查命令跑完把输出贴到记事本里备查。# 内存总量单位 KB至少 8G 即 8388608 KB grep MemTotal /proc/meminfo # 运行级别必须是 3 或 5 runlevel # 内核版本和架构 uname -mr # 发行版版本 cat /etc/redhat-release # /tmp 空间至少 1G df -h /tmp # swap 大小 grep SwapTotal /proc/meminfo # /dev/shm 挂载类型和权限 df -h /dev/shm # 软件空间grid 至少 12GOracle 至少 10G建议预留 100G df -h /u01这里有个容易忽略的点swap 的算法是 4G 到 16G 之间等于 RAM超过 16G 就固定 16G但如果启用了 Huge Page计算 swap 时要减去分配给 HugePage 的内存。我见过有人内存 64G、Hugepages 分了 32Gswap 还按 16G 配结果系统启动时内存核算对不上。另外 19c 开始 GIMR 在 standalone 安装时变成可选项如果装 Domain Services Cluster 要配 GIMR大页面会被 GIMR 的 SGA 占用 1G这个要提前算进 hugepages 里。2.2 关闭 THP 并开启 Hugepages两个参数决定后面稳不稳透明大页面THP是 RAC 安装里最经典的翻车点之一。先看当前状态# 查看 THP 是否开启输出里带方括号的是当前生效值 cat /sys/kernel/mm/transparent_hugepage/enabled # 典型输出[always] madvise never # 查看 THP 碎片整理功能 cat /sys/kernel/mm/transparent_hugepage/defrag如果显示[always]说明 THP 开着必须关。做法是把transparent_hugepagenever追加到 GRUB_CMDLINE_LINUX 后面# 编辑 grub 配置在 GRUB_CMDLINE_LINUX 末尾追加参数 vi /etc/default/grub # 修改后类似 # GRUB_CMDLINE_LINUXrd.lvm.lvrhel/root rd.lvm.lvrhel/swap ... transparent_hugepagenever # 先备份 grub.cfg cp /boot/grub2/grub.cfg /boot/grub2/grub.cfg.bak # BIOS 机器重建 grub.cfg grub2-mkconfig -o /boot/grub2/grub.cfg # UEFI 机器用这条 grub2-mkconfig -o /boot/efi/EFI/redhat/grub.cfg # 重启生效 shutdown -r now # 验证内核参数 cat /proc/cmdline参数说明transparent_hugepagenever是内核启动参数写在 GRUB_CMDLINE_LINUX 里才会在每次启动时生效直接改/sys下的文件重启就丢。grub2-mkconfig -o的-o指定输出文件BIOS 和 UEFI 路径不同写错会导致启动项没更新重启后参数还在老状态这是血泪经验。THP 关掉后开 Hugepages。先算需要多少页假设 Oracle SGA 计划 8G页大小默认 2M就是 4096 页再留点余量。# 设置大页数量按 SGA 大小除以 2M 再留余量 vi /etc/sysctl.conf # 加入 vm.nr_hugepages 4200 # 使配置生效 sysctl -p # 验证 grep HugePages /proc/meminfo同时要放开 oracle 用户的内存锁定限制否则大页分配会失败# 编辑 limits.confmemlock 单位是 KB要大于等于大页总内存 vi /etc/security/limits.conf # 加入 oracle soft memlock 9437184 oracle hard memlock 9437184memlock的值按大页总字节数算4200 页乘 2M 约 8.4G换算成 KB 约 8808038我一般给到 94371849G留余量。这里有个坑limits.conf 改完要重新登录 oracle 用户才生效装库前用ulimit -l确认一下。2.3 安装软件包RHEL 7 的清单和 preinstall RPM 两条路软件包分两块。第一块是 RHEL 7 的基础包项目里列了一长串我按用途归类编译工具链gcc、make、binutils、兼容库compat-libcap1、compat-libstdc、开发库glibc-devel、libaio-devel、libstdc-devel、图形库libX11、libXau、libXi、libXtst、libXrender、libXrender-devel、libxcb、RAC 专用net-tools、nfs-utils、ACFS 远程相关python、python-configshell、python-rtslib、python-six、targetcli、监控smartmontools、sysstat。一次性装完# 基础包批量安装缺一个都可能让 runInstaller 报 prereq 失败 yum install -y openssh bc binutils compat-libcap1 compat-libstdc \ elfutils-libelf elfutils-libelf-devel fontconfig-devel glibc glibc-devel \ ksh libaio libaio-devel libX11 libXau libXi libXtst libXrender \ libXrender-devel libgcc librdmacm-devel libstdc libstdc-devel \ libxcb make net-tools nfs-utils python python-configshell python-rtslib \ python-six targetcli smartmontools sysstat第二块是内核参数。如果用的是 Oracle Linux 或 RHEL最省事的是 preinstall RPM它会自动创建 oracle 用户、oinstall 和 dba 组、调 sysctl、设 limits、关 numa# 配置 Oracle Linux 7 的 yum 源 cd /etc/yum.repos.d/ wget http://yum.oracle.com/public-yum-ol7.repo yum repolist # 安装 19c 预安装包 yum install -y oracle-database-preinstall-19c如果不用 preinstall就手工写内核参数文件# 手工配置内核参数文件名按 97-oracledatabase-sysctl.conf 规范 vi /etc/sysctl.d/97-oracledatabase-sysctl.conffs.aio-max-nr 1048576 fs.file-max 6815744 kernel.shmall 2097152 kernel.shmmax 4294967295 kernel.shmmni 4096 kernel.sem 250 32000 100 128 net.ipv4.ip_local_port_range 9000 65500 net.core.rmem_default 262144 net.core.rmem_max 4194304 net.core.wmem_default 262144 net.core.wmem_max 1048576# 让内核参数生效 /sbin/sysctl --system # 核对全部参数 /sbin/sysctl -a # 单独确认端口范围 cat /proc/sys/net/ipv4/ip_local_port_range参数说明kernel.shmmax是单个共享内存段最大值kernel.shmall是共享内存总页数kernel.sem四个值分别是信号量集合数、每个集合信号量数、可同时操作数、系统信号量总数。net.ipv4.ip_local_port_range改成 9000 到 65500 是为了给 RAC 的 VIP 和监听留出低位端口。改完端口范围如果没生效可以临时写/proc再重启网络echo 9000 65500 /proc/sys/net/ipv4/ip_local_port_range /etc/rc.d/init.d/network restart2.4 CVU 校验装之前先让工具自己体检不用 preinstall RPM 的话建议用 Cluster Verification Utility 先跑一遍。cvuqdisk 包在 Grid 安装目录的cv/rpm下拷到每个节点装好# 查是否已装旧版本 rpm -qi cvuqdisk # 有旧版本先卸载 rpm -e cvuqdisk # 指定 cvuqdisk 所属组通常是 oinstall export CVUQDISK_GRPoinstall # 安装 cvuqdisk rpm -iv cvuqdisk-1.0.10-1.rpm # 跑安装前校验-fixup 表示尝试自动修复 ./runcluvfy.sh stage -pre crsinst -fixup -n node1,node2,node3-n后面跟所有节点主机名-fixup会让 CVU 尝试修一些它能修的问题但别指望它全包权限和网络还是得自己盯。CVU 报的错要逐条看它说缺包就补包说参数不对就改参数别跳过。3. 网络与 GNS 配置hosts、DNS 和 SCAN 的对应关系RAC 的网络是安装里最容易配错的部分因为 Public、Private、VIP、SCAN 四类地址各有规则。这一章先把规则讲清再落到 hosts 文件和 BIND 的具体配置最后说 GNS 怎么接管 SCAN。3.1 网络配置的五条硬规则项目正文里给了五条我按实际踩坑顺序重排第一要么全 IPv4 要么全 IPv6GNS 可以生成 IPv6 地址第二从 18c 开始 VIP 对 Clusterware 是可选的可以全配也可以全不配但不支持只给部分节点配 VIP第三Private 安装过程可以配四个 interface 做 HAIP超过四个的部分自动做冗余private 不强制 bond集群自己会做高可用第四Public 和 VIP 名称只能用字母数字和连字符不允许下划线第五Public、VIP、SCAN VIP 必须在同一个子网段。另外 Public 要固定配在各节点网卡上VIP、Private IP、SCAN 可以交给 GNS但 SCAN 需要三个固定 IP其他至少一个固定 IP可以不绑网卡但必须固定解析。我一般先定好网段再动手。假设 Public 用 192.168.204.0/24Private 用 40.40.40.0/24两节点。hosts 文件这样写# /etc/hosts 两节点都要一致 192.168.204.11 pub19-node1.rac.libai 192.168.204.12 pub19-node2.rac.libai # private ip 40.40.40.41 priv19-node1.rac.libai 40.40.40.42 priv19-node2.rac.libai # vip 192.168.204.21 vip19-node1.rac.libai 192.168.204.22 vip19-node2.rac.libai # gns-vip 192.168.204.10 gns19-vip.rac.libaiSCAN 的三个 IP 如果交给 GNS 管就不写在 hosts 里由 DNS 解析。这里注意 Public 和 VIP 必须在同一子网Private 单独一个网段别混。3.2 BIND 配置正解、反解和 GNS 子域委托用 GNS 管 SCAN 就要自己搭 DNS。先装 bindyum install -y bind chroot主配置文件/etc/named.conf的关键段落vi /etc/named.confoptions { directory /var/named; dump-file /var/named/data/cache_dump.db; statistics-file /var/named/data/named_stats.txt; memstatistics-file /var/named/data/named_mem_stats.txt; allow-query { any; }; # 允许查询的网段生产环境建议收窄 recursion yes; allow-transfer { none; }; # 禁止区域传送安全考虑 }; zone . IN { type hint; file named.ca; }; zone rac.libai IN { # 正解域 type master; file named.rac.libai; }; zone 204.168.192.in-addr.arpa IN { # 192.168.204 网段反解 type master; file named.192.168.204; }; zone 40.40.40.in-addr.arpa IN { # 40.40.40 网段反解 type master; file named.40.40.40; };正解文件/var/named/named.rac.libai里除了常规的 pub、priv、vip 记录关键是最后两行 GNS 委托$TTL 600 IN SOA rac.libai. admin.rac.libai. ( 0 ; serial 1D ; refresh 1H ; retry 1W ; expire 3H ) ; minimum IN NS master master IN A 192.168.204.12 scan19.vip.rac.libai. IN A 192.168.204.162 scan19.vip.rac.libai. IN A 192.168.204.163 scan19.vip.rac.libai. IN A 192.168.204.164 priv19-node1.rac.libai. IN A 40.40.40.41 priv19-node2.rac.libai. IN A 40.40.40.42 vip19-node1.rac.libai. IN A 192.168.204.21 vip19-node2.rac.libai. IN A 192.168.204.22 pub19-node1.rac.libai. IN A 192.168.204.11 pub19-node2.rac.libai. IN A 192.168.204.12 vip.rac.libai. IN NS gns.rac.libai. gns.rac.libai. IN A 192.168.204.10最后两行的意思是子域vip.rac.libai的解析服务器是gns.rac.libai而gns.rac.libai的地址是 192.168.204.10。这是 GNS 能接管 SCAN 的关键。对应到 gridSetup.sh 里SCAN 的域名scan19.vip.rac.libai必须包含交给 GNS 管理的子域也就是要落在vip.rac.libai下面GNS 的 IP 填 192.168.204.10subdomain 填vip.rac.libai。如果配合 DHCPVIP、Private、SCAN 都能让 GNS 分配 IP。反解文件/var/named/named.192.168.204按 PTR 记录写把 21、22、33、34、35 这些尾号映射回对应主机名。反解不配全后面 CVU 和监听注册会报解析失败这个坑我踩过别省。3.3 其他系统配置时钟、I/O 调度和 limits网络之外还有几项杂配置项目正文里列了时钟同步、NAS 附加配置、I/O Scheduler、SSH 超时、用户组目录、图形界面、limits.conf、关闭 X11 Forward、Direct NFS、Oracle Member Cluster、手工配 ASM 磁盘 UDEV。我挑影响安装成败的说。时钟同步必须做两节点时间差太大会让 Clusterware 起不来。常见做法是配 chrony 指向同一个时间源两节点都执行# 安装并启用 chrony yum install -y chrony systemctl enable chronyd systemctl start chronyd # 查看同步状态确认两节点偏差在秒级以内 chronyc trackingI/O Scheduler 对 ASM 磁盘有影响SSD 一般用 noop 或 none机械盘用 deadline。查看和临时调整# 查看当前调度器 cat /sys/block/sdb/queue/scheduler # 临时改为 noop持久化要写 udev 规则 echo noop /sys/block/sdb/queue/schedulerSSH 超时限制也要调安装过程中节点间 SSH 断开会中断 root.sh。在/etc/ssh/sshd_config里把ClientAliveInterval设成 60、ClientAliveCountMax设成 10然后重启 sshd。limits.conf 除了前面说的 memlock还要给 oracle 用户加 nofile 和 nprocvi /etc/security/limits.conforacle soft nproc 16384 oracle hard nproc 16384 oracle soft nofile 65536 oracle hard nofile 65536 oracle soft stack 10240 oracle hard stack 10240手工配 ASM 磁盘用 UDEV 绑权限避免重启后磁盘属主变回 root# 查磁盘 WWID用 /usr/lib/udev/scsi_id 或 lsblk -o NAME,WWN /usr/lib/udev/scsi_id -g -u -d /dev/sdb # 写 udev 规则按 WWID 绑定属主和权限 vi /etc/udev/rules.d/99-oracle-asmdevices.rulesKERNELsd*, SUBSYSTEMblock, PROGRAM/usr/lib/udev/scsi_id -g -u -d /dev/$name, RESULT3600c0ff000d8a1b2c3d4e5f600000001, OWNERgrid, GROUPasmadmin, MODE0660# 重载规则并触发 udevadm control --reload-rules udevadm trigger --typedevices --actionchange # 验证属主 ls -l /dev/sdbRESULT里的 WWID 每块盘不同要逐块查。OWNER和GROUP按实际 grid 用户和 asmadmin 组填MODE 给 0660 保证 grid 可读写。4. 避坑排查装 19c RAC 最常见的五个翻车点这一章是我自己踩过和帮人救过的记录每条按现象、原因、解决写。装之前扫一眼能省掉至少一次重装。4.1 root.sh 卡住或报 ASM 磁盘权限错误现象gridSetup.sh 跑到最后执行 root.sh卡在 ASM 磁盘发现阶段日志里提示权限拒绝或磁盘不可见。原因多半是 UDEV 规则没生效或者磁盘属主是 root 而不是 grid。解决先ls -l /dev/sd*确认属主和权限不对就重载 udev 规则再 trigger如果规则里 WWID 写错磁盘根本匹配不上要重新查 WWID 改规则。我一般装之前就把所有 ASM 盘用ls -l过一遍确认 grid 可读写再往下走。4.2 THP 没关干净导致实例启动报错现象数据库实例启动时报大页相关错误或者 ASM 实例内存分配异常。原因只改了/sys下的临时文件没写进 GRUB重启后 THP 又回到 always。解决cat /proc/cmdline确认有没有transparent_hugepagenever没有就回 2.2 节重做 GRUB 配置并重启。另外defrag也要一起看两个文件都显示 never 才算干净。4.3 SCAN 解析失败或 GNS 不接管现象gridSetup.sh 配 SCAN 时提示无法解析或者装完 SCAN VIP 起不来。原因通常是 DNS 正解里 SCAN 域名没落在 GNS 子域下或者 named.conf 里没配 GNS 委托。解决检查scan19.vip.rac.libai是否在vip.rac.libai子域内正解文件最后两行 NS 和 A 记录是否齐全然后nslookup scan19.vip.rac.libai在两节点都验证一遍。反解缺失也会导致监听注册失败别只查正解。4.4 内核参数没生效导致 prereq 检查失败现象runInstaller 的 prereq 检查报 shmmax、sem 等参数不达标。原因参数写进了文件但没执行sysctl --system或者 preinstall RPM 和手工配置冲突后写的覆盖了前面的。解决sysctl -a逐项核对重点看kernel.shmmax、kernel.sem、fs.aio-max-nr。如果用了 preinstall RPM 又手工改确认/etc/sysctl.d/下文件加载顺序97 开头的会覆盖更早的。4.5 节点间 SSH 超时中断安装现象root.sh 在第二个节点执行到一半断开报 SSH 连接超时。原因sshd 的 ClientAliveInterval 默认太长或没配安装过程长时间无输出被断开。解决两节点都改/etc/ssh/sshd_config加ClientAliveInterval 60和ClientAliveCountMax 10重启 sshd。装之前用ssh在两节点间互连跑个date确认免密和连通性。5. 装完怎么验证从集群状态到 SCAN 解析的收尾检查装完不是看到 Successfully 就完事我一般按固定顺序验一遍确认这套环境真能跑。先看集群状态# 以 grid 用户执行查看集群整体状态 crsctl stat res -t # 查看节点和 VIP 状态 olsnodes -n srvctl status nodeappscrsctl stat res -t输出里每个资源都应该是 ONLINEVIP 和 SCAN VIP 在对应节点上 ONLINEGSD 和 ONS 也不能是 OFFLINE。如果有资源起不来先看crsctl stat res 资源名 -p的详细状态再去$GRID_HOME/log/节点名/下翻日志。然后验 ASM 和数据库# 以 grid 用户查 ASM 磁盘组 asmcmd lsdg # 以 oracle 用户查数据库实例状态 srvctl status database -d dbname # 用 sqlplus 连一下确认实例可登录 sqlplus / as sysdbaasmcmd lsdg要能看到 DATA 和 RECO 磁盘组状态 MOUNTED。数据库实例两个节点都应该是 OPEN 或至少一个 OPEN 一个 MOUNTED取决于你配的模式。最后验网络解析这是最容易被忽略的一步# 两节点都执行确认 SCAN 解析出三个 IP nslookup scan19.vip.rac.libai # 确认 VIP 解析 nslookup vip19-node1.rac.libai # 用 tnsping 验监听 tnsping scan_name:1521SCAN 必须解析出三个不同 IP少一个说明 DNS 正解漏了记录。VIP 解析要和 hosts 或 DNS 里配的一致。tnsping 能通说明监听和 SCAN 都正常。我还会额外做一件事把两节点重启一次再跑一遍crsctl stat res -t。因为很多配置问题THP、UDEV、内核参数只有重启后才暴露装完当场是好的重启就翻车。这个习惯是从一次 UDEV 规则没持久化、重启后 ASM 盘全变 root 属主的教训里养成的。从那以后我每次装完 RAC 都强制走一遍重启验证确认所有资源能自动拉起才算收工。希望帮到你。本文还有配套的精品资源点击获取
