KES数据库国产软硬件全信创兼容深度适配

KES数据库国产软硬件全信创兼容深度适配平时写实操内容大多都是拿x86服务器来演示但是现在政企、金融、能源那边的信创项目基本全都在用国产ARM芯片搭配国产操作系统干活。不少平时在x86环境操作很熟的运维同事一换到飞腾、鲲鹏、龙芯机器各种奇怪问题就冒出来。像下错安装包、系统依赖没装齐、内存参数照搬导致数据库内存溢出、磁盘读写速度掉一大截、数据库启动报错、主备同步一直有延迟这类问题我在落地项目里见得特别多。这篇内容我整理了上百套ARM信创项目调优踩过的坑分开讲鲲鹏、飞腾、龙芯三款国产芯片搭配麒麟、统信系统完整适配流程还有专门适配的参数模板、问题修复办法。里面所有脚本、配置文件都能直接在国产服务器上复制运行全程都是平时和同事沟通的大白话把信创环境独有的隐藏问题一次性讲清楚。一、 本章学习导读1.1 学习目标能分清鲲鹏、飞腾、龙芯三款国产芯片的差别知道每款CPU该下载哪一份KES安装包会给国产服务器装齐全系统依赖调整内核相关限制参数能解决ARM机器独有的安装失败、启动报错、账号权限异常这类问题针对ARM架构调整内存、IO、WAL相关参数明显提升数据库读写速度在国产服务器上搭主备、读写分离、分片集群搞定各类适配小问题把平时巡检、备份的自动化脚本改成适配国产系统的版本1.2 本章重点三款国产CPU对应的KES安装包区分下载时怎么核对文件名银河麒麟、统信服务器的系统前置统一配置步骤ARM机器专用sysctl内核调优参数鲲鹏/飞腾/龙芯三套不同的KES参数配置模板信创服务器搭集群容易出现的特有问题和处理方式一套省级政务信创服务器完整落地改造实例二、 为什么ARM信创服务器要单独做适配很多刚接触信创的同事都会有个误区觉得一份KES安装包所有机器都能装。但x86和ARM、龙芯MIPS是完全不一样的指令集编译出来的二进制文件根本没法互相通用。而且国产芯片、国产系统的内存调度、磁盘读写控制逻辑和CentOS、Windows差别也很大。我线下见过不少项目踩同类问题拿x86版本安装包放到飞腾机器执行直接提示二进制无法运行系统默认资源限制太小数据库一跑就内存OOM磁盘默认调度策略不合适千万行数据表查询慢好几倍系统自带软件源缺底层依赖装到一半直接中断定时脚本用了CentOS专属命令国产系统跑不起来自动化备份巡检全部废掉。简单说x86环境能用的配置、安装包、shell脚本不能直接复制到ARM信创机器必须单独按照国产环境调整数据库才能稳定、高速长期跑业务。三、️ 三大国产CPU硬件与KES介质匹配规范电科金仓针对每一款国产CPU单独编译安装包下载的时候一旦选错数据库根本装不上这里分开说清楚。3.1 鲲鹏ARM架构华为泰山服务器常用芯片型号Kunpeng 920、Kunpeng 930适配系统银河麒麟高级服务器V10、统信服务器V20对应安装包KingbaseES_V9R1C10_Linux_aarch64.tar.gz需要注意一点鲲鹏服务器NUMA节点特性很明显装数据库之后必须调整内存亲和相关参数。3.2 飞腾ARM架构政企项目用得最多常用芯片FT-2000/64、FT-3000适配系统银河麒麟V10、统信服务器版对应安装包KingbaseES_V9R1C10_Linux_aarch64.tar.gz飞腾芯片浮点计算能力偏弱报表、统计类SQL多的业务需要调低单查询占用内存。3.3 龙芯MIPS架构纯自主指令芯片型号3A5000、3A6000适配系统银河龙芯专用版、统信龙芯服务器对应安装包KingbaseES_V9R1C10_Linux_mips64el.tar.gz这里一定要留意龙芯不能用aarch64安装包这是绝大多数人装库第一步就踩的坑。3.4 下载安装包核对小技巧从金官网下载文件看文件名后缀就能区分架构x86_64普通Intel、AMD服务器aarch64鲲鹏、飞腾ARM机器mips64el全系列龙芯机器下载前先查服务器CPU架构两条命令分开用# 鲲鹏、飞腾ARM机器查看lscpu|grepArchitecture# 龙芯机器专用查看命令lscpu|grepcpu family四、⚙️ 国产操作系统前置标准化适配银河麒麟、统信都是基于Linux深度定制的系统自带安全限制、软件安装工具、系统参数和商用CentOS不一样。装KES之前必须把前置配置做完不然安装、启动、性能都会出各种毛病。4.1 系统依赖完整安装4.1.1 银河麒麟V10鲲鹏、飞腾机器麒麟用yum工具装包默认源缺IO底层依赖直接整条命令执行yuminstall-ylibaio-devel gcc glibc-devel readline-devel zlib-devel openssl-devel4.1.2 统信UOS服务器统信用apt工具命令要换成下面这条apt-getinstall-ylibaio-dev gcc libreadline-dev zlib1g-dev libssl-dev4.1.3 龙芯机器专属依赖龙芯部分库名字不一样需要额外装兼容包yuminstall-ymipsel-libs libaio-devel4.2 系统用户资源限制修改国产系统默认能打开文件、创建进程的上限很低业务并发一高就报资源不足改limits.conf文件vi/etc/security/limits.conf# 追加下面这几行专门给kingbase用户放开限制kingbase soft nproc65535kingbase hard nproc65535kingbase soft nofile65535kingbase hard nofile65535kingbase soft stack unlimited kingbase hard stack unlimited改完之后重新登录kingbase账号才能生效验证命令ulimit-n4.3 内核sysctl参数专项优化网上很多调参文章都是x86服务器的配置放到ARM机器效果很差。下面这套是政企信创项目统一在用的内核配置直接写到/etc/sysctl.conf末尾# 适配ARM大内存机器的共享内存 kernel.shmmax 68719476736 kernel.shmall 4294967296 # 系统最大打开文件句柄 fs.file-max 1048576 # TCP网络相关优化提升主备同步速度 net.ipv4.tcp_syncookies 1 net.ipv4.tcp_tw_reuse 1 net.ipv4.tcp_fin_timeout 30 # 磁盘内存交换相关配置 vm.dirty_ratio 10 vm.dirty_background_ratio 5 vm.swappiness 10修改完执行命令让配置立刻生效sysctl-p补充一句ARM架构读取内存延迟比x86高不少swappiness数值一定要调低不然系统频繁交换内存数据库会持续卡顿。4.4 磁盘IO调度策略调整国产服务器磁盘默认调度策略不合理固态硬盘统一改成deadline# 把/dev/sda换成自己机器的磁盘名称echodeadline/sys/block/sda/queue/scheduler# 想要永久生效需要写到开机执行脚本里机械硬盘推荐用cfq调度能减少查询时IO等待的情况。五、️ 电科金ARM专属数据库参数调优同样64G内存的机器x86上能用的shared_buffers、work_mem直接复制到ARM很容易内存溢出、统计查询卡死。分开三款芯片给现成配置模板。5.1 鲲鹏920 64G机器配置模板shared_buffers 16GB effective_cache_size 48GB work_mem 96MB maintenance_work_mem 512MB wal_buffers 64MB max_wal_size 16GB # 鲲鹏独有NUMA内存亲和参数 pg_preferred_numa_node 05.2 飞腾FT2000 64G机器模板飞腾做浮点运算性能偏弱调大维护内存降低单条查询占用内存防止CPU跑满shared_buffers 16GB effective_cache_size 48GB work_mem 64MB maintenance_work_mem 1024MB wal_buffers 64MB max_wal_size 12GB5.3 龙芯3A5000 32G机器模板龙芯整体算力偏弱内存参数设置保守一点避免数据库被系统杀掉shared_buffers 8GB effective_cache_size 24GB work_mem 32MB maintenance_work_mem 512MB max_wal_size 8GB5.4 所有ARM机器通用必改参数# ARM服务器CPU核心数量多后台工作线程调高 max_worker_processes 16 autovacuum_max_workers 4 # 国产磁盘读写速度偏慢拉长检查点间隔 checkpoint_timeout 30min checkpoint_completion_target 0.9六、 信创集群部署特有适配方案在ARM机器搭主备、读写分离、分片集群会碰到很多x86环境不会出现的同步延迟、连接缓慢问题分开讲处理办法。6.1 主备同步专属优化点主库、备库CPU型号、操作系统版本必须一模一样鲲鹏主机搭配飞备机会出现WAL日志解析慢同步延迟持续走高wal_sender_timeout参数调大到120秒ARM系统网络处理速度偏慢同步日志尽量单独放SSD硬盘机械盘很容易出现日志堆积。6.2 虚拟IP高可用适配麒麟自带防火墙默认拦截ARP数据包部署VIP之前要放行对应规则firewall-cmd--permanent--direct--add-rule ipv4 filter INPUT0-parp-jACCEPT firewall-cmd--reload6.3 分布式分片集群适配建议龙芯机器不建议拿来做分片数据节点算力跟不上只适合当管理节点鲲鹏、飞腾可以部署数据分片分片数量不要超过8个跨节点查询会变得很慢。七、 信创环境运维脚本兼容改造之前写的巡检、备份脚本直接放到国产服务器基本都会报错核心差异整理在这里系统查看命令有区别鲲鹏、飞腾用lscpu正常龙芯需要专用查看工具磁盘命令输出格式不一样脚本截取字段要改软件安装工具区分麒麟用yum统信用apt写自动化脚本不能混用命令定时任务权限限制国产系统安全规则严格定时任务尽量用kingbase账号执行不要用root连数据库邮件告警组件统信系统默认没装mail工具需要手动安装aptinstallmailutils八、⚠️ 信创ARM高频故障与解决方案整理落地项目里出现最多的10类报错现场碰到直接对照处理执行安装包提示无法执行二进制文件问题根源x86安装包放到ARM/龙芯机器处理下载对应aarch64或者mips64el专用介质启动数据库提示找不到libaio库问题根源系统底层IO依赖没安装处理执行对应系统的依赖安装命令高并发时段数据库自动关闭日志显示OOM问题根源内核swap参数设置太高照搬x86内存配置处理调低vm.swappiness缩小shared_buffers数值主备同步延迟持续上涨问题根源主备CPU架构不一致或者同步日志放在机械硬盘处理统一服务器型号同步磁盘更换SSD跑报表CPU直接跑满100%问题根源飞腾、龙芯浮点性能差work_mem设置太大处理降低单查询内存拆分超大统计SQL执行ulimit查看打开文件数数值很小问题根源limits.conf没修改系统资源限制处理修改配置文件重新登录账号生效定时脚本发送邮件提示找不到mail命令问题根源统信、麒麟默认未安装邮件工具处理安装mailutils工具包数据库启动失败共享内存报错问题根源sysctl里shmmax参数太小处理调大内核共享内存配置分布式跨分片查询速度极慢问题根源龙芯算力不足以处理跨节点聚合处理数据节点改用鲲鹏服务器龙芯只做管理节点10 解压安装包后执行setup.sh提示权限不足问题根源国产系统默认限制文件执行权限处理执行chmod x setup之后再运行安装脚本九、 真实省级政务信创服务器完整适配案例9.1 项目硬件环境主数据库鲲鹏920 64核、64G内存、SSD固态盘备数据库和主库同型号鲲鹏服务器操作系统银河麒麟高级服务器V10数据库版本KES V9R1C10 aarch64业务场景省级一网通办平台每日办件4万笔流水表千万级数据9.2 上线初期出现的问题最开始直接照搬x86整套配置上线后三个明显问题早高峰跑报表CPU直接打满单条查询5秒以上主备同步延迟稳定2、3秒偶尔数据库内存溢出自动重启服务。9.3 整套改造操作步骤核对安装包确认用鲲鹏aarch64版本完整安装系统依赖库2 修改limits.conf、sysctl全套内核优化参数3 替换适配鲲鹏的kingbase.conf内存、WAL配置模板4 SSD磁盘调整IO调度策略为deadline5 调整主备同步相关参数降低同步延迟6 拆分超大聚合报表SQL减少浮点计算消耗7 改写自动化巡检脚本适配麒麟yum命令安装邮件告警组件。9.4 改造之后实际效果✅ 报表查询耗时从5秒降到0.3秒以内✅ 主备同步延迟稳定50毫秒以内✅ 连续6个月没有出现内存溢出、自动重启问题✅ 自动备份、定时巡检脚本全部正常运行✅ 顺利通过信创软硬件合规验收十、✅ 本章总结与下一章预告看完这篇内容鲲鹏、飞腾、龙芯所有国产机器搭配麒麟、统信系统的KES部署、参数调优、集群搭建、运维脚本改造你都能独立完成。各类国产环境独有的报错、性能问题都能自行处理满足政企信创项目上线验收的全部要求。本章能掌握的核心内容分清三款国产CPU对应的KES安装包避免第一步就踩致命错误学会麒麟、统信系统全套前置依赖、内核资源配置三套对应鲲鹏、飞腾、龙芯的KES性能调优模板直接复用搞定ARM服务器搭集群出现的同步慢、连接异常问题改写自动化备份巡检脚本适配国产系统命令差异快速识别、修复信创环境最常见的十类故障。