在线判题系统这东西第一次接触的人多半会觉得它就是一个能跑代码的网页。真把它架起来才会发现它其实是两套完全不同的程序拼在一起一套是给用户看的 Web 前台另一套是躲在后台、以极高权限编译执行陌生代码的判题机。我前后在 VMware 里搭过好几轮 HUSTOJ从最初在笔记本上跑个单机版给社团内部练手到后来做成可以整体拷走的开发镜像中间踩的坑比写业务代码多得多。这篇就把这套在 VMware 虚拟机里部署并二次开发 HUSTOJ的完整过程摊开讲它适合谁适合手里只有一台电脑、又想有一个随时能推倒重来的判题环境的开发者适合要给课程或内部培训做题目评测的同学也适合想读懂判题内核、改评测逻辑的人。我会从虚拟机规格怎么算讲起一路讲到改完 judge_client 之后怎么只重启判题机、提交卡在 Pending 时先看哪三处。1. 为什么把 HUSTOJ 塞进 VMware 里跑1.1 判题机要动的是整台机器的权限在线判题系统和普通 Web 应用最本质的区别在于它必须执行完全不可信的代码。用户提交上来的程序可能是死循环、可能是 fork 炸弹、可能是疯狂申请内存的数组开太大、也可能是一段试图读/etc/shadow的恶意程序。为了防这些判题内核需要setrlimit限制 CPU 时间和地址空间、需要ptrace跟踪子进程、需要以特定低权限用户身份运行某些模式下还要chroot到一个最小根目录里编译。这意味着它要碰的东西是普通应用根本不会去碰的系统层能力。把这么一套东西直接装在自己天天用的开发机上我吃过亏。最早我在本机的 Ubuntu 上装判题机为了 chroot 把一个精简根目录塞进了/home/judge加上几轮乱改权限最后把自己账号的 sudo 配置搞坏了折腾了半天才修回来。从那以后我的原则就定死了判题机这种权限又高、行为又野的组件永远关在虚拟机里。这套环境出任何问题一条回滚就能解决不用去救宿主机。1.2 虚拟化带来的四件实事第一件是快照。改判题内核、换 PHP 版本、动数据库表结构之前先拍一张改崩了几十秒就能回来。判题系统的源码目录和数据库是强耦合的改错一个字段名整站提交全挂没有快照的话排查成本极高。第二件是隔离。虚拟机里的编译器和运行库版本可以随便折腾装三个不同版本的 JDK、换 Python 版本、给 C 换标准都不影响宿主机上正在做的正经事。第三件是可复制。整套环境Web 程序 数据库 题库数据 判题内核都在一个虚拟磁盘文件里拷给同事就是他的一份现成开发环境不用再走一遍安装流程。做课程实训的时候这一点特别省事。第四件是可以多开。判题机的架构天生支持一个数据库 多台判题机在宿主机上开两个虚拟机一个跑 Web 和数据库另一个只跑判题进程用来验证多判题机负载的做法比在单机上硬造场景真实得多。1.3 虚拟机规格怎么定一次基于参数的估算规格不用拍脑袋可以从判题的并发模型倒推。判题机的设计是一个判题进程占用一个 CPU 核心去做编译和运行judge.conf里通常有一个表示并发判题数量的字段老版本叫OJ_TOTAL也有版本用别的名字以你手上源码的实际字段为准。假设你设成 4那判题这一侧就要 4 个核Web 端跑 PHP 和 MySQL轻负载下 1 到 2 个核够用再留一点余量给系统本身。所以我的推荐配置是这样的使用场景vCPU内存磁盘判题并发单人开发调试、少量题目22 GB40 GB1 ~ 2社团/班级内部使用几十人44 GB60 GB3 ~ 4多判题机实验、压测4 24 GB 2 GB60 GB 30 GBWeb 机 0判题机 4内存的算法也简单单次判题进程的地址空间上限一般设 256 MB 到 512 MB并发 4 就是 1 GB 到 2 GB加上 MySQL 的缓冲池默认配置下几百 MB、PHP-FPM 的若干进程、系统本身2 GB 内存跑 4 并发是吃紧的4 GB 才从容。磁盘这边题库数据是最容易失控的部分一道中等难度的题10 组测试点、每组输入输出各 1 MB就是 20 MB一千道题就是 20 GB。再加上快照我一般按数据预估 × 2来定磁盘。还有一个容易被忽略的点不要开精简置备之后又疯狂拍快照。虚拟机磁盘文件看着只占几 GB实际快照里可能已经堆了几十 GB 的变化量宿主机硬盘一满虚拟机会直接暂停。我的习惯是磁盘用精简置备图省空间但快照控制在 2 到 3 个做完一次大改动就合并掉旧的。2. 虚拟机与系统底座的搭建细节2.1 NAT 还是桥接先想清楚谁要访问这台机器这个问题问的人最多其实答案取决于两件事你是不是只在自己电脑上访问以及局域网里的其他人要不要连进来。NAT 模式下虚拟机和宿主机共享一个虚拟网段虚拟机可以上网但外部机器访问不到它只能靠 VMware 的端口转发把宿主机某个端口映射到虚拟机 80 端口。我在只做单机开发的时候一律用 NAT好处是不占局域网 IP、换个网络环境比如从公司回家虚拟机 IP 都不变不用重配。端口转发在虚拟机的编辑 → 虚拟网络编辑器 → NAT 设置里加一条宿主机的 8080 映射到虚拟机的 80然后浏览器敲http://localhost:8080就能进 OJ。桥接模式下虚拟机在局域网里是一台独立主机有自己的 IP同网段的任何人都能访问。给班级或社团部署、要让别人从自己电脑提交代码的时候用这个省掉端口转发那一步。代价是换网络环境后 IP 可能变得重新配。配固定 IP 这件事新版系统一般用 netplan配置文件在/etc/netplan/下形如network: version: 2 ethernets: ens33: dhcp4: false addresses: [192.168.10.50/24] gateway4: 192.168.10.2 nameservers: addresses: [192.168.10.2]注意网卡名ens33是 VMware 下常见名字改之前先ip addr看一眼实际名字写错了应用配置后网卡起不来得进控制台救。改完执行sudo netplan apply别只保存不应用。2.2 磁盘规划与最小化安装我一般用 Ubuntu Server 的长期支持版本装的时候选最小化不要装桌面环境。桌面环境会额外拉起几百 MB 内存和一堆用不上的服务对一个要跑判题的机器来说纯属浪费。分区上我习惯分/60 GB 左右LVM 或不 LVM 都行LVM 的好处是后面能扩swap给 2 GB——判题机不太吃 swap给太多反而在内存吃紧的时候拖慢判题。安装过程中有个细节磁盘选择时如果 VMware 给你的是 NVMe 或者 SCSI 盘正常装就行装完记得把 VMware Tools 或者 open-vm-tools 装上时间同步和挂起恢复后的时钟纠正都靠它。sudo apt update sudo apt install -y open-vm-tools build-essential vim curl2.3 装完系统先做的几件事第一件是设时区。判题系统里到处是时间戳提交时间、评测耗时、比赛开始结束时间。虚拟机的时钟如果和宿主机差几个小时比赛页面的倒计时会莫名其妙乱掉。sudo timedatectl set-timezone Asia/Shanghai sudo timedatectl set-ntp true第二件是关掉不必要的防火墙规则或者放行 80 端口。本地开发图省事我直接把 ufw 关掉如果是局域网给他人用的环境就放行 80 和 33063306 只在确需远程连库时开。第三件是确认 VMware 的虚拟化嵌套开关。如果你打算在虚拟机里再跑容器化方案、或者想开一个 Docker 版判题环境需要在虚拟机关机状态下进设置 → 处理器 → 虚拟化 Intel VT-x/EPT 或 AMD-V/RVI勾上。不勾的话容器会起不来这个坑很隐蔽——报错信息完全看不出是虚拟化嵌套被关了。第四件事拍第一张快照标注为系统底座完成。后面任何折腾崩了回到这里最多损失装系统那十来分钟。3. 两条部署路线一键脚本与手工拆装3.1 一键脚本到底替你干了什么HUSTOJ 官方维护了一个安装脚本项目源码仓库里能拿到脚本文件名通常叫install-ubuntu.sh之类按你的系统版本取。跑它之前我强烈建议你先做一件事把脚本通读一遍。不是因为它不安全而是因为它是你后面排查问题的地图。脚本大致做了这么几件事更新软件源安装 Apache 或 Nginx、PHP 及扩展、MySQL 或 MariaDB、gcc/g、OpenJDK、Python 等编译运行环境创建judge用户和/home/judge目录树把 Web 程序拷进站点目录把判题内核源码放进src/core并编译建数据库、导入初始表结构、写db_info.inc.php和judge.conf两份配置注册一个默认管理员账号配置开机自启的判题守护进程。跑完之后浏览器打开站点能看到首页说明 Web 端通了。但注意首页能打开不代表判题机能干活这是新手最容易混淆的一点。我见过太多次Web 端一切正常提交代码后一条记录挂在 Pending 上永不消失实际上判题守护进程压根没启动。所以脚本跑完多执行两步验证ps aux | grep judged tail -n 50 /home/judge/log/judged.log第一条看判题守护进程在不在第二条看它的日志有没有连不上数据库、权限不足之类的报错。这两个都干净才算真正装完。3.2 手动搭建把栈拆开逐个来一键脚本省事但我更推荐至少手动做过一遍。原因很直接脚本把你和系统之间隔了一层出了问题你不知道是哪一层的问题。手动路线大概是这样几条先装 Web 栈Apache 或者 Nginx 二选一配合 PHP-FPM 和 MySQLPHP 需要的扩展主要是数据库连接、字符串处理、多字节那几个缺了哪个页面上就会出现白屏或者 fatal error。然后建库、导入项目里自带的 SQL 初始化文件。接着把 Web 源码放到站点根目录改db_info.inc.php里的主机、库名、账号密码让页面能连上库、能注册登录。再装判题侧建judge用户建/home/judge及src、data、log、etc子目录把src/core里的源码编译出来改judge.conf让判题机和数据库握手最后把守护进程的启动脚本放到系统服务目录里。提示db_info.inc.php和judge.conf里的数据库连接信息必须完全一致——库名、用户名、密码、端口任何一项对不上表现都是Web 端看着正常判题机一动不动。这两份配置我都习惯用diff对一遍比出一堆错再回头翻要快得多。手动做一遍的收益在于你会非常清楚哪个组件在哪个位置、哪个配置文件控制什么。后来我去改判题日志格式、改评测结果的展示、加一门新的编程语言都是靠这份地图。3.3 /home/judge 目录解剖与 judge.conf 的关键字段装完之后目录结构大致长这样每个目录都有明确职责路径作用改动频率/home/judge/src/webWeb 前台与后台的全部 PHP高二次开发主战场/home/judge/src/core判题内核源码编译后出可执行文件中改评测逻辑时动/home/judge/data题目数据一题一个数字目录高加题必须动/home/judge/etc配置文件含judge.conf和各语言参数中/home/judge/log判题日志排查问题的第一现场看不手动改/home/judge/run0~runN判题时的工作目录每个并发槽一个自动清理judge.conf里有几组字段值得单独说。数据库那一组主机、用户、密码、库名、端口决定判题机能不能连上库运行相关那一组决定判题并发数和轮询间隔——轮询间隔调太小会白白空转吃 CPU调太大则提交后要等好几秒才开判我一般设 1 秒限制那一组是编译、运行时间和内存的全局上限还有一组和chroot相关的开关默认打开用最小化根目录做编译隔离如果你的环境编译时报找不到某个库可以先把它关掉验证是不是隔离导致的。改完judge.conf一定要重启判题守护进程才生效这点和改 Web 端配置不同——Web 端改 PHP 文件是即时生效的除非开了 OPcache 且没设检查时间。3.4 数据库里那张 solution 表才是判题队列理解 HUSTOJ 的架构只要记住一句话网页和判题机之间不直接通信它们通过一张数据库表传递任务。用户提交代码Web 端往solution有的版本表名略有差异表插一条记录状态是等待判题判题机轮询这张表捞到等待的记录就取走、编译、运行、比对最后把结果通过、答案错、超时、内存超限、编译错误、运行错误和各测试点耗时写回去网页再读这张表渲染结果。这个设计的妙处在于解耦判题机可以部署在另一台机器上Web 端完全不知道它在哪判题机挂了再启队列里的任务不会丢想加判题能力直接再起一台连同一个库就行。麻烦之处在于排查问题要从数据库入手一条记录卡在等待状态你去看网页是看不出所以然的得进库看这条记录的状态字段到底有没有被改动过。除了solution还有几张表常用题目定义表时限、内存限制、题面内容、是否启用、编译错误信息表编译失败的输出存在这里网页上展示的就是它、用户表和管理员权限表、比赛相关表、以及用于查重的相似度表。加题、改时限、批量导题本质都是操作这些表。我建议在动手改任何东西之前先mysqldump一份尤其是只打算改一个字段的时候——我改过一次题目时限忘了带 WHERE 条件一千多道题的时限全被刷成同一个值。4. 判题内核的编译、调试与二次开发4.1 一次提交从点鼠标到出结果的完整链路把链路走一遍后面所有调试都有落脚点。用户点提交 → PHP 把代码、语言、题目编号写进数据库状态标记为等待 → 判题守护进程按配置的间隔轮询发现待判任务 → 分配一个并发槽对应一个runN工作目录→ 创建判题用户子进程 → 把代码写进工作目录按语言选择编译命令 → 编译期受限、有输出就判编译错误 → 编译成功则逐个测试点执行执行时设 CPU 时间上限、内存上限、输出文件大小上限 → 比对标准输出或用特殊评测程序比对 → 汇总每个测试点的结果和耗时 → 写回数据库清理工作目录。这条链路上任何一环断掉用户在网页上看到的都是卡住或者莫名错误。所以我在排查时习惯按链路的顺序走先看数据库里记录有没有被取走再看守护进程日志有没有开始处理再看工作目录里有没有留下中间文件最后看判题机是不是编译环境缺东西。4.2 改了 judge_client 怎么编译、怎么只重启判题机二次开发里最常见的动作就是改判题内核再验证。比如我想在评测结果里额外记录程序运行时的峰值内存或者想调整对某个语言的编译参数。流程是这样的cd /home/judge/src/core # 改完源码后重新编译 make clean make # 确认可执行文件已更新 ls -l judge_client # 只重启判题守护进程不动 Web 和数据库 sudo /etc/init.d/judged restart注意重启判题守护进程会中断正在评测中的任务。如果机器上有人在提交最好先看一眼有没有正在判的记录或者干脆选个没人用的时段。中断的任务会留在数据库里状态可能是中间态需要手动改回去才会被重新捞取。我在社团环境上因为这点被人抱怨过后来养成习惯改内核前先在后台把判题机暂停改配置里的并发数为 0 或停掉服务改完再恢复。编译失败最常见的原因是缺头文件或者链接库版本对不上。这类报错信息很直白照着装对应的开发包就行。另一个坑是编译出来的可执行文件权限和属主不对判题机以judge用户运行如果二进制文件属主是 root 且没有其他用户的执行权限守护进程会报启动失败。装完执行chown judge:judge judge_client chmod 755 judge_client保险。4.3 judge 用户的权限边界与 chroot 取舍判题用户的权限设计是整个系统安全性的核心。这个用户应该只有/home/judge下的读写权限不能 sudo不能读系统敏感文件不能写站点目录。它的存在意义是即便有人提交了恶意代码并且成功突破了沙箱限制能造成的破坏也被限制在这一个目录里。chroot那一层是为了编译隔离。原理是给编译过程准备一个最小化的根目录把编译器、标准库、必要的头文件拷进去编译时把进程的根目录切过去。好处是用户代码即使尝试#include /etc/passwd也读不到东西。代价是维护成本你装一门新语言比如新版本的 Go 或者 Rust就得往那个最小根目录里补对应的编译器和库漏一个就是编译错误而且错误信息往往看不出是隔离导致的。我的建议是分阶段处理开发调试阶段先把chroot关掉让编译报错信息更直白、加语言更省事等题目和功能都稳定了再打开它然后专门用一两道题把每种语言都跑一遍确认最小根目录里该有的都有。这个开关的字段名以你手上这份配置为准改完重启服务。4.4 加题、造数据与特殊评测加一道题的完整动作比很多人想的要多些。后台新建题目填题面、时限、内存限制、样例输入输出然后在/home/judge/data下找到这道题编号对应的目录编号就是题目的数字 ID把测试数据按约定命名放进去通常是1.in/1.out这样成对出现样例单独存一份上传或者直接拷贝都行注意属主和权限要给到judge用户可读。数据是我见过最容易出问题的地方。几个必须守住的点输入文件和输出文件的编号必须连续且成对缺一个输出文件这道题某些测试点会判成答案错或者直接报错行尾不要有多余空行比对逻辑对空白字符敏感Windows 上生成的输出文件带 CRLF拷进 Linux 会让本来正确的程序判错行末不能有多余空格这个坑我踩过一道字符串题调了一晚上最后发现是造数据时编辑器自动加了个尾随空格。有些题没法用标准输出比对比如输出任意一组可行解就要写特殊评测程序。做法是在题目目录里放一份源码一般叫spj.cc里面读入标准输入、标准输出、用户输出三个文件自己判断用户输出是否合法按约定返回不同数值表示通过、格式错误、答案错误。写完编译成可执行文件放在同目录评测时判题机会优先调用它。写的时候有个细节特殊评测程序的返回值约定各版本略有不同动手前先在源码里搜一下调用处的判断逻辑别照着网上的老文章硬套。5. 常见问题与排查实录5.1 提交后一直 Pending判题机没在干活这是最高频的问题没有之一。排查顺序我固定成三步能覆盖九成情况。第一步看守护进程在不在ps aux | grep judged。不在就启动服务启动失败看日志。第二步日志里有没有连数据库的报错。八成是judge.conf里的库名、账号、密码和 Web 端不一致或者数据库服务本身没起。这种情况日志里通常有非常明确的连接被拒绝或者认证失败。第三步数据库里这条记录的状态字段有没有变化。如果守护进程在跑、日志也没报错但记录纹丝不动那就是它在轮询时压根没捞到这条记录——可能是并发数被设成了 0也可能是它连的是另一个库比如老版本默认库名和新版不同两边配置各写各的看着都在跑其实各说各话。还有一种隐蔽情况判题机确实取走了任务也判完了但写回结果时失败。表现还是 Pending。这种在日志里能看到写入相关的报错多半是数据库连接中途断开、或者判题用户对某张表没有写权限。5.2 被判编译错误或运行错误但本地明明能过编译器版本差异是头号元凶。本地用的新版本编译器默认标准比服务器上的新用了一些服务器不支持的语法或者反过来服务器上的老代码在新编译器上变了行为。解决办法很朴素在判题机上用命令行手动编译一遍看真实报错。命令行复现不了的问题就不是判题系统的锅。语言选错也很常见。C 和 C 的编译命令不一样选成 C 交了 C 代码cout直接报未定义。这个问题在页面上表现为编译错误看一眼报错信息就知道了。运行错误里除了真正的数组越界、除零还有两个判题系统特有的原因一是栈空间限制递归深度大的程序在普通环境里能跑在受限环境里栈溢出被判运行错误二是内存统计口径判题系统统计的是进程峰值内存某些语言尤其是虚拟机类语言本身就有较大的基础内存开销紧贴内存上限的题目很容易被判超限。超时也是类似逻辑。虚拟机类语言的启动开销大判题配置里通常有语言对应的时间倍率如果没有配或者配小了同样的算法在 Java 上就是超时、在 C 上就过。5.3 Web 端与网络层面的坑页面能打开但样式全丢基本都是站点根目录配错了或者静态资源目录的访问权限不对。登录后跳转异常多半是站点基础 URL 配置和实际访问地址不一致——虚拟机里配的是127.0.0.1你从宿主机用局域网 IP 访问某些跳转就会跑偏。这个在把环境从 NAT 改成桥接之后特别容易撞上。数据库字符集问题也很典型题面里有中文页面上显示成问号或者乱码。这是建库时字符集没配对或者连接时没指定字符集。解决方式是建库就用支持中文的字符集配置里明确指定连接字符集导入数据时也用一致的编码。上传题目数据失败检查两件事PHP 的上传大小限制默认值通常很小几十兆的测试数据包直接传不上去以及目标目录的属主权限。5.4 常见问题速查表现象最可能的原因快速验证方式提交后长期 Pending判题守护进程未启动 / 数据库配置不一致看进程、看判题日志全部提交都判编译错误编译器缺失或语言选择错配命令行手动编译一次某道题总是答案错误数据文件缺失、CRLF 行尾、尾随空格手工 diff 用户输出与标准输出特殊评测题全部错误评测程序返回值约定不符读源码里的调用判断逻辑中文题面乱码库或连接字符集不对看建库语句与连接配置页面样式丢失站点根目录或静态资源权限浏览器看资源请求返回码局域网访问不了NAT 模式未做端口转发宿主机端口映射配置时间显示差几小时时区未设置 / 虚拟机挂起后时钟漂移timedatectl查看当前时区上传数据失败PHP 上传大小限制改配置后重启 Web 服务判题机启动即退出二进制文件属主或权限不对ls -l看可执行文件权限6. 长期维护与二次开发的一些经验6.1 快照策略和升级前的保命动作我把快照当成代码之外的版本控制。命名规则固定成日期 动作比如改判题内核前、升级 PHP 前。做任何可能影响整站的动作之前先拍一张动作做完验证通过就把上一张合并掉避免快照链越拉越长、磁盘越吃越狠。真要做升级换系统大版本、换 PHP 大版本、换数据库大版本我的流程是先关机拍快照 → 开机做升级 → 用一套固定的回归清单验证注册登录、提交一道通过、提交一道编译错误、提交一道超时、看比赛页面、看后台加题→ 全部通过才合并快照。这套清单我写在一张纸上贴在显示器边上看起来很笨但救过我很多次。6.2 时间、日志与数据备份虚拟机最容易出的诡异问题和时间有关。宿主机休眠、虚拟机挂起再恢复客户机时钟可能和真实时间差出几小时甚至几天表现出来是比赛倒计时错乱、提交时间排序异常。装好 open-vm-tools 并开启时间同步基本能避免。日志方面/home/judge/log下的文件要及时清理或者配置轮转。判题日志增长很快尤其是有大量编译错误的时候编译输出会原样记进去一个磁盘写满的判题机会让所有提交都变成莫名的错误。数据备份我做两件事题库数据目录定期打包题目数据是你最不想重造的东西数据库定期导出。这两样加起来才是一套完整的、可以搬到新机器上重建的环境。6.3 我踩过最疼的几个坑第一个是在宿主机和虚拟机之间来回拖文件。造好的.out文件从宿主机拖进去行尾变成了 CRLF一道字符串题调了一晚上。后来我定了规矩所有数据文件先进虚拟机再用命令行工具统一转一遍行尾绝不直接用图形界面拖。第二个是贪图方便用 root 跑判题。某次图省事把守护进程改成 root 启动测试时提交了一段会删除文件的程序结果它把/home/judge/data里几道题的输出文件删了。那次之后我把权限收紧到不能再紧并且把数据目录单独做了一份只读备份。第三个是改配置忘了重启。PHP 改完即时生效judge.conf改完不重启等于没改。我现在的习惯是改完任何配置文件先在终端里记一笔要重启哪些服务改完一次性重启然后再验证。第四个是并发数设太高。在一台 2 核的虚拟机上把判题并发设成 8编译稍微多一点的提交就把机器压死Web 端都打不开了。并发数不要超过实际 CPU 核数这条是硬规矩。最后分享一个我觉得很值的小技巧给这台开发虚拟机做一个干净底座的完整克隆所有折腾都在克隆体上做。折腾废了删掉重克隆三十秒一个新环境。我现在的做法是底座虚拟机里只装系统和基础依赖判题系统的部署和二次开发全部在克隆体上完成——这样我既有一份永远干净的环境又能在任意一个分支上做破坏性实验。这套环境后来的扩展空间还很大往判题机方向可以做多判题机的负载实验往 Web 方向可以做题目分类、题解分享、提交记录可视化往评测方向可以做自定义评测脚本、多语言支持。只要那台虚拟机还在这些尝试的成本就只是一次快照而已。
在线判题系统这东西第一次接触的人多半会觉得它就是一个能跑代码的网页。真把它架起来才会发现它其实是两套完全不同的程序拼在一起一套是给用户看的 Web 前台另一套是躲在后台、以极高权限编译执行陌生代码的判题机。我前后在 VMware 里搭过好几轮 HUSTOJ从最初在笔记本上跑个单机版给社团内部练手到后来做成可以整体拷走的开发镜像中间踩的坑比写业务代码多得多。这篇就把这套在 VMware 虚拟机里部署并二次开发 HUSTOJ的完整过程摊开讲它适合谁适合手里只有一台电脑、又想有一个随时能推倒重来的判题环境的开发者适合要给课程或内部培训做题目评测的同学也适合想读懂判题内核、改评测逻辑的人。我会从虚拟机规格怎么算讲起一路讲到改完 judge_client 之后怎么只重启判题机、提交卡在 Pending 时先看哪三处。1. 为什么把 HUSTOJ 塞进 VMware 里跑1.1 判题机要动的是整台机器的权限在线判题系统和普通 Web 应用最本质的区别在于它必须执行完全不可信的代码。用户提交上来的程序可能是死循环、可能是 fork 炸弹、可能是疯狂申请内存的数组开太大、也可能是一段试图读/etc/shadow的恶意程序。为了防这些判题内核需要setrlimit限制 CPU 时间和地址空间、需要ptrace跟踪子进程、需要以特定低权限用户身份运行某些模式下还要chroot到一个最小根目录里编译。这意味着它要碰的东西是普通应用根本不会去碰的系统层能力。把这么一套东西直接装在自己天天用的开发机上我吃过亏。最早我在本机的 Ubuntu 上装判题机为了 chroot 把一个精简根目录塞进了/home/judge加上几轮乱改权限最后把自己账号的 sudo 配置搞坏了折腾了半天才修回来。从那以后我的原则就定死了判题机这种权限又高、行为又野的组件永远关在虚拟机里。这套环境出任何问题一条回滚就能解决不用去救宿主机。1.2 虚拟化带来的四件实事第一件是快照。改判题内核、换 PHP 版本、动数据库表结构之前先拍一张改崩了几十秒就能回来。判题系统的源码目录和数据库是强耦合的改错一个字段名整站提交全挂没有快照的话排查成本极高。第二件是隔离。虚拟机里的编译器和运行库版本可以随便折腾装三个不同版本的 JDK、换 Python 版本、给 C 换标准都不影响宿主机上正在做的正经事。第三件是可复制。整套环境Web 程序 数据库 题库数据 判题内核都在一个虚拟磁盘文件里拷给同事就是他的一份现成开发环境不用再走一遍安装流程。做课程实训的时候这一点特别省事。第四件是可以多开。判题机的架构天生支持一个数据库 多台判题机在宿主机上开两个虚拟机一个跑 Web 和数据库另一个只跑判题进程用来验证多判题机负载的做法比在单机上硬造场景真实得多。1.3 虚拟机规格怎么定一次基于参数的估算规格不用拍脑袋可以从判题的并发模型倒推。判题机的设计是一个判题进程占用一个 CPU 核心去做编译和运行judge.conf里通常有一个表示并发判题数量的字段老版本叫OJ_TOTAL也有版本用别的名字以你手上源码的实际字段为准。假设你设成 4那判题这一侧就要 4 个核Web 端跑 PHP 和 MySQL轻负载下 1 到 2 个核够用再留一点余量给系统本身。所以我的推荐配置是这样的使用场景vCPU内存磁盘判题并发单人开发调试、少量题目22 GB40 GB1 ~ 2社团/班级内部使用几十人44 GB60 GB3 ~ 4多判题机实验、压测4 24 GB 2 GB60 GB 30 GBWeb 机 0判题机 4内存的算法也简单单次判题进程的地址空间上限一般设 256 MB 到 512 MB并发 4 就是 1 GB 到 2 GB加上 MySQL 的缓冲池默认配置下几百 MB、PHP-FPM 的若干进程、系统本身2 GB 内存跑 4 并发是吃紧的4 GB 才从容。磁盘这边题库数据是最容易失控的部分一道中等难度的题10 组测试点、每组输入输出各 1 MB就是 20 MB一千道题就是 20 GB。再加上快照我一般按数据预估 × 2来定磁盘。还有一个容易被忽略的点不要开精简置备之后又疯狂拍快照。虚拟机磁盘文件看着只占几 GB实际快照里可能已经堆了几十 GB 的变化量宿主机硬盘一满虚拟机会直接暂停。我的习惯是磁盘用精简置备图省空间但快照控制在 2 到 3 个做完一次大改动就合并掉旧的。2. 虚拟机与系统底座的搭建细节2.1 NAT 还是桥接先想清楚谁要访问这台机器这个问题问的人最多其实答案取决于两件事你是不是只在自己电脑上访问以及局域网里的其他人要不要连进来。NAT 模式下虚拟机和宿主机共享一个虚拟网段虚拟机可以上网但外部机器访问不到它只能靠 VMware 的端口转发把宿主机某个端口映射到虚拟机 80 端口。我在只做单机开发的时候一律用 NAT好处是不占局域网 IP、换个网络环境比如从公司回家虚拟机 IP 都不变不用重配。端口转发在虚拟机的编辑 → 虚拟网络编辑器 → NAT 设置里加一条宿主机的 8080 映射到虚拟机的 80然后浏览器敲http://localhost:8080就能进 OJ。桥接模式下虚拟机在局域网里是一台独立主机有自己的 IP同网段的任何人都能访问。给班级或社团部署、要让别人从自己电脑提交代码的时候用这个省掉端口转发那一步。代价是换网络环境后 IP 可能变得重新配。配固定 IP 这件事新版系统一般用 netplan配置文件在/etc/netplan/下形如network: version: 2 ethernets: ens33: dhcp4: false addresses: [192.168.10.50/24] gateway4: 192.168.10.2 nameservers: addresses: [192.168.10.2]注意网卡名ens33是 VMware 下常见名字改之前先ip addr看一眼实际名字写错了应用配置后网卡起不来得进控制台救。改完执行sudo netplan apply别只保存不应用。2.2 磁盘规划与最小化安装我一般用 Ubuntu Server 的长期支持版本装的时候选最小化不要装桌面环境。桌面环境会额外拉起几百 MB 内存和一堆用不上的服务对一个要跑判题的机器来说纯属浪费。分区上我习惯分/60 GB 左右LVM 或不 LVM 都行LVM 的好处是后面能扩swap给 2 GB——判题机不太吃 swap给太多反而在内存吃紧的时候拖慢判题。安装过程中有个细节磁盘选择时如果 VMware 给你的是 NVMe 或者 SCSI 盘正常装就行装完记得把 VMware Tools 或者 open-vm-tools 装上时间同步和挂起恢复后的时钟纠正都靠它。sudo apt update sudo apt install -y open-vm-tools build-essential vim curl2.3 装完系统先做的几件事第一件是设时区。判题系统里到处是时间戳提交时间、评测耗时、比赛开始结束时间。虚拟机的时钟如果和宿主机差几个小时比赛页面的倒计时会莫名其妙乱掉。sudo timedatectl set-timezone Asia/Shanghai sudo timedatectl set-ntp true第二件是关掉不必要的防火墙规则或者放行 80 端口。本地开发图省事我直接把 ufw 关掉如果是局域网给他人用的环境就放行 80 和 33063306 只在确需远程连库时开。第三件是确认 VMware 的虚拟化嵌套开关。如果你打算在虚拟机里再跑容器化方案、或者想开一个 Docker 版判题环境需要在虚拟机关机状态下进设置 → 处理器 → 虚拟化 Intel VT-x/EPT 或 AMD-V/RVI勾上。不勾的话容器会起不来这个坑很隐蔽——报错信息完全看不出是虚拟化嵌套被关了。第四件事拍第一张快照标注为系统底座完成。后面任何折腾崩了回到这里最多损失装系统那十来分钟。3. 两条部署路线一键脚本与手工拆装3.1 一键脚本到底替你干了什么HUSTOJ 官方维护了一个安装脚本项目源码仓库里能拿到脚本文件名通常叫install-ubuntu.sh之类按你的系统版本取。跑它之前我强烈建议你先做一件事把脚本通读一遍。不是因为它不安全而是因为它是你后面排查问题的地图。脚本大致做了这么几件事更新软件源安装 Apache 或 Nginx、PHP 及扩展、MySQL 或 MariaDB、gcc/g、OpenJDK、Python 等编译运行环境创建judge用户和/home/judge目录树把 Web 程序拷进站点目录把判题内核源码放进src/core并编译建数据库、导入初始表结构、写db_info.inc.php和judge.conf两份配置注册一个默认管理员账号配置开机自启的判题守护进程。跑完之后浏览器打开站点能看到首页说明 Web 端通了。但注意首页能打开不代表判题机能干活这是新手最容易混淆的一点。我见过太多次Web 端一切正常提交代码后一条记录挂在 Pending 上永不消失实际上判题守护进程压根没启动。所以脚本跑完多执行两步验证ps aux | grep judged tail -n 50 /home/judge/log/judged.log第一条看判题守护进程在不在第二条看它的日志有没有连不上数据库、权限不足之类的报错。这两个都干净才算真正装完。3.2 手动搭建把栈拆开逐个来一键脚本省事但我更推荐至少手动做过一遍。原因很直接脚本把你和系统之间隔了一层出了问题你不知道是哪一层的问题。手动路线大概是这样几条先装 Web 栈Apache 或者 Nginx 二选一配合 PHP-FPM 和 MySQLPHP 需要的扩展主要是数据库连接、字符串处理、多字节那几个缺了哪个页面上就会出现白屏或者 fatal error。然后建库、导入项目里自带的 SQL 初始化文件。接着把 Web 源码放到站点根目录改db_info.inc.php里的主机、库名、账号密码让页面能连上库、能注册登录。再装判题侧建judge用户建/home/judge及src、data、log、etc子目录把src/core里的源码编译出来改judge.conf让判题机和数据库握手最后把守护进程的启动脚本放到系统服务目录里。提示db_info.inc.php和judge.conf里的数据库连接信息必须完全一致——库名、用户名、密码、端口任何一项对不上表现都是Web 端看着正常判题机一动不动。这两份配置我都习惯用diff对一遍比出一堆错再回头翻要快得多。手动做一遍的收益在于你会非常清楚哪个组件在哪个位置、哪个配置文件控制什么。后来我去改判题日志格式、改评测结果的展示、加一门新的编程语言都是靠这份地图。3.3 /home/judge 目录解剖与 judge.conf 的关键字段装完之后目录结构大致长这样每个目录都有明确职责路径作用改动频率/home/judge/src/webWeb 前台与后台的全部 PHP高二次开发主战场/home/judge/src/core判题内核源码编译后出可执行文件中改评测逻辑时动/home/judge/data题目数据一题一个数字目录高加题必须动/home/judge/etc配置文件含judge.conf和各语言参数中/home/judge/log判题日志排查问题的第一现场看不手动改/home/judge/run0~runN判题时的工作目录每个并发槽一个自动清理judge.conf里有几组字段值得单独说。数据库那一组主机、用户、密码、库名、端口决定判题机能不能连上库运行相关那一组决定判题并发数和轮询间隔——轮询间隔调太小会白白空转吃 CPU调太大则提交后要等好几秒才开判我一般设 1 秒限制那一组是编译、运行时间和内存的全局上限还有一组和chroot相关的开关默认打开用最小化根目录做编译隔离如果你的环境编译时报找不到某个库可以先把它关掉验证是不是隔离导致的。改完judge.conf一定要重启判题守护进程才生效这点和改 Web 端配置不同——Web 端改 PHP 文件是即时生效的除非开了 OPcache 且没设检查时间。3.4 数据库里那张 solution 表才是判题队列理解 HUSTOJ 的架构只要记住一句话网页和判题机之间不直接通信它们通过一张数据库表传递任务。用户提交代码Web 端往solution有的版本表名略有差异表插一条记录状态是等待判题判题机轮询这张表捞到等待的记录就取走、编译、运行、比对最后把结果通过、答案错、超时、内存超限、编译错误、运行错误和各测试点耗时写回去网页再读这张表渲染结果。这个设计的妙处在于解耦判题机可以部署在另一台机器上Web 端完全不知道它在哪判题机挂了再启队列里的任务不会丢想加判题能力直接再起一台连同一个库就行。麻烦之处在于排查问题要从数据库入手一条记录卡在等待状态你去看网页是看不出所以然的得进库看这条记录的状态字段到底有没有被改动过。除了solution还有几张表常用题目定义表时限、内存限制、题面内容、是否启用、编译错误信息表编译失败的输出存在这里网页上展示的就是它、用户表和管理员权限表、比赛相关表、以及用于查重的相似度表。加题、改时限、批量导题本质都是操作这些表。我建议在动手改任何东西之前先mysqldump一份尤其是只打算改一个字段的时候——我改过一次题目时限忘了带 WHERE 条件一千多道题的时限全被刷成同一个值。4. 判题内核的编译、调试与二次开发4.1 一次提交从点鼠标到出结果的完整链路把链路走一遍后面所有调试都有落脚点。用户点提交 → PHP 把代码、语言、题目编号写进数据库状态标记为等待 → 判题守护进程按配置的间隔轮询发现待判任务 → 分配一个并发槽对应一个runN工作目录→ 创建判题用户子进程 → 把代码写进工作目录按语言选择编译命令 → 编译期受限、有输出就判编译错误 → 编译成功则逐个测试点执行执行时设 CPU 时间上限、内存上限、输出文件大小上限 → 比对标准输出或用特殊评测程序比对 → 汇总每个测试点的结果和耗时 → 写回数据库清理工作目录。这条链路上任何一环断掉用户在网页上看到的都是卡住或者莫名错误。所以我在排查时习惯按链路的顺序走先看数据库里记录有没有被取走再看守护进程日志有没有开始处理再看工作目录里有没有留下中间文件最后看判题机是不是编译环境缺东西。4.2 改了 judge_client 怎么编译、怎么只重启判题机二次开发里最常见的动作就是改判题内核再验证。比如我想在评测结果里额外记录程序运行时的峰值内存或者想调整对某个语言的编译参数。流程是这样的cd /home/judge/src/core # 改完源码后重新编译 make clean make # 确认可执行文件已更新 ls -l judge_client # 只重启判题守护进程不动 Web 和数据库 sudo /etc/init.d/judged restart注意重启判题守护进程会中断正在评测中的任务。如果机器上有人在提交最好先看一眼有没有正在判的记录或者干脆选个没人用的时段。中断的任务会留在数据库里状态可能是中间态需要手动改回去才会被重新捞取。我在社团环境上因为这点被人抱怨过后来养成习惯改内核前先在后台把判题机暂停改配置里的并发数为 0 或停掉服务改完再恢复。编译失败最常见的原因是缺头文件或者链接库版本对不上。这类报错信息很直白照着装对应的开发包就行。另一个坑是编译出来的可执行文件权限和属主不对判题机以judge用户运行如果二进制文件属主是 root 且没有其他用户的执行权限守护进程会报启动失败。装完执行chown judge:judge judge_client chmod 755 judge_client保险。4.3 judge 用户的权限边界与 chroot 取舍判题用户的权限设计是整个系统安全性的核心。这个用户应该只有/home/judge下的读写权限不能 sudo不能读系统敏感文件不能写站点目录。它的存在意义是即便有人提交了恶意代码并且成功突破了沙箱限制能造成的破坏也被限制在这一个目录里。chroot那一层是为了编译隔离。原理是给编译过程准备一个最小化的根目录把编译器、标准库、必要的头文件拷进去编译时把进程的根目录切过去。好处是用户代码即使尝试#include /etc/passwd也读不到东西。代价是维护成本你装一门新语言比如新版本的 Go 或者 Rust就得往那个最小根目录里补对应的编译器和库漏一个就是编译错误而且错误信息往往看不出是隔离导致的。我的建议是分阶段处理开发调试阶段先把chroot关掉让编译报错信息更直白、加语言更省事等题目和功能都稳定了再打开它然后专门用一两道题把每种语言都跑一遍确认最小根目录里该有的都有。这个开关的字段名以你手上这份配置为准改完重启服务。4.4 加题、造数据与特殊评测加一道题的完整动作比很多人想的要多些。后台新建题目填题面、时限、内存限制、样例输入输出然后在/home/judge/data下找到这道题编号对应的目录编号就是题目的数字 ID把测试数据按约定命名放进去通常是1.in/1.out这样成对出现样例单独存一份上传或者直接拷贝都行注意属主和权限要给到judge用户可读。数据是我见过最容易出问题的地方。几个必须守住的点输入文件和输出文件的编号必须连续且成对缺一个输出文件这道题某些测试点会判成答案错或者直接报错行尾不要有多余空行比对逻辑对空白字符敏感Windows 上生成的输出文件带 CRLF拷进 Linux 会让本来正确的程序判错行末不能有多余空格这个坑我踩过一道字符串题调了一晚上最后发现是造数据时编辑器自动加了个尾随空格。有些题没法用标准输出比对比如输出任意一组可行解就要写特殊评测程序。做法是在题目目录里放一份源码一般叫spj.cc里面读入标准输入、标准输出、用户输出三个文件自己判断用户输出是否合法按约定返回不同数值表示通过、格式错误、答案错误。写完编译成可执行文件放在同目录评测时判题机会优先调用它。写的时候有个细节特殊评测程序的返回值约定各版本略有不同动手前先在源码里搜一下调用处的判断逻辑别照着网上的老文章硬套。5. 常见问题与排查实录5.1 提交后一直 Pending判题机没在干活这是最高频的问题没有之一。排查顺序我固定成三步能覆盖九成情况。第一步看守护进程在不在ps aux | grep judged。不在就启动服务启动失败看日志。第二步日志里有没有连数据库的报错。八成是judge.conf里的库名、账号、密码和 Web 端不一致或者数据库服务本身没起。这种情况日志里通常有非常明确的连接被拒绝或者认证失败。第三步数据库里这条记录的状态字段有没有变化。如果守护进程在跑、日志也没报错但记录纹丝不动那就是它在轮询时压根没捞到这条记录——可能是并发数被设成了 0也可能是它连的是另一个库比如老版本默认库名和新版不同两边配置各写各的看着都在跑其实各说各话。还有一种隐蔽情况判题机确实取走了任务也判完了但写回结果时失败。表现还是 Pending。这种在日志里能看到写入相关的报错多半是数据库连接中途断开、或者判题用户对某张表没有写权限。5.2 被判编译错误或运行错误但本地明明能过编译器版本差异是头号元凶。本地用的新版本编译器默认标准比服务器上的新用了一些服务器不支持的语法或者反过来服务器上的老代码在新编译器上变了行为。解决办法很朴素在判题机上用命令行手动编译一遍看真实报错。命令行复现不了的问题就不是判题系统的锅。语言选错也很常见。C 和 C 的编译命令不一样选成 C 交了 C 代码cout直接报未定义。这个问题在页面上表现为编译错误看一眼报错信息就知道了。运行错误里除了真正的数组越界、除零还有两个判题系统特有的原因一是栈空间限制递归深度大的程序在普通环境里能跑在受限环境里栈溢出被判运行错误二是内存统计口径判题系统统计的是进程峰值内存某些语言尤其是虚拟机类语言本身就有较大的基础内存开销紧贴内存上限的题目很容易被判超限。超时也是类似逻辑。虚拟机类语言的启动开销大判题配置里通常有语言对应的时间倍率如果没有配或者配小了同样的算法在 Java 上就是超时、在 C 上就过。5.3 Web 端与网络层面的坑页面能打开但样式全丢基本都是站点根目录配错了或者静态资源目录的访问权限不对。登录后跳转异常多半是站点基础 URL 配置和实际访问地址不一致——虚拟机里配的是127.0.0.1你从宿主机用局域网 IP 访问某些跳转就会跑偏。这个在把环境从 NAT 改成桥接之后特别容易撞上。数据库字符集问题也很典型题面里有中文页面上显示成问号或者乱码。这是建库时字符集没配对或者连接时没指定字符集。解决方式是建库就用支持中文的字符集配置里明确指定连接字符集导入数据时也用一致的编码。上传题目数据失败检查两件事PHP 的上传大小限制默认值通常很小几十兆的测试数据包直接传不上去以及目标目录的属主权限。5.4 常见问题速查表现象最可能的原因快速验证方式提交后长期 Pending判题守护进程未启动 / 数据库配置不一致看进程、看判题日志全部提交都判编译错误编译器缺失或语言选择错配命令行手动编译一次某道题总是答案错误数据文件缺失、CRLF 行尾、尾随空格手工 diff 用户输出与标准输出特殊评测题全部错误评测程序返回值约定不符读源码里的调用判断逻辑中文题面乱码库或连接字符集不对看建库语句与连接配置页面样式丢失站点根目录或静态资源权限浏览器看资源请求返回码局域网访问不了NAT 模式未做端口转发宿主机端口映射配置时间显示差几小时时区未设置 / 虚拟机挂起后时钟漂移timedatectl查看当前时区上传数据失败PHP 上传大小限制改配置后重启 Web 服务判题机启动即退出二进制文件属主或权限不对ls -l看可执行文件权限6. 长期维护与二次开发的一些经验6.1 快照策略和升级前的保命动作我把快照当成代码之外的版本控制。命名规则固定成日期 动作比如改判题内核前、升级 PHP 前。做任何可能影响整站的动作之前先拍一张动作做完验证通过就把上一张合并掉避免快照链越拉越长、磁盘越吃越狠。真要做升级换系统大版本、换 PHP 大版本、换数据库大版本我的流程是先关机拍快照 → 开机做升级 → 用一套固定的回归清单验证注册登录、提交一道通过、提交一道编译错误、提交一道超时、看比赛页面、看后台加题→ 全部通过才合并快照。这套清单我写在一张纸上贴在显示器边上看起来很笨但救过我很多次。6.2 时间、日志与数据备份虚拟机最容易出的诡异问题和时间有关。宿主机休眠、虚拟机挂起再恢复客户机时钟可能和真实时间差出几小时甚至几天表现出来是比赛倒计时错乱、提交时间排序异常。装好 open-vm-tools 并开启时间同步基本能避免。日志方面/home/judge/log下的文件要及时清理或者配置轮转。判题日志增长很快尤其是有大量编译错误的时候编译输出会原样记进去一个磁盘写满的判题机会让所有提交都变成莫名的错误。数据备份我做两件事题库数据目录定期打包题目数据是你最不想重造的东西数据库定期导出。这两样加起来才是一套完整的、可以搬到新机器上重建的环境。6.3 我踩过最疼的几个坑第一个是在宿主机和虚拟机之间来回拖文件。造好的.out文件从宿主机拖进去行尾变成了 CRLF一道字符串题调了一晚上。后来我定了规矩所有数据文件先进虚拟机再用命令行工具统一转一遍行尾绝不直接用图形界面拖。第二个是贪图方便用 root 跑判题。某次图省事把守护进程改成 root 启动测试时提交了一段会删除文件的程序结果它把/home/judge/data里几道题的输出文件删了。那次之后我把权限收紧到不能再紧并且把数据目录单独做了一份只读备份。第三个是改配置忘了重启。PHP 改完即时生效judge.conf改完不重启等于没改。我现在的习惯是改完任何配置文件先在终端里记一笔要重启哪些服务改完一次性重启然后再验证。第四个是并发数设太高。在一台 2 核的虚拟机上把判题并发设成 8编译稍微多一点的提交就把机器压死Web 端都打不开了。并发数不要超过实际 CPU 核数这条是硬规矩。最后分享一个我觉得很值的小技巧给这台开发虚拟机做一个干净底座的完整克隆所有折腾都在克隆体上做。折腾废了删掉重克隆三十秒一个新环境。我现在的做法是底座虚拟机里只装系统和基础依赖判题系统的部署和二次开发全部在克隆体上完成——这样我既有一份永远干净的环境又能在任意一个分支上做破坏性实验。这套环境后来的扩展空间还很大往判题机方向可以做多判题机的负载实验往 Web 方向可以做题目分类、题解分享、提交记录可视化往评测方向可以做自定义评测脚本、多语言支持。只要那台虚拟机还在这些尝试的成本就只是一次快照而已。
