简介面向计算机视觉初学者与Python实践者的实时人眼识别、眨眼检测与闭眼检测项目源码包基于OpenCV的Haar级联分类器与dlib的68点面部关键点模型在Ubuntu环境下完成摄像头视频流的眼睛定位、帧间差异判眨与持续闭眼状态判定适合课程设计、毕业设计及视觉算法入门练手。压缩包共61个文件约75.34MB以37个py脚本为主体辅以png/jpg演示图、dat关键点模型、cfg配置、pdf教程与md说明文档代码、素材与讲解配套齐全。目前已有4369人学习下载。读者可获得可直接运行的检测脚本、逐行讲解的详细教程与依赖安装指引并借助imutils等工具模块理解视频帧处理流程掌握从人脸关键点提取到眨眼事件判定的完整思路便于二次开发与排错参考。1. 从摄像头画面开始一套人眼识别 眨眼检测 闭眼检测能解决什么摄像头对着脸人明明没眨眼计数却在涨真闭眼了程序还在判睁眼——做 Python 人眼识别的人多半都经历过这两个反向翻车。这份资源把实时人眼识别、眨眼检测、闭眼检测放进同一条流水线取帧、人脸框定位、眼睛关键点回归、EAR 计算、状态机判态最后输出眨眼次数和闭眼时长源码与逐步教程同步给出。它适合两类人要快速做出可演示原型的人——在线课堂注意力统计、驾驶疲劳预警、护眼提醒这类小系统改入口和阈值就能跑以及刚学 OpenCV、想把「检测框」升级成「行为事件」的初学者代码量不大但每一步都有明确的参数可调。2. 技术路线选型Haar 级联、dlib 68 点与 Face Mesh 的边界在哪先把路线定下来后面所有阈值和代码都围绕它展开。很多人拿到代码就跑跑到自己机器上发现眼睛框乱飘回头才发现选型就不对。人眼识别在工程上其实是三件不同的事找到人脸、找到眼睛位置、判断眼睛是睁还是闭。前两件有成熟方案第三件才决定了整套代码的上限。2.1 Haar 级联的眼睛检测为什么容易飘OpenCV 自带的haarcascade_eye.xml用的是积分图 类 Haar 特征 AdaBoost 级联分类器本质是「拿一堆黑白矩形模板在图像上滑动打分」。它的训练样本里睁眼样本远多于闭眼样本所以闭眼时经常直接检不到——注意是「检不到」不是「检到闭眼」。这就埋下了第一个坑如果你写的是「检测到眼睛 睁眼检不到 闭眼」那么侧脸、暗光、戴眼镜、眼睛只占十几个像素的时候全都表现为「检不到」误报会成片出现。我见过一个疲劳检测 Demo正脸准确率挺高一转头就开始疯狂报警。真要用 Haar可以调这几个参数参数常用值作用调大后的后果scaleFactor1.05 ~ 1.2每次金字塔缩放比例越接近 1 越慢漏检少过大漏检明显minNeighbors3 ~ 6邻域框合并阈值调大误检少但小眼睛容易被吃掉minSize(20, 20)最小检测尺寸太大时远景眼睛直接检不出maxSize不设最大检测尺寸设小了近景大脸检不到实操建议是把人脸框作为 ROI只在人脸内部做眼睛检测能砍掉一大半背景误检同时把minNeighbors提到 5宁可漏几帧也不要乱框。但无论怎么调Haar 拿不出亚像素级的眼角坐标做不了精确的睁闭眼判定这一层天花板要认。2.2 dlib 68 点与 Face Mesh 的关键点差异dlib 的shape_predictor_68_face_landmarks.dat走的是「HOG 人脸检测 回归树关键点」的路子输出 68 个点的固定语义坐标。眼睛部分是硬编码的图像左侧眼 36 到 41右侧眼 42 到 47每个眼睛 6 个点顺序是「左角、上睑两点、右角、下睑两点」。这个固定索引意味着 EAR 公式可以直接照抄不需要自己找点。Face Mesh 类的方案输出 468 个点带虹膜版本 478 个点数多、速度更快CPU 上跑 640×480 基本能到 30fps。代价是眼睛没有「编号 36 到 41」这种现成语义你得自己挑上下睑的点对比如用 159/145 做上睑、33/133 做眼角。挑错了点EAR 曲线会抖得没法用。维度Haar 级联dlib 68 点Face Mesh关键点精度无关键点只有框稳定亚像素级稳定点数多闭眼鲁棒性差闭眼常检不到好好CPU 单帧耗时5 ~ 15ms20 ~ 40ms8 ~ 20ms依赖体积内置几百 KB模型文件约 100MB安装包较大首次加载慢侧脸表现差中等超过约 30 度开始飘较好适合场景教学演示、低配设备桌面端离线原型实时性要求高的产品原型体积那一列我只给量级具体以你下载到的模型文件为准不同版本差距不小。2.3 按场景选型别为了炫技堆模型选型逻辑其实很朴素。跑在低配设备或树莓派上的用 Haar 拿人脸框 眼睛 ROI 内做灰度/二值化统计判断黑像素占比阈值一调就能出效果虽然糙但资源占用极低。桌面端笔记本摄像头做演示原型的dlib 68 点是性价比最高的选择代码短、调试直观、索引固定教程也最好写。要做成有实时性要求的交互程序或者需要戴口罩场景下的鲁棒性再考虑 Face Mesh。我个人习惯是先用 dlib 跑通整条链路和状态机把眨眼逻辑验证扎实再换更快的检测器做性能替换。反过来先上快模型、状态机没调好你根本分不清是检测抖还是逻辑错。3. 环境跑通依赖安装、摄像头采集与第一个眼睛框选型定了 dlib 这条路接下来把最小可运行闭环搭出来。这一步的目标很窄能把摄像头画面读进来能在人脸上画出眼睛的 6 个点不追求判态。很多人跳过这一步直接跑完整代码结果出错时分不清是环境问题、摄像头问题还是算法问题排查成本翻倍。3.1 依赖清单与安装需要的东西不多opencv-python负责采集和绘制numpy做距离计算dlib做关键点回归。建议开独立虚拟环境避免和系统里的其他 OpenCV 版本打架。# 建环境Python 3.8 ~ 3.11 都比较稳 python -m venv eyenv # Windows 激活eyenv\Scripts\activate source eyenv/bin/activate # 先装 numpy再装 opencv最后装 dlib pip install numpy2 --upgrade pip install opencv-python pip install dlibopencv-python和opencv-contrib-python不要同时装两者会互相覆盖装重了会出现「某个函数一会儿有一会儿没有」的玄学问题。dlib 在 Windows 上需要本地编译机器上得有 CMake 和 C 生成工具第一次装可能要等几分钟到十几分钟。实在编译不过可以退回到 Face Mesh 方案或者用 Haar 像素统计那条路走通逻辑别卡在安装上耗一整天。模型文件shape_predictor_68_face_landmarks.dat从资源包里拿放到项目根目录路径别带中文和空格——这是血泪经验某些环境读带空格路径会静默失败。3.2 摄像头采集骨架采集这一层要做的三个决定分辨率、帧率、缓冲策略。分辨率太高 CPU 扛不住太低眼睛只有十几个像素关键点直接失效。640×480 是实时人眼识别的常用起点。import cv2 # Windows 上加 CAP_DSHOW摄像头冷启动能快 1~2 秒 cap cv2.VideoCapture(0, cv2.CAP_DSHOW) cap.set(cv2.CAP_PROP_FRAME_WIDTH, 640) cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 480) cap.set(cv2.CAP_PROP_FPS, 30) cap.set(cv2.CAP_PROP_BUFFERSIZE, 1) # 只保留最新一帧降低延迟 if not cap.isOpened(): raise RuntimeError(摄像头打开失败检查索引是否被占用、驱动是否正常) while True: ok, frame cap.read() if not ok: break frame cv2.flip(frame, 1) # 镜像画面方向和人的直觉一致 cv2.imshow(eye, frame) if cv2.waitKey(1) 0xFF ord(q): break cap.release() cv2.destroyAllWindows()CAP_PROP_BUFFERSIZE设成 1 是关键一条默认驱动会缓存好几帧你处理得慢画面就会越跑越滞后最后出现「人已经睁眼了程序还在处理 300 毫秒前那帧」。cv2.flip那行的作用是让画面像镜子否则人往左偏、框往右走演示时很别扭。3.3 第一个眼睛框与坐标检查采集通了就接关键点。这一步不要急着算 EAR先把坐标打印出来看看范围。import cv2 import dlib import numpy as np detector dlib.get_frontal_face_detector() predictor dlib.shape_predictor(shape_predictor_68_face_landmarks.dat) cap cv2.VideoCapture(0, cv2.CAP_DSHOW) while True: ok, frame cap.read() if not ok: break frame cv2.flip(frame, 1) gray cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) # 第二个参数是上采样次数0 最快1 能提升小脸检出率但更慢 faces detector(gray, 0) for rect in faces: shape predictor(gray, rect) pts np.array([(p.x, p.y) for p in shape.parts()]) # dlib 索引左眼 36-41右眼 42-47 for idx in list(range(36, 48)): cv2.circle(frame, tuple(pts[idx]), 2, (0, 255, 0), -1) cv2.imshow(landmarks, frame) if cv2.waitKey(1) 0xFF ord(q): break跑通后你会看到每只眼睛 6 个绿点顺序是眼角、上睑、上睑、眼角、下睑、下睑。如果点数不够或者位置飘先查两件事人脸框是不是被detector检小了把上采样参数从 0 改成 1 试试以及画面分辨率是否太低。这一步没问题后面的 EAR 才有意义。4. EAR 落地眨眼阈值、连续帧数与状态机参数整套代码的核心就一个公式加一个状态机。公式决定「这一帧眼睛张开多少」状态机决定「这串数字代表眨眼、闭眼还是正常睁眼」。绝大多数误报不是公式错而是状态机的边界没定好。4.1 EAR 的计算与关键点索引EAREye Aspect Ratio眼睛纵横比的直觉是眼睛睁开时上下睑距离大闭合时趋近于零而眼角之间的水平距离基本不变。所以用「上下距离之和 / 两倍水平距离」可以抵消人脸远近带来的尺度变化。import numpy as np def eye_aspect_ratio(pts6): pts6 顺序[左角, 上睑1, 上睑2, 右角, 下睑2, 下睑1] A np.linalg.norm(pts6[1] - pts6[5]) # 上睑1 到 下睑1 B np.linalg.norm(pts6[2] - pts6[4]) # 上睑2 到 下睑2 C np.linalg.norm(pts6[0] - pts6[3]) # 左右眼角距离 if C 1e-6: return 0.0 return (A B) / (2.0 * C) # 用法 left_ear eye_aspect_ratio(pts[36:42]) right_ear eye_aspect_ratio(pts[42:48]) ear (left_ear right_ear) / 2.0分母C必须做零保护人脸框异常时会返回退化坐标除以零在 Python 里不一定报错但会产出inf或nan后面所有比较都失效表现为「程序不报错但永远不眨眼」。这是典型的黑匣子故障。两只眼睛取平均而不是取最小是为了抗单侧遮挡手挡住一只眼时取最小会直接判闭眼取平均能把误判概率压下去。代价是单眼眨的人判不出来一般场景不用管。4.2 从单帧 EAR 到眨眼事件滑动窗口加状态机单帧 EAR 没有任何意义因为它抖得厉害。要做的是滑动窗口平滑加双阈值状态机。平滑用中位数比均值好中位数对偶发跳变不敏感。from collections import deque import numpy as np class BlinkCounter: def __init__(self, ear_th0.21, close_need3, open_need3, max_blink_frames12, cooldown8, win5): self.ear_th ear_th # 低于它视为“合上” self.close_need close_need # 连续 N 帧才算真合上 self.open_need open_need # 连续 N 帧才算真睁开 self.max_blink_frames max_blink_frames # 超过它算持续闭眼不算眨眼 self.cooldown cooldown # 事件后冷却帧数防重复计数 self.buf deque(maxlenwin) # EAR 中位数平滑窗口 self.state open self.closed_len 0 self.open_cnt 0 self.cool 0 self.blink_count 0 self.closed_events 0 def update(self, ear_raw): self.buf.append(ear_raw) ear float(np.median(self.buf)) if self.cool 0: self.cool - 1 if self.state open: if ear self.ear_th: self.closed_len 1 if self.closed_len self.close_need: self.state closed self.open_cnt 0 else: self.closed_len 0 else: self.closed_len 1 if ear self.ear_th: self.open_cnt 1 if self.open_cnt self.open_need: # 睁眼确认结算这次闭合 if self.cool 0: if self.closed_len self.max_blink_frames: self.blink_count 1 else: self.closed_events 1 # 长时间闭眼 self.cool self.cooldown self.state open self.closed_len 0 self.open_cnt 0 return self.state, self.blink_count, self.closed_events逻辑上有三个点值得说清楚。close_need和open_need是滞回如果只用单帧比较EAR 在阈值附近来回跳一次眨眼能被拆成五六次事件计数直接翻倍。max_blink_frames是分类边界正常人一次眨眼大约 100 到 400 毫秒30fps 下对应 3 到 12 帧短于这个区间可能是噪声长于这个区间就是闭眼或疲劳应该走到另一个分支上。cooldown是后悔药防止同一段闭合被重复结算。参数没有普适值但有一组能当起点的默认ear_th0.21、close_need3、open_need3、max_blink_frames12、cooldown8。我的建议是先把ear_th标定对再动帧数参数顺序反了会调得很痛苦。4.3 参数标定让阈值从你自己的数据里长出来网上的 0.2、0.25 这类数字都是别人脸上的统计结果。眼型、摄像头俯仰角、分辨率都会让 EAR 的绝对值整体平移照抄大概率翻车。正确做法是采一段自己的数据看分布。import numpy as np, cv2, dlib, time # 前 3 秒睁眼后 3 秒闭眼简单粗暴但有效 def calibrate(cap, predictor, detector, seconds3): samples {open: [], closed: []} for phase in (open, closed): t0 time.time() while time.time() - t0 seconds: ok, frame cap.read() if not ok: continue gray cv2.cvtColor(cv2.flip(frame, 1), cv2.COLOR_BGR2GRAY) for rect in detector(gray, 0): pts np.array([(p.x, p.y) for p in predictor(gray, rect).parts()]) l eye_aspect_ratio(pts[36:42]) r eye_aspect_ratio(pts[42:48]) samples[phase].append((l r) / 2.0) o np.array(samples[open]); c np.array(samples[closed]) print(睁眼 p10/p50:, np.percentile(o, 10), np.percentile(o, 50)) print(闭眼 p50/p90:, np.percentile(c, 50), np.percentile(c, 90)) # 阈值取睁眼下沿与闭眼上沿的中点 return (np.percentile(o, 10) np.percentile(c, 90)) / 2.0看的是两个数睁眼的第 10 百分位和闭眼的第 90 百分位。阈值取两者中点能保证九成以上的睁眼帧判对、九成以上的闭眼帧判对。如果这两个数几乎重合说明你的眼睛在画面里太小或者太糊先把摄像头拉近、把分辨率提上去别硬调阈值。提示标定结果和你坐的位置强相关。正式跑之前让人坐到实际使用的位置再标一次省掉后面一堆「怎么一会儿灵一会儿不灵」的疑惑。5. 常见问题排查眼镜反光、侧脸低头、暗光误判的 5 条修正代码跑通不等于能用。真实环境里误报来源非常集中处理掉下面这几类准确率能上一个台阶。每条都按现象、原因、解法写方便对着现象找。5.1 先把误报量化三个指标比「感觉不准」有用在动手调参之前先定义清楚什么叫「不准」。我一般看三个数眨眼计数误差一分钟内实际眨眼次数与程序计数之差、闭眼误报率睁眼状态被判闭眼的帧占比、闭眼漏报率真闭眼却没被判出的帧占比。前两个指标决定演示效果第三个指标决定疲劳预警这类功能能不能用。做法很简单录一段 60 秒的视频人工标出每次眨眼的时间点跑一遍程序输出事件时间戳做对齐比对。没有这一步所有调参都是凭手感。5.2 现象戴眼镜时 EAR 曲线锯齿明显计数虚高原因镜片反光和镜框边缘落在眼睛区域关键点回归被干扰上睑点忽上忽下。EAR 序列出现高频抖动中位数平滑窗口小于 5 帧时压不住。解决三步走先把平滑窗口从 5 帧加到 7 帧观察抖动是否收敛再把人脸框分辨率提上去480p 改 720p眼睛像素多了关键点明显更稳最后才考虑换检测方案。另外用 Haar 做辅助检测时可以换成带眼镜的模型文件闭眼检出率会好一些但对睁闭判断帮助有限别指望它解决根本问题。5.3 现象一侧脸或低头眼睛点直接跳到眉毛上原因68 点模型是在正脸数据上训练的偏航角超过大约 30 度、俯仰角过大时回归结果会退化。退化后的点画出来还在脸上但位置已经完全错了EAR 可能瞬间变成一个很大的值于是「闭眼被判睁眼」。解决加姿态门控。用眼睛中点与鼻尖、下巴的相对位置粗估姿态偏离过大时冻结状态机——保持上一帧的状态不计数、不判定等回到正脸再恢复。千万别在检测失败时把状态重置成「睁眼」那会在一次长时间闭眼里塞进好几个假眨眼。def face_ok(pts, yaw_tol0.18): # 用眼角到鼻尖的水平偏移做极简偏航估计 eye_mid_x (pts[36][0] pts[45][0]) / 2.0 nose_x pts[30][0] face_w abs(pts[45][0] - pts[36][0]) 1e-6 return abs(nose_x - eye_mid_x) / face_w yaw_tolyaw_tol从 0.18 起调正脸时这个比值一般在 0.1 以内转头会明显变大。5.4 现象晚上开台灯闭眼一直判成睁眼原因光照不足时灰度图整体压缩眼睑边缘对比度低关键点回归出来的上下睑距离偏大EAR 反而升高。这类问题白天根本复现不了非常折磨人。解决在转灰度之后、送进检测器之前加一步 CLAHE 局部对比度增强clipLimit从 2.0 开始试tileGridSize用 8×8。同时把摄像头的自动曝光关掉、手动设一个偏低的值避免画面在明暗之间来回跳。如果设备支持补一个正面光源比调任何参数都有效。clahe cv2.createCLAHE(clipLimit2.0, tileGridSize(8, 8)) gray cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) gray clahe.apply(gray)这一行对白天几乎无副作用对夜间的稳定性提升很明显属于加进去不亏的操作。5.5 现象一次眨眼计成两三次或者干脆不计原因阈值定在 EAR 分布的重叠区导致状态反复横跳或者max_blink_frames设得太小正常眨眼被判成了持续闭眼而不是眨眼。解决看日志。把每帧的平滑后 EAR 和当前状态打出来一次眨眼应该是一条漂亮的 V 形曲线。如果你的曲线在阈值附近有两次穿越就是阈值问题如果曲线只有一次干净的下穿但没计数就是帧数边界问题。先把max_blink_frames从 12 放宽到 15 试再把close_need降到 2逐个变量改一次只改一个。5.6 现象帧率掉到个位数画面越来越滞后原因多数是把关键点检测放在了采集循环里同步做加上分辨率开到了 1080p。dlib 在 1080p 上单帧可能吃掉 100 毫秒以上帧率直接塌掉。解决分辨率回 640×480检测前把图像缩小一半送进检测器坐标再乘以 2 映射回来真正需要高帧率就上多线程采集和推理分开只保留最新一帧。1080p 对人眼识别没有额外价值眼睛本来就没多大。6. 帧率与稳定性收尾多线程采集加阈值自标定的组合拳单线程跑通了最后一步是把实时性做实。采集和推理串在一个循环里任何一次检测卡顿都会累积成延迟采集线程只负责取帧并覆盖写入共享变量主线程拿最新帧做推理画面观感会明显不同。import threading, cv2, time class Camera: def __init__(self, idx0): self.cap cv2.VideoCapture(idx, cv2.CAP_DSHOW) self.cap.set(cv2.CAP_PROP_FRAME_WIDTH, 640) self.cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 480) self.frame None self.running True threading.Thread(targetself._loop, daemonTrue).start() def _loop(self): while self.running: ok, f self.cap.read() if ok: self.frame cv2.flip(f, 1) # 只覆盖不排队 else: time.sleep(0.01) def read(self): return None if self.frame is None else self.frame.copy() def stop(self): self.running False self.cap.release()共享变量只存一帧、不做队列是刻意的队列会让程序处理历史帧延迟越积越大只留最新帧意味着处理不过来时自动丢帧延迟恒定。这个取舍在实时视觉里几乎总是对的。配套的习惯是启动即标定。程序起来后先进入 3 秒标定态让使用者睁眼、闭眼各保持一段时间用 4.3 那套百分位逻辑算出本轮阈值再进入正式检测。同一台机器、同一个人、同一个位置标定一次能用很久换了座位或换了人重标一次比调半天参数有效。还有个小技巧把平滑后的 EAR 实时画成一条滚动曲线叠在画面角落调试期开着交付前关掉。有没有这条曲线排查效率差一个量级——很多「玄学抖动」一看曲线就知道是检测跳点还是阈值贴太近。从那以后我每次做人眼识别相关的项目都强制先跑标定脚本再谈准确率不标定直接调参的后果我吃过太多次。希望帮到你。本文还有配套的精品资源点击获取
简介面向计算机视觉初学者与Python实践者的实时人眼识别、眨眼检测与闭眼检测项目源码包基于OpenCV的Haar级联分类器与dlib的68点面部关键点模型在Ubuntu环境下完成摄像头视频流的眼睛定位、帧间差异判眨与持续闭眼状态判定适合课程设计、毕业设计及视觉算法入门练手。压缩包共61个文件约75.34MB以37个py脚本为主体辅以png/jpg演示图、dat关键点模型、cfg配置、pdf教程与md说明文档代码、素材与讲解配套齐全。目前已有4369人学习下载。读者可获得可直接运行的检测脚本、逐行讲解的详细教程与依赖安装指引并借助imutils等工具模块理解视频帧处理流程掌握从人脸关键点提取到眨眼事件判定的完整思路便于二次开发与排错参考。1. 从摄像头画面开始一套人眼识别 眨眼检测 闭眼检测能解决什么摄像头对着脸人明明没眨眼计数却在涨真闭眼了程序还在判睁眼——做 Python 人眼识别的人多半都经历过这两个反向翻车。这份资源把实时人眼识别、眨眼检测、闭眼检测放进同一条流水线取帧、人脸框定位、眼睛关键点回归、EAR 计算、状态机判态最后输出眨眼次数和闭眼时长源码与逐步教程同步给出。它适合两类人要快速做出可演示原型的人——在线课堂注意力统计、驾驶疲劳预警、护眼提醒这类小系统改入口和阈值就能跑以及刚学 OpenCV、想把「检测框」升级成「行为事件」的初学者代码量不大但每一步都有明确的参数可调。2. 技术路线选型Haar 级联、dlib 68 点与 Face Mesh 的边界在哪先把路线定下来后面所有阈值和代码都围绕它展开。很多人拿到代码就跑跑到自己机器上发现眼睛框乱飘回头才发现选型就不对。人眼识别在工程上其实是三件不同的事找到人脸、找到眼睛位置、判断眼睛是睁还是闭。前两件有成熟方案第三件才决定了整套代码的上限。2.1 Haar 级联的眼睛检测为什么容易飘OpenCV 自带的haarcascade_eye.xml用的是积分图 类 Haar 特征 AdaBoost 级联分类器本质是「拿一堆黑白矩形模板在图像上滑动打分」。它的训练样本里睁眼样本远多于闭眼样本所以闭眼时经常直接检不到——注意是「检不到」不是「检到闭眼」。这就埋下了第一个坑如果你写的是「检测到眼睛 睁眼检不到 闭眼」那么侧脸、暗光、戴眼镜、眼睛只占十几个像素的时候全都表现为「检不到」误报会成片出现。我见过一个疲劳检测 Demo正脸准确率挺高一转头就开始疯狂报警。真要用 Haar可以调这几个参数参数常用值作用调大后的后果scaleFactor1.05 ~ 1.2每次金字塔缩放比例越接近 1 越慢漏检少过大漏检明显minNeighbors3 ~ 6邻域框合并阈值调大误检少但小眼睛容易被吃掉minSize(20, 20)最小检测尺寸太大时远景眼睛直接检不出maxSize不设最大检测尺寸设小了近景大脸检不到实操建议是把人脸框作为 ROI只在人脸内部做眼睛检测能砍掉一大半背景误检同时把minNeighbors提到 5宁可漏几帧也不要乱框。但无论怎么调Haar 拿不出亚像素级的眼角坐标做不了精确的睁闭眼判定这一层天花板要认。2.2 dlib 68 点与 Face Mesh 的关键点差异dlib 的shape_predictor_68_face_landmarks.dat走的是「HOG 人脸检测 回归树关键点」的路子输出 68 个点的固定语义坐标。眼睛部分是硬编码的图像左侧眼 36 到 41右侧眼 42 到 47每个眼睛 6 个点顺序是「左角、上睑两点、右角、下睑两点」。这个固定索引意味着 EAR 公式可以直接照抄不需要自己找点。Face Mesh 类的方案输出 468 个点带虹膜版本 478 个点数多、速度更快CPU 上跑 640×480 基本能到 30fps。代价是眼睛没有「编号 36 到 41」这种现成语义你得自己挑上下睑的点对比如用 159/145 做上睑、33/133 做眼角。挑错了点EAR 曲线会抖得没法用。维度Haar 级联dlib 68 点Face Mesh关键点精度无关键点只有框稳定亚像素级稳定点数多闭眼鲁棒性差闭眼常检不到好好CPU 单帧耗时5 ~ 15ms20 ~ 40ms8 ~ 20ms依赖体积内置几百 KB模型文件约 100MB安装包较大首次加载慢侧脸表现差中等超过约 30 度开始飘较好适合场景教学演示、低配设备桌面端离线原型实时性要求高的产品原型体积那一列我只给量级具体以你下载到的模型文件为准不同版本差距不小。2.3 按场景选型别为了炫技堆模型选型逻辑其实很朴素。跑在低配设备或树莓派上的用 Haar 拿人脸框 眼睛 ROI 内做灰度/二值化统计判断黑像素占比阈值一调就能出效果虽然糙但资源占用极低。桌面端笔记本摄像头做演示原型的dlib 68 点是性价比最高的选择代码短、调试直观、索引固定教程也最好写。要做成有实时性要求的交互程序或者需要戴口罩场景下的鲁棒性再考虑 Face Mesh。我个人习惯是先用 dlib 跑通整条链路和状态机把眨眼逻辑验证扎实再换更快的检测器做性能替换。反过来先上快模型、状态机没调好你根本分不清是检测抖还是逻辑错。3. 环境跑通依赖安装、摄像头采集与第一个眼睛框选型定了 dlib 这条路接下来把最小可运行闭环搭出来。这一步的目标很窄能把摄像头画面读进来能在人脸上画出眼睛的 6 个点不追求判态。很多人跳过这一步直接跑完整代码结果出错时分不清是环境问题、摄像头问题还是算法问题排查成本翻倍。3.1 依赖清单与安装需要的东西不多opencv-python负责采集和绘制numpy做距离计算dlib做关键点回归。建议开独立虚拟环境避免和系统里的其他 OpenCV 版本打架。# 建环境Python 3.8 ~ 3.11 都比较稳 python -m venv eyenv # Windows 激活eyenv\Scripts\activate source eyenv/bin/activate # 先装 numpy再装 opencv最后装 dlib pip install numpy2 --upgrade pip install opencv-python pip install dlibopencv-python和opencv-contrib-python不要同时装两者会互相覆盖装重了会出现「某个函数一会儿有一会儿没有」的玄学问题。dlib 在 Windows 上需要本地编译机器上得有 CMake 和 C 生成工具第一次装可能要等几分钟到十几分钟。实在编译不过可以退回到 Face Mesh 方案或者用 Haar 像素统计那条路走通逻辑别卡在安装上耗一整天。模型文件shape_predictor_68_face_landmarks.dat从资源包里拿放到项目根目录路径别带中文和空格——这是血泪经验某些环境读带空格路径会静默失败。3.2 摄像头采集骨架采集这一层要做的三个决定分辨率、帧率、缓冲策略。分辨率太高 CPU 扛不住太低眼睛只有十几个像素关键点直接失效。640×480 是实时人眼识别的常用起点。import cv2 # Windows 上加 CAP_DSHOW摄像头冷启动能快 1~2 秒 cap cv2.VideoCapture(0, cv2.CAP_DSHOW) cap.set(cv2.CAP_PROP_FRAME_WIDTH, 640) cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 480) cap.set(cv2.CAP_PROP_FPS, 30) cap.set(cv2.CAP_PROP_BUFFERSIZE, 1) # 只保留最新一帧降低延迟 if not cap.isOpened(): raise RuntimeError(摄像头打开失败检查索引是否被占用、驱动是否正常) while True: ok, frame cap.read() if not ok: break frame cv2.flip(frame, 1) # 镜像画面方向和人的直觉一致 cv2.imshow(eye, frame) if cv2.waitKey(1) 0xFF ord(q): break cap.release() cv2.destroyAllWindows()CAP_PROP_BUFFERSIZE设成 1 是关键一条默认驱动会缓存好几帧你处理得慢画面就会越跑越滞后最后出现「人已经睁眼了程序还在处理 300 毫秒前那帧」。cv2.flip那行的作用是让画面像镜子否则人往左偏、框往右走演示时很别扭。3.3 第一个眼睛框与坐标检查采集通了就接关键点。这一步不要急着算 EAR先把坐标打印出来看看范围。import cv2 import dlib import numpy as np detector dlib.get_frontal_face_detector() predictor dlib.shape_predictor(shape_predictor_68_face_landmarks.dat) cap cv2.VideoCapture(0, cv2.CAP_DSHOW) while True: ok, frame cap.read() if not ok: break frame cv2.flip(frame, 1) gray cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) # 第二个参数是上采样次数0 最快1 能提升小脸检出率但更慢 faces detector(gray, 0) for rect in faces: shape predictor(gray, rect) pts np.array([(p.x, p.y) for p in shape.parts()]) # dlib 索引左眼 36-41右眼 42-47 for idx in list(range(36, 48)): cv2.circle(frame, tuple(pts[idx]), 2, (0, 255, 0), -1) cv2.imshow(landmarks, frame) if cv2.waitKey(1) 0xFF ord(q): break跑通后你会看到每只眼睛 6 个绿点顺序是眼角、上睑、上睑、眼角、下睑、下睑。如果点数不够或者位置飘先查两件事人脸框是不是被detector检小了把上采样参数从 0 改成 1 试试以及画面分辨率是否太低。这一步没问题后面的 EAR 才有意义。4. EAR 落地眨眼阈值、连续帧数与状态机参数整套代码的核心就一个公式加一个状态机。公式决定「这一帧眼睛张开多少」状态机决定「这串数字代表眨眼、闭眼还是正常睁眼」。绝大多数误报不是公式错而是状态机的边界没定好。4.1 EAR 的计算与关键点索引EAREye Aspect Ratio眼睛纵横比的直觉是眼睛睁开时上下睑距离大闭合时趋近于零而眼角之间的水平距离基本不变。所以用「上下距离之和 / 两倍水平距离」可以抵消人脸远近带来的尺度变化。import numpy as np def eye_aspect_ratio(pts6): pts6 顺序[左角, 上睑1, 上睑2, 右角, 下睑2, 下睑1] A np.linalg.norm(pts6[1] - pts6[5]) # 上睑1 到 下睑1 B np.linalg.norm(pts6[2] - pts6[4]) # 上睑2 到 下睑2 C np.linalg.norm(pts6[0] - pts6[3]) # 左右眼角距离 if C 1e-6: return 0.0 return (A B) / (2.0 * C) # 用法 left_ear eye_aspect_ratio(pts[36:42]) right_ear eye_aspect_ratio(pts[42:48]) ear (left_ear right_ear) / 2.0分母C必须做零保护人脸框异常时会返回退化坐标除以零在 Python 里不一定报错但会产出inf或nan后面所有比较都失效表现为「程序不报错但永远不眨眼」。这是典型的黑匣子故障。两只眼睛取平均而不是取最小是为了抗单侧遮挡手挡住一只眼时取最小会直接判闭眼取平均能把误判概率压下去。代价是单眼眨的人判不出来一般场景不用管。4.2 从单帧 EAR 到眨眼事件滑动窗口加状态机单帧 EAR 没有任何意义因为它抖得厉害。要做的是滑动窗口平滑加双阈值状态机。平滑用中位数比均值好中位数对偶发跳变不敏感。from collections import deque import numpy as np class BlinkCounter: def __init__(self, ear_th0.21, close_need3, open_need3, max_blink_frames12, cooldown8, win5): self.ear_th ear_th # 低于它视为“合上” self.close_need close_need # 连续 N 帧才算真合上 self.open_need open_need # 连续 N 帧才算真睁开 self.max_blink_frames max_blink_frames # 超过它算持续闭眼不算眨眼 self.cooldown cooldown # 事件后冷却帧数防重复计数 self.buf deque(maxlenwin) # EAR 中位数平滑窗口 self.state open self.closed_len 0 self.open_cnt 0 self.cool 0 self.blink_count 0 self.closed_events 0 def update(self, ear_raw): self.buf.append(ear_raw) ear float(np.median(self.buf)) if self.cool 0: self.cool - 1 if self.state open: if ear self.ear_th: self.closed_len 1 if self.closed_len self.close_need: self.state closed self.open_cnt 0 else: self.closed_len 0 else: self.closed_len 1 if ear self.ear_th: self.open_cnt 1 if self.open_cnt self.open_need: # 睁眼确认结算这次闭合 if self.cool 0: if self.closed_len self.max_blink_frames: self.blink_count 1 else: self.closed_events 1 # 长时间闭眼 self.cool self.cooldown self.state open self.closed_len 0 self.open_cnt 0 return self.state, self.blink_count, self.closed_events逻辑上有三个点值得说清楚。close_need和open_need是滞回如果只用单帧比较EAR 在阈值附近来回跳一次眨眼能被拆成五六次事件计数直接翻倍。max_blink_frames是分类边界正常人一次眨眼大约 100 到 400 毫秒30fps 下对应 3 到 12 帧短于这个区间可能是噪声长于这个区间就是闭眼或疲劳应该走到另一个分支上。cooldown是后悔药防止同一段闭合被重复结算。参数没有普适值但有一组能当起点的默认ear_th0.21、close_need3、open_need3、max_blink_frames12、cooldown8。我的建议是先把ear_th标定对再动帧数参数顺序反了会调得很痛苦。4.3 参数标定让阈值从你自己的数据里长出来网上的 0.2、0.25 这类数字都是别人脸上的统计结果。眼型、摄像头俯仰角、分辨率都会让 EAR 的绝对值整体平移照抄大概率翻车。正确做法是采一段自己的数据看分布。import numpy as np, cv2, dlib, time # 前 3 秒睁眼后 3 秒闭眼简单粗暴但有效 def calibrate(cap, predictor, detector, seconds3): samples {open: [], closed: []} for phase in (open, closed): t0 time.time() while time.time() - t0 seconds: ok, frame cap.read() if not ok: continue gray cv2.cvtColor(cv2.flip(frame, 1), cv2.COLOR_BGR2GRAY) for rect in detector(gray, 0): pts np.array([(p.x, p.y) for p in predictor(gray, rect).parts()]) l eye_aspect_ratio(pts[36:42]) r eye_aspect_ratio(pts[42:48]) samples[phase].append((l r) / 2.0) o np.array(samples[open]); c np.array(samples[closed]) print(睁眼 p10/p50:, np.percentile(o, 10), np.percentile(o, 50)) print(闭眼 p50/p90:, np.percentile(c, 50), np.percentile(c, 90)) # 阈值取睁眼下沿与闭眼上沿的中点 return (np.percentile(o, 10) np.percentile(c, 90)) / 2.0看的是两个数睁眼的第 10 百分位和闭眼的第 90 百分位。阈值取两者中点能保证九成以上的睁眼帧判对、九成以上的闭眼帧判对。如果这两个数几乎重合说明你的眼睛在画面里太小或者太糊先把摄像头拉近、把分辨率提上去别硬调阈值。提示标定结果和你坐的位置强相关。正式跑之前让人坐到实际使用的位置再标一次省掉后面一堆「怎么一会儿灵一会儿不灵」的疑惑。5. 常见问题排查眼镜反光、侧脸低头、暗光误判的 5 条修正代码跑通不等于能用。真实环境里误报来源非常集中处理掉下面这几类准确率能上一个台阶。每条都按现象、原因、解法写方便对着现象找。5.1 先把误报量化三个指标比「感觉不准」有用在动手调参之前先定义清楚什么叫「不准」。我一般看三个数眨眼计数误差一分钟内实际眨眼次数与程序计数之差、闭眼误报率睁眼状态被判闭眼的帧占比、闭眼漏报率真闭眼却没被判出的帧占比。前两个指标决定演示效果第三个指标决定疲劳预警这类功能能不能用。做法很简单录一段 60 秒的视频人工标出每次眨眼的时间点跑一遍程序输出事件时间戳做对齐比对。没有这一步所有调参都是凭手感。5.2 现象戴眼镜时 EAR 曲线锯齿明显计数虚高原因镜片反光和镜框边缘落在眼睛区域关键点回归被干扰上睑点忽上忽下。EAR 序列出现高频抖动中位数平滑窗口小于 5 帧时压不住。解决三步走先把平滑窗口从 5 帧加到 7 帧观察抖动是否收敛再把人脸框分辨率提上去480p 改 720p眼睛像素多了关键点明显更稳最后才考虑换检测方案。另外用 Haar 做辅助检测时可以换成带眼镜的模型文件闭眼检出率会好一些但对睁闭判断帮助有限别指望它解决根本问题。5.3 现象一侧脸或低头眼睛点直接跳到眉毛上原因68 点模型是在正脸数据上训练的偏航角超过大约 30 度、俯仰角过大时回归结果会退化。退化后的点画出来还在脸上但位置已经完全错了EAR 可能瞬间变成一个很大的值于是「闭眼被判睁眼」。解决加姿态门控。用眼睛中点与鼻尖、下巴的相对位置粗估姿态偏离过大时冻结状态机——保持上一帧的状态不计数、不判定等回到正脸再恢复。千万别在检测失败时把状态重置成「睁眼」那会在一次长时间闭眼里塞进好几个假眨眼。def face_ok(pts, yaw_tol0.18): # 用眼角到鼻尖的水平偏移做极简偏航估计 eye_mid_x (pts[36][0] pts[45][0]) / 2.0 nose_x pts[30][0] face_w abs(pts[45][0] - pts[36][0]) 1e-6 return abs(nose_x - eye_mid_x) / face_w yaw_tolyaw_tol从 0.18 起调正脸时这个比值一般在 0.1 以内转头会明显变大。5.4 现象晚上开台灯闭眼一直判成睁眼原因光照不足时灰度图整体压缩眼睑边缘对比度低关键点回归出来的上下睑距离偏大EAR 反而升高。这类问题白天根本复现不了非常折磨人。解决在转灰度之后、送进检测器之前加一步 CLAHE 局部对比度增强clipLimit从 2.0 开始试tileGridSize用 8×8。同时把摄像头的自动曝光关掉、手动设一个偏低的值避免画面在明暗之间来回跳。如果设备支持补一个正面光源比调任何参数都有效。clahe cv2.createCLAHE(clipLimit2.0, tileGridSize(8, 8)) gray cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) gray clahe.apply(gray)这一行对白天几乎无副作用对夜间的稳定性提升很明显属于加进去不亏的操作。5.5 现象一次眨眼计成两三次或者干脆不计原因阈值定在 EAR 分布的重叠区导致状态反复横跳或者max_blink_frames设得太小正常眨眼被判成了持续闭眼而不是眨眼。解决看日志。把每帧的平滑后 EAR 和当前状态打出来一次眨眼应该是一条漂亮的 V 形曲线。如果你的曲线在阈值附近有两次穿越就是阈值问题如果曲线只有一次干净的下穿但没计数就是帧数边界问题。先把max_blink_frames从 12 放宽到 15 试再把close_need降到 2逐个变量改一次只改一个。5.6 现象帧率掉到个位数画面越来越滞后原因多数是把关键点检测放在了采集循环里同步做加上分辨率开到了 1080p。dlib 在 1080p 上单帧可能吃掉 100 毫秒以上帧率直接塌掉。解决分辨率回 640×480检测前把图像缩小一半送进检测器坐标再乘以 2 映射回来真正需要高帧率就上多线程采集和推理分开只保留最新一帧。1080p 对人眼识别没有额外价值眼睛本来就没多大。6. 帧率与稳定性收尾多线程采集加阈值自标定的组合拳单线程跑通了最后一步是把实时性做实。采集和推理串在一个循环里任何一次检测卡顿都会累积成延迟采集线程只负责取帧并覆盖写入共享变量主线程拿最新帧做推理画面观感会明显不同。import threading, cv2, time class Camera: def __init__(self, idx0): self.cap cv2.VideoCapture(idx, cv2.CAP_DSHOW) self.cap.set(cv2.CAP_PROP_FRAME_WIDTH, 640) self.cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 480) self.frame None self.running True threading.Thread(targetself._loop, daemonTrue).start() def _loop(self): while self.running: ok, f self.cap.read() if ok: self.frame cv2.flip(f, 1) # 只覆盖不排队 else: time.sleep(0.01) def read(self): return None if self.frame is None else self.frame.copy() def stop(self): self.running False self.cap.release()共享变量只存一帧、不做队列是刻意的队列会让程序处理历史帧延迟越积越大只留最新帧意味着处理不过来时自动丢帧延迟恒定。这个取舍在实时视觉里几乎总是对的。配套的习惯是启动即标定。程序起来后先进入 3 秒标定态让使用者睁眼、闭眼各保持一段时间用 4.3 那套百分位逻辑算出本轮阈值再进入正式检测。同一台机器、同一个人、同一个位置标定一次能用很久换了座位或换了人重标一次比调半天参数有效。还有个小技巧把平滑后的 EAR 实时画成一条滚动曲线叠在画面角落调试期开着交付前关掉。有没有这条曲线排查效率差一个量级——很多「玄学抖动」一看曲线就知道是检测跳点还是阈值贴太近。从那以后我每次做人眼识别相关的项目都强制先跑标定脚本再谈准确率不标定直接调参的后果我吃过太多次。希望帮到你。本文还有配套的精品资源点击获取
