自动驾驶感知优化：基于时序滤波与数据增强的道路护栏检测修复实战

最近在自动驾驶圈子里一个看似不起眼的“护栏修复”任务却让不少工程师和算法研究员头疼不已。如果你正在处理车载视频的感知任务尤其是车道线、护栏这类结构化道路元素的检测与重建那么你很可能也遇到过类似的问题模型在大部分场景下表现良好但一遇到护栏破损、遮挡、反光或者极端天气输出就变得“坑坑洼洼”时断时续严重影响了下游规控模块的稳定性。今天要讨论的正是如何为你的感知模型“缝缝补补”实现稳定、连续的道路护栏输出。我们不会空谈理论而是聚焦于一个非常具体的实战场景如何基于一段7分22秒的车载视频在4分54.8秒这个关键片段中修复护栏检测的跳变和缺失问题并将处理流程工程化。这不仅是提升模型鲁棒性的技巧更是一套从问题定位、数据增强、后处理优化到效果验证的完整工程闭环。读完本文你将能清晰地回答以下几个问题问题根因车载视频中护栏检测“坑坑洼洼”的本质是什么是数据问题、模型问题还是后处理问题解决路径针对不同类型的“坑洼”如瞬时丢失、位置抖动、形状畸变分别有哪些立即可用的修复策略工程落地如何构建一个轻量级的“护栏修复”后处理模块并平滑集成到现有的感知流水线中效果量化修复前后如何量化评估除了mAP还有什么指标更能反映对规控的友好度我们将从问题诊断入手逐步深入到数据、模型、后处理三个层面的解决方案并提供可复现的代码示例和效果对比。无论你使用的是YOLO系列、DETR还是任何自定义的检测模型这套思路都具有普适的参考价值。1. 问题诊断“坑坑洼洼”的护栏到底出了什么问题在深入解决方案之前我们必须先对“病症”进行精确分型。一段7分22秒的视频中在4分54.8秒处出现护栏检测问题这本身就是一个强烈的信号——问题很可能具有场景特异性。盲目调整模型可能事倍功半。通过分析大量案例我们可以将“坑坑洼洼”的现象归纳为以下几类问题现象典型特征可能发生的根本原因瞬时丢失在连续帧中护栏目标突然消失若干帧随后又出现。1. 严重遮挡大车、树木。2. 极端光照逆光、隧道出入口。3. 模型本身对低对比度或模糊目标置信度波动大。位置抖动护栏的检测框中心点或边界在帧间剧烈跳动不够平滑。1. 传感器噪声图像抖动。2. 模型回归头不稳定。3. 未使用时序信息进行滤波。形状畸变检测框的长宽比异常或拟合出的护栏线如车道线形式出现断裂、扭曲。1. 透视变换剧烈弯道、上下坡。2. 模型对护栏的形态先验学习不足。3. 后处理拟合算法如多项式拟合在数据点稀疏时失效。误检与漏检交织同一段护栏时而检测为“护栏”时而检测为“墙体”或“未知”或直接漏检。1. 数据集中该类场景标注不一致或稀缺。2. 类别定义模糊如护栏与栅栏的边界。3. 模型在多分类任务上存在混淆。针对“4分54.8秒”这个具体片段你需要首先回标数据。打开视频定位到该时间点仔细观察环境条件如何光照、天气、道路曲率护栏的视觉特征是什么颜色、纹理、完整度是上述一种还是多种问题的组合例如假设该片段是一个高速弯道护栏因为透视和运动模糊在图像中变得细长且模糊那么“形状畸变”和“瞬时丢失”很可能同时发生。这个诊断结论将直接决定我们后续的修复策略优先级。2. 核心修复策略从数据、模型到后处理的三层加固修复“坑洼”不是一个单点动作而是一个系统工程。下面我们分层拆解并提供可操作的方案。2.1 数据层针对性的“补丁”数据增强如果问题是场景特异性的最根本的解决之道是用类似的数据“教育”模型。但收集和标注真实数据成本高昂。此时针对性的数据增强就是性价比最高的“补丁”。策略一模拟“坑洼”场景的增强不要只使用通用的翻转、裁剪。针对护栏检测我们可以设计更有效的增强方式import cv2 import numpy as np import albumentations as A def create_guardrail_specific_augmentation(): 创建针对护栏检测的增强管道 transform A.Compose([ # 1. 模拟运动模糊和失焦针对高速和抖动 A.MotionBlur(blur_limit(3, 7), p0.5), A.GaussianBlur(blur_limit(3, 5), p0.3), # 2. 模拟光照变化逆光、隧道明暗变化 A.RandomBrightnessContrast(brightness_limit0.2, contrast_limit0.2, p0.6), A.RandomGamma(gamma_limit(80, 120), p0.3), # 3. 模拟部分遮挡针对瞬时丢失 # 使用CoarseDropout模拟树叶、污渍等随机遮挡但避免完全遮挡护栏 A.CoarseDropout(max_holes5, max_height30, max_width30, min_holes1, min_height10, min_width10, fill_value0, mask_fill_valueNone, p0.4), # 4. 模拟透视形变针对弯道形状畸变 A.Perspective(scale(0.05, 0.1), keep_sizeTrue, p0.4), # 基础增强保留 A.HorizontalFlip(p0.5), A.Rotate(limit5, p0.3), ], bbox_paramsA.BboxParams(formatpascal_voc, label_fields[class_labels])) return transform # 使用示例 augmentor create_guardrail_specific_augmentation() augmented augmentor(imageimage, bboxesbboxes, class_labelslabels) aug_image, aug_bboxes augmented[image], augmented[bboxes]策略二合成关键场景数据对于4分54.8秒那种特定弯道场景如果真实数据极少可以考虑使用游戏引擎如CARLA或3D建模软件合成带有类似弯道和护栏的图片加入训练集。这是一种“数据蒸馏”思路。2.2 模型层提升时序一致性与形状感知如果数据增强后问题仍在可能需要微调模型本身使其输出更稳定。技巧一引入时序一致性损失针对抖动和丢失在训练时除了单帧的检测损失可以额外增加一个时序平滑性损失。这通常需要连续帧作为输入。import torch import torch.nn as nn import torch.nn.functional as F class TemporalConsistencyLoss(nn.Module): 简单的时序一致性损失。 假设模型能输出连续帧的特征图或目标中心点。 此损失鼓励相邻帧间同一目标的位置变化平滑。 def __init__(self, weight0.1): super().__init__() self.weight weight def forward(self, current_frame_output, previous_frame_output): Args: current_frame_output: 当前帧预测shape (B, N, 4) # [x1, y1, x2, y2] previous_frame_output: 上一帧预测shape (B, N, 4) 注意这里需要目标匹配如通过IoU或特征相似度为简化假设已对齐。 # 计算对应边界框中心点的L2距离 current_centers (current_frame_output[..., :2] current_frame_output[..., 2:]) / 2.0 previous_centers (previous_frame_output[..., :2] previous_frame_output[..., 2:]) / 2.0 position_diff torch.norm(current_centers - previous_centers, dim-1) # 使用Huber损失对大的跳动更鲁棒 loss F.smooth_l1_loss(position_diff, torch.zeros_like(position_diff), reductionmean) return self.weight * loss # 在训练循环中整合 # detection_loss criterion(predictions, targets) # temporal_loss temporal_criterion(pred_t, pred_t_minus_1) # total_loss detection_loss temporal_loss技巧二改进回归目标针对形状畸变对于护栏这类长宽比极端的物体直接回归(x, y, w, h)可能不稳定。可以改为回归到护栏底部中点的距离和方向类似车道线参数化或者使用基于关键点的检测。2.3 后处理层轻量高效的“修复”模块这是本文的重点也是能最快部署生效的环节。我们设计一个独立的GuardrailPostProcessor模块它不改变模型只对模型的原始输出进行“修复”。3. 环境准备与模块设计我们使用 Python 作为实现语言主要依赖numpy,opencv-python,scipy和filterpy用于卡尔曼滤波。确保你的环境已安装pip install numpy opencv-python scipy filterpy模块设计目标输入单帧检测结果[x1, y1, x2, y2, conf, cls] 可选的跟踪ID。核心功能跟踪与关联为每一段护栏分配唯一ID跨帧关联。滤波与平滑对每个ID的位置、尺寸进行时序滤波抑制抖动。插值与修补对短暂丢失的ID进行位置插值保持输出连续性。形状修正对异常的宽高比进行基于历史信息的修正。输出修复后的检测结果格式与输入保持一致但更稳定、连续。4. 核心流程拆解修复模块四步走4.1 第一步跨帧目标关联解决ID切换问题使用简单的 IoU 匹配或更稳定的 SORT/DeepSORT 算法进行关联。这里给出一个基于 IoU 和卡尔曼滤波预测的轻量级实现框架。from filterpy.kalman import KalmanFilter import numpy as np from scipy.optimize import linear_sum_assignment class GuardrailTracker: def __init__(self, max_age3, min_hits1): self.max_age max_age # 丢失多少帧后删除跟踪器 self.min_hits min_hits # 命中多少次后才输出 self.trackers [] self.frame_count 0 def _iou(self, box1, box2): 计算两个边界框的IoU x1 max(box1[0], box2[0]) y1 max(box1[1], box2[1]) x2 min(box1[2], box2[2]) y2 min(box1[3], box2[3]) inter_area max(0, x2 - x1) * max(0, y2 - y1) box1_area (box1[2] - box1[0]) * (box1[3] - box1[1]) box2_area (box2[2] - box2[0]) * (box2[3] - box2[1]) union_area box1_area box2_area - inter_area return inter_area / union_area if union_area 0 else 0 def update(self, detections): detections: list of [x1, y1, x2, y2, conf, cls] self.frame_count 1 # 步骤1预测所有现有跟踪器的当前位置 for trk in self.trackers: trk.predict() # 步骤2关联检测与跟踪器 (匈牙利算法 IoU) matched, unmatched_dets, unmatched_trks self._associate_detections_to_trackers(detections) # 步骤3更新匹配上的跟踪器 for det_idx, trk_idx in matched: self.trackers[trk_idx].update(self._convert_bbox_to_z(detections[det_idx])) # 步骤4为未匹配的检测创建新跟踪器 for i in unmatched_dets: trk KalmanBoxTracker(detections[i]) self.trackers.append(trk) # 步骤5标记并删除丢失太久的跟踪器 i len(self.trackers) for trk in reversed(self.trackers): i - 1 if trk.time_since_update self.max_age: self.trackers.pop(i) # 返回当前帧的跟踪状态经过滤波和修补的 ret [] for trk in self.trackers: if trk.time_since_update 1 and trk.hit_streak self.min_hits: state trk.get_state() # 获取卡尔曼滤波修正后的状态 ret.append(np.concatenate((state, [trk.id1])).reshape(1, -1)) return np.concatenate(ret, axis0) if len(ret) 0 else np.empty((0, 5)) def _associate_detections_to_trackers(self, detections): 使用IoU和匈牙利算法进行关联 # 简化的关联逻辑实际应用需考虑更多细节 pass class KalmanBoxTracker: 使用卡尔曼滤波跟踪边界框 (x1, y1, x2, y2) def __init__(self, bbox): # 初始化卡尔曼滤波器状态为 [x, y, s, r, dx, dy, ds] # 其中 x,y 是中心点s 是面积r 是宽高比 self.kf KalmanFilter(dim_x7, dim_z4) # ... 初始化状态转移矩阵和测量矩阵 ... self.time_since_update 0 self.hit_streak 0 self.id KalmanBoxTracker.count KalmanBoxTracker.count 1 def predict(self): 预测下一帧的状态 self.time_since_update 1 # ... 调用 kf.predict() ... def update(self, bbox): 用新的检测更新跟踪器状态 self.time_since_update 0 self.hit_streak 1 # ... 调用 kf.update() ... def get_state(self): 返回当前边界框估计值 [x1, y1, x2, y2] # ... 从卡尔曼状态向量转换回边界框 ... pass4.2 第二步时序滤波抑制位置抖动卡尔曼滤波器在上一步的跟踪器中已经实现了基础的滤波功能。它能够根据运动模型预测位置并与观测值检测结果融合有效平滑轨迹减少帧间抖动。4.3 第三步丢失目标的插值修补解决瞬时丢失当跟踪器time_since_update大于0但小于max_age时目标处于“短暂丢失”状态。我们不应直接删除它而是应该根据其历史运动速度预测并插值出它在当前帧的合理位置并作为一个“修补”后的检测结果输出给下游。def interpolate_missing_trackers(trackers, current_frame_idx, max_age3): 对短暂丢失的跟踪器进行线性插值。 trackers: 所有跟踪器列表 current_frame_idx: 当前帧序号 output_boxes [] for trk in trackers: if 0 trk.time_since_update max_age: # 该跟踪器处于丢失状态但未超时 last_observed_state trk.history[-1] # 最后一次观测到的状态 last_observed_frame current_frame_idx - trk.time_since_update # 简单线性插值假设匀速运动 # 实际可以使用更复杂的运动模型如匀加速或基于卡尔曼的预测 if len(trk.history) 2: prev_state_1 trk.history[-1] # t-1 prev_state_2 trk.history[-2] # t-2 velocity prev_state_1 - prev_state_2 # 帧间位移 # 预测当前帧位置 最后观测位置 速度 * 丢失帧数 predicted_state last_observed_state velocity * trk.time_since_update interpolated_box _state_to_bbox(predicted_state) # 可以适当降低修补目标的置信度 output_boxes.append([*interpolated_box, trk.conf * 0.7, trk.cls, trk.id]) elif trk.time_since_update 0: # 正常跟踪到的目标直接使用更新后的状态 output_boxes.append([*trk.get_state(), trk.conf, trk.cls, trk.id]) return output_boxes4.4 第四步形状合理性校验与修正解决形状畸变护栏通常具有特定的长宽比范围非常细长。我们可以基于历史信息或物理先验对异常的形状进行修正。def validate_and_correct_shape(bbox, tracker_history, aspect_ratio_threshold(5, 50)): 校验并修正异常的护栏边界框形状。 bbox: [x1, y1, x2, y2] tracker_history: 该跟踪器过去N帧的bbox历史记录 aspect_ratio_threshold: (min_ratio, max_ratio) 合理的宽高比范围 w bbox[2] - bbox[0] h bbox[3] - bbox[1] aspect_ratio w / h if h 0 else 0 min_ratio, max_ratio aspect_ratio_threshold if min_ratio aspect_ratio max_ratio: # 形状合理直接返回 return bbox # 形状异常进行修正 # 策略1使用历史平均宽高比 if len(tracker_history) 0: hist_ratios [(b[2]-b[0])/(b[3]-b[1]) for b in tracker_history[-5:]] # 最近5帧 valid_ratios [r for r in hist_ratios if min_ratio r max_ratio] if valid_ratios: stable_ratio np.median(valid_ratios) else: stable_ratio (min_ratio max_ratio) / 2 # 使用阈值中值 else: stable_ratio (min_ratio max_ratio) / 2 # 保持面积不变根据稳定宽高比调整宽度或高度 area w * h # 假设高度更稳定调整宽度 new_h np.sqrt(area / stable_ratio) new_w area / new_h center_x, center_y (bbox[0] bbox[2]) / 2, (bbox[1] bbox[3]) / 2 corrected_bbox [ center_x - new_w / 2, center_y - new_h / 2, center_x new_w / 2, center_y new_h / 2 ] return corrected_bbox5. 完整示例集成修复模块到推理流水线现在我们将上述所有步骤整合到一个完整的GuardrailStabilizer类中并展示如何将其嵌入到一个典型的检测推理循环中。import cv2 import numpy as np from collections import deque class GuardrailStabilizer: 护栏检测结果稳定与修复器 def __init__(self, max_track_age5, aspect_ratio_bounds(4, 60)): self.tracker GuardrailTracker(max_agemax_track_age) self.aspect_ratio_bounds aspect_ratio_bounds # 用于记录每个跟踪器的历史形状用于修正 self.tracker_shape_history {} # track_id - deque of bboxes def process_frame(self, raw_detections, frame_idx): 处理单帧检测结果。 Args: raw_detections: list of [x1, y1, x2, y2, conf, cls] frame_idx: 当前帧序号用于插值 Returns: stabilized_detections: 修复和平滑后的检测结果格式同输入 if len(raw_detections) 0: # 没有检测结果尝试从跟踪器预测并输出修补结果 return self._output_from_trackers_only(frame_idx) # 1. 更新跟踪器得到初步关联和滤波后的结果 tracked_objects self.tracker.update(raw_detections) # tracked_objects: [x1, y1, x2, y2, track_id] # 2. 为每个跟踪到的目标应用形状校验与修正 stabilized_results [] for obj in tracked_objects: x1, y1, x2, y2, track_id obj[:5] bbox [x1, y1, x2, y2] # 获取该跟踪器的历史形状 if track_id not in self.tracker_shape_history: self.tracker_shape_history[track_id] deque(maxlen10) shape_history self.tracker_shape_history[track_id] # 形状修正 corrected_bbox validate_and_correct_shape( bbox, list(shape_history), self.aspect_ratio_bounds ) # 更新历史 shape_history.append(corrected_bbox) # 从原始检测中找回置信度和类别这里简化处理实际需根据匹配关系映射 # 假设 tracked_objects 已经包含了关联的置信度和类别信息 conf obj[5] if len(obj) 5 else 0.9 cls obj[6] if len(obj) 6 else 0 stabilized_results.append([*corrected_bbox, conf, cls, track_id]) # 3. 处理短暂丢失的目标插值修补 # 这部分逻辑已集成在 tracker.update 和 interpolate_missing_trackers 中 # 最终输出的 stabilized_results 应包含正常跟踪和插值修补的目标 return stabilized_results def _output_from_trackers_only(self, frame_idx): 当某帧没有任何原始检测时仅从跟踪器预测输出 results [] for trk in self.tracker.trackers: if trk.time_since_update self.tracker.max_age: # 获取预测状态 state trk.get_state() # 根据丢失帧数决定是否使用以及置信度衰减 conf_decay 0.9 ** trk.time_since_update # 指数衰减 results.append([*state, conf_decay * trk.conf, trk.cls, trk.id]) return results # 主推理循环示例 def main_inference_loop(video_path, detector_model, stabilizer): 模拟一个集成了护栏修复模块的视频推理流程。 cap cv2.VideoCapture(video_path) frame_idx 0 while cap.isOpened(): ret, frame cap.read() if not ret: break # 步骤1: 原始模型检测 raw_detections detector_model.predict(frame) # 假设返回格式为 [[x1,y1,x2,y2,conf,cls], ...] # 步骤2: 应用护栏修复稳定模块 stabilized_dets stabilizer.process_frame(raw_detections, frame_idx) # 步骤3: 可视化或发送给下游模块 vis_frame visualize_detections(frame, stabilized_dets) cv2.imshow(Stabilized Guardrail Detection, vis_frame) if cv2.waitKey(1) 0xFF ord(q): break frame_idx 1 cap.release() cv2.destroyAllWindows() def visualize_detections(frame, detections): 可视化检测结果用不同颜色区分原始和修补目标 vis frame.copy() for det in detections: x1, y1, x2, y2, conf, cls, track_id det # 假设返回了track_id color (0, 255, 0) if track_id 0 else (0, 0, 255) # 绿色为稳定跟踪红色为修补 cv2.rectangle(vis, (int(x1), int(y1)), (int(x2), int(y2)), color, 2) label fID:{track_id} C:{conf:.2f} cv2.putText(vis, label, (int(x1), int(y1)-10), cv2.FONT_HERSHEY_SIMPLEX, 0.5, color, 2) return vis6. 运行结果与效果验证如何验证我们的“缝补”工作是否有效不能只看mAP更需要关注对下游任务友好的指标。1. 定性可视化对比运行上述代码在问题片段如4分54.8秒附近前后输出修复前和修复后的视频。直观观察之前闪烁、跳变的护栏框是否变得稳定、连续之前丢失的护栏段是否被合理地插值补全用不同颜色标注修补框形状异常的框是否被修正为合理的细长形状2. 定量指标计算定义几个针对时序稳定性的新指标目标存活率Track Lifetime同一个物理护栏其对应的跟踪ID连续存在的帧数占比。修复后此值应接近100%。位置抖动标准差Position Jitter STD计算同一ID的检测框中心点在连续帧中的位置变化的标准差。修复后此值应显著降低。形状一致性Shape Consistency计算同一ID的宽高比在时间序列上的方差。修复后方差应减小。def evaluate_stabilization(original_results, stabilized_results, video_length): 简单评估稳定化效果。 original_results: dict, frame_idx - list of raw detections stabilized_results: dict, frame_idx - list of stabilized detections (with track_id) # 计算平均每帧检测数不应因修补而大幅增加误检 raw_count np.mean([len(dets) for dets in original_results.values()]) stab_count np.mean([len(dets) for dets in stabilized_results.values()]) print(f平均每帧检测数 - 原始: {raw_count:.2f}, 稳定后: {stab_count:.2f}) # 需要跟踪信息来计算更复杂的指标这里仅示意 # 实际评估需要真实标注的时序ID或使用更复杂的评估工具如TrackEval3. 下游任务模拟测试将修复前后的检测结果分别输入到一个简单的“车道保持”或“路径规划”模拟器中观察规划路径的平滑度和安全性。修复后的结果应能产生更稳定、更少突变的规划指令。7. 常见问题与排查思路在实现和部署上述修复模块时你可能会遇到以下问题问题现象可能原因排查方式解决方案修补后出现“鬼影”目标在真实消失后仍存在很久max_age参数设置过大或插值逻辑过于激进。检查跟踪器time_since_update和max_age的值。观察“鬼影”目标的轨迹。适当减小max_age如从5降到3。在插值时更大幅度地衰减置信度或引入基于场景几何的合理性检查如目标是否已驶出图像边界。跟踪ID频繁切换同一段护栏ID不停变化关联匹配阈值如IoU阈值设置过低或外观特征变化剧烈。打印相邻帧间检测框的IoU矩阵检查匹配情况。观察问题发生时护栏的外观如光照突变。提高匹配阈值。引入更稳定的关联特征如外观嵌入向量DeepSORT思想或结合运动模型预测进行匹配。形状修正导致框与真实护栏不贴合宽高比阈值aspect_ratio_bounds设置不合理或历史信息不足。统计数据集中正常护栏的宽高比分布。检查形状修正被触发时的历史帧数。根据数据集统计调整阈值。在历史帧数不足时采用更保守的修正策略或直接输出原始框。模块处理延迟过高影响实时性跟踪器数量过多或关联算法复杂度高。使用性能分析工具如cProfile定位耗时函数。统计单帧平均跟踪目标数。1. 限制每帧处理的检测框数量通过置信度阈值。2. 简化关联算法或使用更快的实现如用Cython优化。3. 考虑异步处理或降低处理帧率。在弯道处修补的护栏位置漂移严重线性插值模型不符合弯道运动学。可视化弯道处修补目标的预测轨迹和真实位置。将线性插值模型改为匀速圆周运动模型或直接使用卡尔曼滤波器的预测输出其内置了更复杂的运动模型。8. 最佳实践与工程建议将“护栏修复”模块投入实际车载感知系统还需要考虑以下工程细节参数调优与场景适配max_age最大丢失帧数高速公路场景可以设大些如5-7城市道路应设小些如3-5。IoU匹配阈值根据摄像头帧率和车辆速度动态调整。高速时阈值可降低低速时阈值应提高。将这些参数设计为可配置项方便针对不同路段城市、高速、隧道进行切换。置信度管理对于插值修补出来的目标其置信度应基于丢失时间进行衰减例如conf original_conf * (0.9)^(lost_frames)。下游模块如融合、规控可以根据置信度决定是否使用以及使用的权重。状态重置与内存管理当车辆经过路口或场景发生剧烈变化可通过GPS、IMU或场景分类模型判断时应清空所有跟踪器避免跨场景的错误关联。定期清理tracker_shape_history等历史数据防止内存泄漏。与多传感器融合的协同如果系统有激光雷达可以将修复后的2D图像检测框与3D点云投影进行关联和验证进一步提升稳定性。修复模块的输出可以作为感知融合的一个稳定输入源。测试与验证构建一个包含各种“坑洼”场景强光、阴影、破损护栏、密集遮挡的测试集。定义明确的“稳定性”通过标准例如在连续1000帧中同一物理护栏的ID切换次数不超过2次。回到我们最初的问题面对一段7分22秒视频中在4分54.8秒出现的护栏检测“坑洼”单纯的模型调优往往收效甚微。通过本文拆解的数据增强、模型微调和后处理修复三层策略尤其是那个即插即用的GuardrailStabilizer后处理模块你可以在不重新训练模型的情况下快速、显著地提升输出质量。这套方法的本质是将时序一致性和物理合理性作为硬约束注入到原本只做单帧理解的感知系统中。它不仅仅适用于护栏对于车道线、交通标志、锥桶等任何需要稳定、连续输出的道路元素检测任务都具有直接的借鉴意义。下一步你可以尝试将简单的IoU关联升级为基于ReID外观特征的关联以应对更复杂的遮挡。探索使用更强大的滤波算法如基于深度学习的未来帧预测模型来替代线性插值。将整个修复模块用C实现并集成到自动驾驶中间件如CyberRT、ROS2中进行实车测试。技术的进步往往源于对细微之处的持续打磨。每一次成功的“缝缝补补”都在让自动驾驶系统离安全、舒适、可靠的终极目标更近一步。