第二部分：基石篇——Python医学分析与传统机器学习第4章：医学数据清洗的血泪教训如果说深度学习是火箭引擎，数据清洗就是火箭的燃料提纯工艺。燃料不纯，引擎越强大，爆炸越快。医学数据是世界上最混乱、最不完整、噪音最大的数据之一。本章将带你直面这些脏活累活，并掌握一套工业级的数据预处理心法。4.1 缺失值插补：临床数据不是随机缺失的在任何真实世界的电子健康记录中，缺失值无处不在。一个患者在ICU里可能每小时测一次血糖，但出了ICU可能一天只测一次。很多检验项目（如白介素-6）只在病情危重时检查。如果直接删除含有缺失值的样本，你将得到一个“只包含最危重病人完整数据”的、高度偏倚的数据集，用它训练出的模型毫无泛化能力。认识缺失机制的三位一体统计学家Little和Rubin将缺失机制分为三类，理解它们是选择插补策略的前提：完全随机缺失（MCAR, Missing Completely At Random）：缺失的发生与任何观测或未观测变量都无关。例如，血样在运送途中意外洒落。这是最理想、也最罕见的假设。随机缺失（MAR, Missing At Random）：缺失的发生与已观测到的变量有关，但与缺失值本身无关。例如，老年患者更可能漏掉某些问卷项目，而这个“漏掉”本身和年龄相关，并非因为他们的真实状况。这是绝大多数插补方法（如多重插补）的基础假设。非随机缺失（MNAR, Missing Not At Random）：这才是临床数据的常态！缺失的发生直接与缺失值本身有关。例如，病情越重，测血气分析的频率越高；如果没测，恰恰说明医生判断病人呼吸状况尚可。又比如，终末期患者放弃治疗后，所有检查戛然而止。MNAR下的插补策略：千万别傻傻填均值对于MNAR数据，使用均值、中位数甚至KNN插补，都会系统性地扭曲数据分布。你必须将“缺失本身”作为一个强有力的预测信号。策略一：缺失指示变量法为每一个有MNAR嫌疑的特征，创建一个二元指示变量“X_是否缺失”。importpandasaspdimportnumpyasnp# 假设df里有 '乳酸_Lactate' 列，只在不稳定时测量df['乳酸_缺失标志']=df['乳酸_Lactate'].isnull().astype(int)这个简单的标志，在预测死亡率时，AUC贡献可能比乳酸本身的值还要大。将它作为额外特征直接喂给树模型（XGBoost、LightGBM），模型会自动学到“不测乳酸的患者可能病情较轻”这一潜规则。策略二：基于领域的极值填充对于某些MNAR变量，用临床上的“正常值”去填充反而比均值更有意义。案例：格拉斯哥昏迷评分（GCS），范围3-15分，仅在神经系统受损时频繁评估。缺失往往意味着病人神志清楚。如果用均值（如11分）填充，你会错误地将清醒病人标记为轻度昏迷。更好的做法是填充正常上限15分，并附上缺失标志。# 定义填充规则字典fill_rules={'GCS_Score':15,# 无记录默认为神志清楚'Respiratory_Rate':16,# 无记录默认为正常成人均值}forcol,fill_valinfill_rules.items():df[col+'_missing_flag']=df[col].isnull().astype(int)df[col].fillna(fill_val,inplace=True)策略三：基于时序的规则填充（前向/后向填充）在ICU数据中，数据是按分钟级时间序列记录的。对于短暂缺失（如几分钟内的信号中断），使用pandas的ffill（前向填充）和bfill（后向填充）结合时间限制是常见做法。但要警惕：不能让未来信息泄露到过去。对于预测任务，你只能使用到预测时间点为止的数据进行前向填充。4.2 异常值检测：生命体征的物理边界深度学习模型对异常值是脆弱的。一个手误录入的“心率 = 999次/分”会让模型学出畸形特征，一个血压为负的幽灵数据会污染整个BN层的统计量。领域知识硬编码规则直接使用统计学方法（如3σ原则）在医疗数据上非常危险，因为真实的病理状态本身就是异常值。所以，第一道防线必须是基于医学常识的硬性截断。defclean_vital_signs(df):# 心率: 0 到 350 (极端室性心动过速/室颤可超过300)df.loc[~df['HR'].between(0,350),'HR']=np.nan# 收缩压: 30mmHg (濒死) 到 300mmHg (高血压危象)df.loc[~df['SBP'].between(30,300),'SBP']=np.nan# 体温 (核心温度): 25℃ (严重冻伤幸存记录) 到 45℃ (致命中暑)df.loc[~df['Temp_C'].between(25,45),'Temp_C']=np.nan# 呼吸频率: 0 到 100df.loc[~df['RR'].between(0,100),'RR']=np.nan# SpO2 (血氧饱和度): 0-100%df.loc[~df['SpO2'].between(0,100),'SpO2']=np.nanreturndf设定为np.nan而不是0或均值，是为了保留“该值异常”的痕迹，让后续的缺失标志和插补逻辑去统一处理。多变量逻辑异常检测有些单看正常的数值，组合起来却极为荒谬。心电与脉搏：心电监护心率（HR）与外周脉搏（Pulse）在正常情况下应基本一致。差值 10 次/分可能意味着一方测量有误或存在心律失常（如房颤致脉搏短绌）。将其标记出来可能比数值本身更有诊断价值。血压的合理性：收缩压必须大于舒张压。违反此规则的数据直接标记为异常。药物与生命体征的联动：使用大剂量升压药（如去甲肾上腺素）期间，患者血压仍极低，这是真实病情。但若给药速度为0，血压却忽高忽低到离谱，很可能是传感器故障。4.3 标签噪声处理：当金标准只是“铜标准”如前章所述，医学影像的标签依赖于阅片医生的一致性。当你拿到一份由三位医生各自标注的肺结节数据集时，如何处理他们之间的分歧？是只保留完全一致的“干净样本”，还是利用所有数据？Kappa系数与软标签构建Cohen’s Kappa（二元）和Fleiss’ Kappa（多评分者）是衡量观察者间一致性的经典指标。Kappa值越接近1，一致性越高。fromsklearn.metricsimportcohen_kappa_score# 假设标注者A和B对100个样本的二分类标注结果k=cohen_kappa_score(labeler_A,labeler_B)print(f"Kappa:{k:.3f}")通常Kappa在0.4-0.6表示中等一致性，0.6表示较强一致性。如果你的任务Kappa值很低（如0.4），说明这个分类问题本身就非常主观，模型的上限不会高，你需要重新审视任务定义。构建软标签：对于分类任务，与其武断地用多数投票（如2比1获胜）得到一个硬标签（0或1），不如使用概率软标签。假设三位医生对同一个病灶的良恶性标注为：恶性、恶性、良性。硬标签：恶性（1）软标签：恶性概率 = 2/3 = 0.67使用软标签结合Kullback-Leibler散度作为损失函数，能让模型学到标注中的不确定性，往往比硬标签训练出的模型校准度更好，AUC也略有提升。
第二部分：基石篇——Python医学分析与传统机器学习第4章：医学数据清洗的血泪教训如果说深度学习是火箭引擎，数据清洗就是火箭的燃料提纯工艺。燃料不纯，引擎越强大，爆炸越快。医学数据是世界上最混乱、最不完整、噪音最大的数据之一。本章将带你直面这些脏活累活，并掌握一套工业级的数据预处理心法。4.1 缺失值插补：临床数据不是随机缺失的在任何真实世界的电子健康记录中，缺失值无处不在。一个患者在ICU里可能每小时测一次血糖，但出了ICU可能一天只测一次。很多检验项目（如白介素-6）只在病情危重时检查。如果直接删除含有缺失值的样本，你将得到一个“只包含最危重病人完整数据”的、高度偏倚的数据集，用它训练出的模型毫无泛化能力。认识缺失机制的三位一体统计学家Little和Rubin将缺失机制分为三类，理解它们是选择插补策略的前提：完全随机缺失（MCAR, Missing Completely At Random）：缺失的发生与任何观测或未观测变量都无关。例如，血样在运送途中意外洒落。这是最理想、也最罕见的假设。随机缺失（MAR, Missing At Random）：缺失的发生与已观测到的变量有关，但与缺失值本身无关。例如，老年患者更可能漏掉某些问卷项目，而这个“漏掉”本身和年龄相关，并非因为他们的真实状况。这是绝大多数插补方法（如多重插补）的基础假设。非随机缺失（MNAR, Missing Not At Random）：这才是临床数据的常态！缺失的发生直接与缺失值本身有关。例如，病情越重，测血气分析的频率越高；如果没测，恰恰说明医生判断病人呼吸状况尚可。又比如，终末期患者放弃治疗后，所有检查戛然而止。MNAR下的插补策略：千万别傻傻填均值对于MNAR数据，使用均值、中位数甚至KNN插补，都会系统性地扭曲数据分布。你必须将“缺失本身”作为一个强有力的预测信号。策略一：缺失指示变量法为每一个有MNAR嫌疑的特征，创建一个二元指示变量“X_是否缺失”。importpandasaspdimportnumpyasnp# 假设df里有 '乳酸_Lactate' 列，只在不稳定时测量df['乳酸_缺失标志']=df['乳酸_Lactate'].isnull().astype(int)这个简单的标志，在预测死亡率时，AUC贡献可能比乳酸本身的值还要大。将它作为额外特征直接喂给树模型（XGBoost、LightGBM），模型会自动学到“不测乳酸的患者可能病情较轻”这一潜规则。策略二：基于领域的极值填充对于某些MNAR变量，用临床上的“正常值”去填充反而比均值更有意义。案例：格拉斯哥昏迷评分（GCS），范围3-15分，仅在神经系统受损时频繁评估。缺失往往意味着病人神志清楚。如果用均值（如11分）填充，你会错误地将清醒病人标记为轻度昏迷。更好的做法是填充正常上限15分，并附上缺失标志。# 定义填充规则字典fill_rules={'GCS_Score':15,# 无记录默认为神志清楚'Respiratory_Rate':16,# 无记录默认为正常成人均值}forcol,fill_valinfill_rules.items():df[col+'_missing_flag']=df[col].isnull().astype(int)df[col].fillna(fill_val,inplace=True)策略三：基于时序的规则填充（前向/后向填充）在ICU数据中，数据是按分钟级时间序列记录的。对于短暂缺失（如几分钟内的信号中断），使用pandas的ffill（前向填充）和bfill（后向填充）结合时间限制是常见做法。但要警惕：不能让未来信息泄露到过去。对于预测任务，你只能使用到预测时间点为止的数据进行前向填充。4.2 异常值检测：生命体征的物理边界深度学习模型对异常值是脆弱的。一个手误录入的“心率 = 999次/分”会让模型学出畸形特征，一个血压为负的幽灵数据会污染整个BN层的统计量。领域知识硬编码规则直接使用统计学方法（如3σ原则）在医疗数据上非常危险，因为真实的病理状态本身就是异常值。所以，第一道防线必须是基于医学常识的硬性截断。defclean_vital_signs(df):# 心率: 0 到 350 (极端室性心动过速/室颤可超过300)df.loc[~df['HR'].between(0,350),'HR']=np.nan# 收缩压: 30mmHg (濒死) 到 300mmHg (高血压危象)df.loc[~df['SBP'].between(30,300),'SBP']=np.nan# 体温 (核心温度): 25℃ (严重冻伤幸存记录) 到 45℃ (致命中暑)df.loc[~df['Temp_C'].between(25,45),'Temp_C']=np.nan# 呼吸频率: 0 到 100df.loc[~df['RR'].between(0,100),'RR']=np.nan# SpO2 (血氧饱和度): 0-100%df.loc[~df['SpO2'].between(0,100),'SpO2']=np.nanreturndf设定为np.nan而不是0或均值，是为了保留“该值异常”的痕迹，让后续的缺失标志和插补逻辑去统一处理。多变量逻辑异常检测有些单看正常的数值，组合起来却极为荒谬。心电与脉搏：心电监护心率（HR）与外周脉搏（Pulse）在正常情况下应基本一致。差值 10 次/分可能意味着一方测量有误或存在心律失常（如房颤致脉搏短绌）。将其标记出来可能比数值本身更有诊断价值。血压的合理性：收缩压必须大于舒张压。违反此规则的数据直接标记为异常。药物与生命体征的联动：使用大剂量升压药（如去甲肾上腺素）期间，患者血压仍极低，这是真实病情。但若给药速度为0，血压却忽高忽低到离谱，很可能是传感器故障。4.3 标签噪声处理：当金标准只是“铜标准”如前章所述，医学影像的标签依赖于阅片医生的一致性。当你拿到一份由三位医生各自标注的肺结节数据集时，如何处理他们之间的分歧？是只保留完全一致的“干净样本”，还是利用所有数据？Kappa系数与软标签构建Cohen’s Kappa（二元）和Fleiss’ Kappa（多评分者）是衡量观察者间一致性的经典指标。Kappa值越接近1，一致性越高。fromsklearn.metricsimportcohen_kappa_score# 假设标注者A和B对100个样本的二分类标注结果k=cohen_kappa_score(labeler_A,labeler_B)print(f"Kappa:{k:.3f}")通常Kappa在0.4-0.6表示中等一致性，0.6表示较强一致性。如果你的任务Kappa值很低（如0.4），说明这个分类问题本身就非常主观，模型的上限不会高，你需要重新审视任务定义。构建软标签：对于分类任务，与其武断地用多数投票（如2比1获胜）得到一个硬标签（0或1），不如使用概率软标签。假设三位医生对同一个病灶的良恶性标注为：恶性、恶性、良性。硬标签：恶性（1）软标签：恶性概率 = 2/3 = 0.67使用软标签结合Kullback-Leibler散度作为损失函数，能让模型学到标注中的不确定性，往往比硬标签训练出的模型校准度更好，AUC也略有提升。
