简介一套基于Python实现的多模态情感识别毕业设计源代码融合脑电、眼动追踪与皮肤电信号面向从事情感计算、生物信号处理及人机交互研究的本科生、研究生和开发者项目覆盖信号预处理、特征提取与选择涉及主成分分析、线性判别分析以及支持向量机、随机森林、神经网络等算法并依据情感维度模型将生理信号映射为情感状态。压缩包共三十八个文件体积约8.99MB以十四份Python程序为核心涵盖数据加载、特征计算、多模态融合、训练与评估等环节九张结果图表直观展示分类效果六份XML配置与四份TXT文本辅助项目设置与实验记录另含模型权重及配置文档内容还提供数据处理工具、模型接口和测试模块配合清晰的注释可快速复现情感识别流程。目前已有八十九人学习适合毕业设计参考、算法对照与科研入门。1. 多模态情感识别项目怎么上手EEG、眼动、GSR三模态融合的Python实现如果你正打算做情感识别相关的毕业设计或者想把多模态融合算法落到实际数据上这个基于Python的三模态情感识别项目源代码值得花几天时间拆一遍。它不依赖昂贵的脑电设备厂商SDK而是把脑电波EEG、眼动追踪、皮肤电GSR三类生理信号的处理、特征提取、模型训练和评估串成了一条完整的工程链路。我自己跑通之后最大的感受是多模态情感识别的难点不在模型有多深而在于三种异构信号怎么对齐、怎么融合、怎么避免踩进数据泄漏的坑。这份代码把这些问题都暴露出来了适合用来建立对多模态情感识别全流程的体感也更适合在此基础上扩展你自己的融合思路。2. 数据流打通从RawData.py到LoadFeatures.py的预处理链路2.1 代码目录结构与三种信号的数据形态拿到压缩包后先别急着跑main.py我建议你先花十分钟把目录结构捋清楚。根目录下MML_ZYC和multimodal_full是两套并行的代码组织方式前者偏实验主线后者更像一个完整的工程化版本里面多了process_graph.py、feature_extract.py、data_process.py还带着训练好的best_model.pth。config/config.yaml统一管参数utils.py是公共函数common/下面放着网络结构相关的代码。数据层面train2.txt是训练集result3是某种测试或推理输出result.txt记录的是评估阶段的文本结果。这种“txt存数据、代码里解析”的组织方式在科研代码里很常见优点是数据不依赖专有格式缺点是列含义全靠脚本里写死稍不注意就会错位。提示先打开train2.txt看前几行确认每个字段的列顺序再开始读代码。这个动作能帮你省掉后面至少两个小时的排查时间。三种信号的数据形态差异很大。EEG采样率一般在250Hz左右记录的是微伏级别的电位变化眼动数据通常是采样后的注视坐标、瞳孔直径、注视持续时间这类离散事件序列GSR是皮肤电导水平变化非常缓慢常见采样率只有几十赫兹。这三者直接拼到一起是不行的必须各自处理后再对齐到同一个时间轴上。2.2 特征提取的工程细节数字滤波与统计特征data_process.py里做的事情本质上就是把三种原始信号从“能看”变成“能用”。EEG要过滤波GSR要去漂移眼动要切出注视和扫视片段。我拆到这段代码时注意到处理方式用的是scipy的butter滤波器和detrend没有用复杂的深度学习预处理这反而是好事——它把信号处理的每个环节都暴露出来了你可以清楚看到每一步对后续模型的影响。# data_process.py节选 from scipy.signal import butter, filtfilt, detrend def preprocess_eeg(raw_eeg, fs250): # EEG有效频段集中在0.5~40Hz带通滤波可以把工频干扰和基线漂移压掉 b, a butter(4, [0.5, 40], btypebandpass, fsfs) return filtfilt(b, a, raw_eeg, axis-1) def preprocess_gsr(raw_gsr, fs50): # GSR是慢变信号皮肤电导的基线漂移非常常见先做线性去趋势 return detrend(raw_gsr, typelinear) def align_to_common_timeline(eeg, eye, gsr, target_fs50): # 三种信号采样率不同统一重采样到50Hz后再做滑窗 # 常见做法用scipy.signal.resample按时间戳插值而不是简单截断 from scipy.signal import resample eeg_r resample(eeg, int(len(eeg) * target_fs / 250)) gsr_r resample(gsr, int(len(gsr) * target_fs / 50)) return eeg_r, eye, gsr_rfilter参数里4阶巴特沃斯带通是EEG预处理最常用的配置0.5Hz高通能压掉缓慢漂移40Hz低通能滤掉肌电和工频干扰这两个截止频率基本是公认的经验值。GSR用线性detrend是因为皮肤电基线漂移近似线性趋势直接用一次多项式拟合减掉即可比高通滤波更直观。重采样到50Hz是为了统一时间轴注意resample的第二个参数是目标长度不是目标频率这是个容易写错的地方。到feature_extract.py这一层做的就是把过滤后的信号变成统计特征。EEG这边用的是welch谱估计按delta、theta、alpha、beta、gamma五个频段分别计算功率眼动那边提取的是注视时长、注视次数、平均瞳孔直径、扫视幅度GSR提取的是皮肤电响应峰值、上升时间、半衰期这些时域指标。# feature_extract.py节选 from scipy.signal import welch def extract_eeg_features(eeg_segment, fs50): # 分段信号做welch谱估计比直接FFT更稳 freqs, psd welch(eeg_segment, fsfs, npersegmin(128, len(eeg_segment))) bands {delta: (0.5, 4), theta: (4, 8), alpha: (8, 13), beta: (13, 30), gamma: (30, 40)} feats {} for name, (f_lo, f_hi) in bands.items(): mask (freqs f_lo) (freqs f_hi) feats[f{name}_power] psd[mask].sum() # 相对功率比在跨被试场景下往往比绝对功率更鲁棒 total_power sum(feats.values()) 1e-8 for name in list(feats.keys()): feats[f{name}_ratio] feats[name] / total_power return featsnperseg这个参数值得注意它决定了谱估计的频率分辨率。窗口越短频率分辨率越低但时间分辨率越高窗口越长则反过来。我一般习惯让nperseg覆盖至少两秒的信号长度这里用128在50Hz采样率下对应2.56秒是个比较平衡的取值。加1e-8是为了防止静音段除零这是信号处理代码里的常规防御。2.3 LoadFeatures.py与Dataset.py特征向量如何变成模型输入LoadFeatures.py负责把特征文件加载进来同时做一件容易被忽略的事归一化。它支持per_modality模式也就是三种模态各自独立做标准化而不是把拼接后的整个特征矩阵一起标准化。这两种做法的差异在第三章讲模型时会很明显但这里先记住一点多模态数据的量纲差异极大EEG特征可能只有个位数GSR特征动辄几十上百如果不分开归一化模型会默认量纲大的特征更重要但实际上它们不一定更重要。# LoadFeatures.py节选 class FeatureLoader: def __init__(self, feature_path, norm_modeper_modality): self.raw np.loadtxt(feature_path, delimiter,) self.norm_mode norm_mode def normalize(self): # per_modality三个模态各自标准化避免量纲差异互相淹没 if self.norm_mode per_modality: for i in range(3): col slice(i * 64, (i 1) * 64) # 假设每个模态64维 mean self.raw[:, col].mean(axis0) std self.raw[:, col].std(axis0) 1e-8 self.raw[:, col] (self.raw[:, col] - mean) / std return self.rawDataset.py把处理好的特征向量封装成PyTorch的Dataset同时完成一个关键动作滑窗切片。情感识别很少用整段数据直接分类因为情感状态是随时间变化的需要用一个固定长度的窗口捕获短时生理响应模式。窗口长度在config.yaml里用window_size控制代码里用sliding window方式截取每次滑动步长通常等于窗口大小的一半让相邻窗口有50%重叠样本数量会更多一些。# Dataset.py节选 class MultimodalDataset(Dataset): def __init__(self, features, labels, window_size128): self.features features # 形状: (num_samples, feature_dim) self.labels labels self.window_size window_size def __getitem__(self, idx): x self.features[idx: idx self.window_size] # 每个模态的切片是各自独立的小矩阵而不是拼接后的整体 eeg torch.tensor(x[:, :64], dtypetorch.float32) eye torch.tensor(x[:, 64:96], dtypetorch.float32) gsr torch.tensor(x[:, 96:], dtypetorch.float32) label torch.tensor(self.labels[idx self.window_size - 1], dtypetorch.long) return eeg, eye, gsr, label这里返回的是三个独立模态张量而不是拼接后的单张量是为了配合模型里的分支编码器结构。如果模型只接受拼接输入那返回一个张量就够了但分支结构需要分别处理三个模态所以Dataset直接返回三个张量后续模型forward里各取所需。window_size128在50Hz采样率下是2.56秒刚好覆盖一个情绪诱发刺激的完整响应段。3. 多模态模型架构MultimodalModel.py与MultimodalCLIP.py的融合策略3.1 为什么要做多模态融合早期融合与晚期融合的取舍多模态情感识别的核心问题不是“用什么分类器”而是“什么时候融合”。早期融合是在特征层面把三个模态的特征向量直接拼接然后一起送进分类器晚期融合是三个模态各自训练一个分类器最后投票或加权平均。早期融合最简单但忽略了三个模态在时间分辨率、噪声水平上的差异晚期融合保留了每个模态的独立性但模态间的相关性信息就丢了。这个项目里MultimodalModel.py采用的方案是介于两者之间的三个模态各自用一个浅层MLP提取高层语义特征然后在隐空间拼接再接分类头。这样每个模态先完成自己的特征抽象再做融合比直接拼原始特征更好的地方在于模型能学到每个模态内部的高阶组合特征拼接时两个特征向量已经处于同一个语义层级。3.2 MultimodalModel.py分支编码器与融合分类头的实现看MultimodalModel.py的代码结构非常清晰就是三个分支编码器加一个融合分类器。EEG分支因为特征维度高隐层维度设置得比其他两个模态大一些眼动和GSR分支共享相同的结构参数不共享。这个设计思路很实际EEG包含的频段信息量远大于眼动和GSR给它更大的表示空间是合理分配模型容量。# MultimodalModel.py节选 import torch.nn as nn class MultimodalEncoder(nn.Module): def __init__(self, eeg_dim64, eye_dim32, gsr_dim32, hidden128, num_classes4): super().__init__() # EEG分支容量更大因为频段特征的信息密度更高 self.eeg_net nn.Sequential( nn.Linear(eeg_dim, hidden), nn.ReLU(), nn.Dropout(0.3) ) self.eye_net nn.Sequential( nn.Linear(eye_dim, hidden // 2), nn.ReLU(), nn.Dropout(0.3) ) self.gsr_net nn.Sequential( nn.Linear(gsr_dim, hidden // 2), nn.ReLU(), nn.Dropout(0.3) ) self.classifier nn.Linear(hidden * 2, num_classes) def forward(self, eeg, eye, gsr): h1 self.eeg_net(eeg) # (batch, hidden) h2 self.eye_net(eye) # (batch, hidden//2) h3 self.gsr_net(gsr) # (batch, hidden//2) # 拼接融合分支编码器各自提取完特征后再拼避免原始特征量纲干扰 h torch.cat([h1, h2, h3], dim-1) return self.classifier(h)融合层维度是hidden * 2因为EEG分支输出128维眼动和GSR各输出64维拼起来正好256维。dropout放在每个编码器末端有两个作用一是防止某个模态单独过拟合二是提高融合层的鲁棒性——某个模态的特征被随机置零时模型不能完全依赖单一模态这实际上是一种隐式的模态dropout策略。我在实际使用中会把它的概率从0.3调到0.5尤其是训练数据量小的时候效果更明显。3.3 MultimodalCLIP.py把对比学习迁移到生理信号MultimodalCLIP.py是我在这个项目里最感兴趣的部分。它把CLIP的思想迁移到了生理信号上CLIP原本是让图像和文本在同一个嵌入空间对齐这里变成让EEG、眼动、GSR三个模态的特征在同一个嵌入空间对齐。# MultimodalCLIP.py节选 import torch.nn as nn import torch.nn.functional as F class MultimodalCLIP(nn.Module): def __init__(self, eeg_dim, eye_dim, gsr_dim, embed_dim64, temperature0.07): super().__init__() # 三个模态各自映射到同一个embed_dim空间 self.eeg_proj nn.Linear(eeg_dim, embed_dim) self.eye_proj nn.Linear(eye_dim, embed_dim) self.gsr_proj nn.Linear(gsr_dim, embed_dim) self.temperature temperature # 对比学习的温度系数 def forward(self, eeg, eye, gsr): # L2归一化后计算余弦相似度这是对比学习的基本操作 eeg_emb F.normalize(self.eeg_proj(eeg), dim-1) eye_emb F.normalize(self.eye_proj(eye), dim-1) gsr_emb F.normalize(self.gsr_proj(gsr), dim-1) return eeg_emb, eye_emb, gsr_embtemperature参数控制对比学习的尖锐程度。设为0.07是CLIP原文里的常用取值数值越小相似度分布越尖锐模型对正负样本的区分越严格但如果太小容易导致训练不稳定。实际使用中我会先跑一个小的warmup实验在0.05到0.1之间网格搜索一下。对比学习的正样本对怎么定义是关键。在这类生理信号情感识别任务里常见的做法是把同一条样本的三个模态互为正样本对因为EEG、眼动、GSR反映的是同一时刻的同一个情感状态而不同样本之间的跨模态组合就是负样本。这个设计思路比单一的分类头多学到一层模态间的一致性表示对标签噪声的容忍度也更高。需要注意MultimodalCLIP.py和MultimodalModel.py在这个项目里不是二选一的关系。我看了main.py的内容后发现两个模型被设计成可以联合训练CLIP分支负责学习模态间对齐表示MLP分支负责分类。训练时先让CLIP分支的对比损失把嵌入空间拉好再拿对齐后的表示去做分类这种两阶段策略在多模态情感识别里效果往往比单个模型好。4. 训练与评估Trainer.py的训练循环和Tester.py的指标解读4.1 config.yaml参数配置与训练启动流程整个项目的参数都收敛在config/config.yaml里训练、验证、推理共用一个配置入口不需要改代码里写死的常量。这一点我很喜欢因为科研实验最忌讳的就是参数散落在各个脚本里想复现一个结果得靠猜。# config/config.yaml节选 data: train_file: train2.txt window_size: 128 modality: [eeg, eye, gsr] feature_dim: 128 model: hidden: 128 num_classes: 4 dropout: 0.3 fusion: concat train: epochs: 80 batch_size: 64 lr: 0.001 early_stop_patience: 10四分类对应的是情感维度模型里的四个象限也就是Russell情感圆环模型的简化版本高愉悦高激活、高愉悦低激活、低愉悦高激活、低愉悦低激活。这是情感计算里最经典的标注方式把连续的情感空间离散成四个区域既保证分类任务有明确边界又比二分类正负情感信息量更大。batch_size和learning_rate需要一起调。这里learning_rate0.001配合batch_size64如果用更大batch_size比如说128梯度更平滑学习率可以适当提到0.002反过来batch_size32时学习率要降到0.0005左右否则loss容易震荡。early_stop_patience10意味着连续10个epoch验证集指标没有提升就停止训练并且保存验证集指标最好的模型权重。4.2 Trainer.py的训练流程早停与模型保存Trainer.py里实现了一个标准的PyTorch训练循环。整体流程是每轮遍历训练DataLoader前向传播、计算损失、反向传播、更新参数每轮结束后跑到验证集上算准确率和loss如果验证集指标有提升就保存best_model.pth否则early_stop计数加一。# Trainer.py节选 def train_one_epoch(model, loader, optimizer, criterion, device): model.train() total_loss, correct, total 0, 0, 0 for eeg, eye, gsr, label in loader: eeg eeg.to(device) eye eye.to(device) gsr gsr.to(device) label label.to(device) out model(eeg, eye, gsr) loss criterion(out, label) optimizer.zero_grad() loss.backward() optimizer.step() total_loss loss.item() * label.size(0) correct (out.argmax(dim1) label).sum().item() total label.size(0) return total_loss / total, correct / total # 早停逻辑验证集指标连续patience个epoch不提升就保存当前最优 if val_acc best_acc: best_acc val_acc torch.save(model.state_dict(), best_model.pth) patience_counter 0 else: patience_counter 1 if patience_counter config[train][early_stop_patience]: print(early stop triggered) break这里有个容易被忽视的细节loss.item()要乘以label.size(0)再累加最后除以总样本数而不是简单地对每个batch的loss取平均。因为最后一个batch的样本数可能比前面的少直接平均会让最后那个不完整的batch对loss的贡献偏大。这个细节在数据量少的时候影响很明显。best_model.pth保存的是state_dict而不是整个模型对象原因有两个一是state_dict更小加载时更灵活二是只保存参数方便后续换网络结构做对比实验。加载时先要实例化一个结构完全相同的模型再load_state_dict如果结构对不上会直接报错。4.3 result.txt与Figure_17-20结果文件怎么看项目里result.txt和result3存的是评估阶段的文本输出包括每个类别的precision、recall、F1-score和整体准确率。Figure_17到Figure_20是四个图我拆包后逐一看了内容Figure_17是训练过程中的loss曲线x轴是epochy轴是loss值可以看到train loss和val loss两条线。如果train loss持续下降但val loss在第20个epoch后开始反弹就是典型的过拟合信号。Figure_18是验证集的混淆矩阵对角线越亮代表分类越准。重点关注非对角线上的值如果“高愉悦高激活”经常被误判成“高愉悦低激活”说明模型对激活度维度的区分能力不足可能需要增加GSR特征的权重。Figure_19和Figure_20是特征可视化相关的图从代码逻辑看应该是t-SNE降维后的特征分布不同颜色的点代表不同情感类别。t-SNE图上各类别如果形成清晰分离的团簇说明特征可分性好如果重叠严重就要回头检查特征提取环节。注意t-SNE图只能作为定性参考不要根据它直接判断模型好坏。t-SNE对perplexity参数敏感不同的参数可能画出差异很大的图。评估指标方面这个项目用的是标准的分类指标Accuracy 正确预测数 / 总样本数Precision是每个类别预测为正的样本里真正为正的比例Recall是每个类别真正为正的样本里被正确找出来的比例F1是两者的调和平均。多分类场景下要看macro-F1也就是所有类别F1的简单平均它对类别不平衡更敏感比accuracy更能反映模型在小类上的表现。5. 避坑与排查复现多模态情感识别时的五个典型问题5.1 眼动采样率和EEG时间轴对不上数据量直接蒸发一半现象window_size128滑窗后样本数量只有预期的50%有些窗口里眼动特征全是NaN。原因EEG是250Hz眼动设备可能是60Hz或100Hz重采样时如果按样本序号直接对齐而不是按时间戳对齐就会在窗口切分时产生错位。再加上眼动数据经常有丢帧某一段里眼动特征缺失滑窗窗口跨过缺失区域后整条样本就废了。解决先统一时间轴再做滑窗。用每帧的原始时间戳做插值重采样而不是用样本序号。我一般会先写个小工具把三种信号的原始时间戳打出来确认它们的起始时间是否一致、是否有时间偏移再交到Resample函数里。这个检查步骤花不了多少时间但能避免后面所有特征计算都在错位数据上进行。5.2 归一化在拼接前做还是拼接后做直接影响模型能不能收敛现象训练时loss下降很慢准确率一直在30%到40%之间徘徊换了几种学习率也没用。原因我把归一化放在所有模态拼接之后一次性做。EEG特征数值范围在0到10之间GSR特征范围在几十到几百之间拼接后的特征矩阵直接喂给神经网络模型把大部分学习能力都花在了适应特征尺度差异上真正的情感模式反而学不到。解决改回LoadFeatures.py里默认的per_modality模式三个模态分别计算均值和标准差各自归一化。做了这个改动之后loss曲线明显变得平滑验证集准确率在第一轮就突破了60%。从那以后我拿到任何多模态数据都会第一时间确认归一化是逐模态还是整体做。5.3 GSR慢漂移导致模型学的是基线不是情感现象验证集准确率不算低但跨被试泛化时准确率直接掉到随机水平。原因GSR信号里有非常明显的线性漂移几分钟内基线电平可能从2微西门子漂移到8微西门子。模型学到的是“电平偏高”这个特征而不是“皮肤电响应的峰值变化”这个真正跟情感相关的特征。在新被试身上基线漂移的方向和幅度变了模型自然失效。解决在data_process.py里用detrend做线性去趋势把基线漂移项去掉只保留局部响应波动。另一个更简单的替代方案是计算滑动差分用t时刻的信号值减去前几秒的均值效果也接近但会损失低频信息所以我更推荐先detrend再滤波的顺序。5.4 跨被试测试时准确率暴跌根源是数据泄漏现象在一次实验里我用留出法切分训练集和测试集得到的准确率是85%但换到跨被试的评估设置后只有50%与随机猜测无异。原因切分时是按样本切割的同一个被试的相邻样本被分到了训练集和测试集两侧。滑窗产生的相邻样本高度相似模型实际上是在记住被试的个体特征而不是在学习情感模式。这在情感识别里是最常见的数据泄漏。解决改成按被试ID切分确保同一个被试的所有样本要么全在训练集要么全在测试集。代码层面可以用sklearn的GroupKFold把被试ID作为group参数传进去。虽然跨被试的准确率会比随机切分低不少但这个数字才是真实泛化能力的体现。5.5 CLIP分支的对比损失降不下去问题出在正样本对的构造现象MultimodalCLIP.py训练时contrastive loss在某个值附近震荡降不到期望水平。原因我一开始把同一时间窗口内不同模态的特征作为正样本对这本身没错但我在构造负样本时随机采样了其他窗口的特征。由于相邻窗口的生理信号高度相似一些被当作负样本的窗口实际上和正样本窗口表达了几乎相同的情感状态于是模型收到了互相矛盾的信号。解决抽样负样本时加一个时间间隔约束至少间隔5个窗口以上的样本才能作为负样本避免把相邻窗口错当成困难负样本。这个约束明显改善了对比损失的收敛速度。另外temperature从默认的0.07调到0.1也会让损失下降更平滑代价是最终的嵌入空间区分度会稍弱一些。6. 验证模型可靠性的三个实用技巧特征可视化、被试级划分与日志复盘模型训练完先别急着看准确率我习惯用三个步骤验证模型是否真的学到了情感模式而不是蒙对了数据。第一步是特征可视化。训练前用t-SNE把原始特征降到二维看一眼可分性训练后对模型提取的嵌入特征再做一次t-SNE。如果训练前后特征分布没有明显变化说明模型可能只是学习到了特征空间的表层模式没有挖掘出更深层的区分信息。# t-SNE特征可视化节选 from sklearn.manifold import TSNE import matplotlib.pyplot as plt # 取验证集的特征向量用model提取嵌入层输出 with torch.no_grad(): emb model.eeg_net(eeg_val).numpy() tsne TSNE(n_components2, perplexity30, random_state42) emb_2d tsne.fit_transform(emb) plt.scatter(emb_2d[:, 0], emb_2d[:, 1], clabels_val, cmaptab10, s10) plt.savefig(Figure_20.png)perplexity30是通用经验值数据量小的时候可以调到10~20。如果画出来的图上四类颜色混成一团先别急着调模型回看特征提取环节是不是出了问题。第二步是强制使用被试级划分重新评估一遍。我一般会在最终实验报告里同时给出随机切分和被试级切分两个准确率前者说明模型上限后者说明实际泛化能力。如果两者差距大于15个百分点说明模型肯定学到了被试相关的非情感信息。第三步是养成实验日志复盘的習慣。我每跑一组实验都会把config参数、结果文件、模型权重放到同一个以时间戳命名的目录下而不是全部堆在根目录里。原因是这个项目的文件命名方式几乎都是以默认名直接输出比如result.txt、best_model.pth如果你连续跑几个实验后面的结果会直接覆盖前面的到时候想回溯哪个参数跑出的结果全靠记忆。gpustat、nvidia-smi、tensorboard这些工具也可以用起来但它们解决的是训练过程可见性问题不能替代实验本身的记录习惯。从那以后我每次拿到新的多模态数据都会强制先跑一遍特征可视化、被试级划分和实验日志绑定这三步走完才敢说模型是真正可用的。希望这些经验能帮你在多模态情感识别的路上少走几步弯路。本文还有配套的精品资源点击获取
简介一套基于Python实现的多模态情感识别毕业设计源代码融合脑电、眼动追踪与皮肤电信号面向从事情感计算、生物信号处理及人机交互研究的本科生、研究生和开发者项目覆盖信号预处理、特征提取与选择涉及主成分分析、线性判别分析以及支持向量机、随机森林、神经网络等算法并依据情感维度模型将生理信号映射为情感状态。压缩包共三十八个文件体积约8.99MB以十四份Python程序为核心涵盖数据加载、特征计算、多模态融合、训练与评估等环节九张结果图表直观展示分类效果六份XML配置与四份TXT文本辅助项目设置与实验记录另含模型权重及配置文档内容还提供数据处理工具、模型接口和测试模块配合清晰的注释可快速复现情感识别流程。目前已有八十九人学习适合毕业设计参考、算法对照与科研入门。1. 多模态情感识别项目怎么上手EEG、眼动、GSR三模态融合的Python实现如果你正打算做情感识别相关的毕业设计或者想把多模态融合算法落到实际数据上这个基于Python的三模态情感识别项目源代码值得花几天时间拆一遍。它不依赖昂贵的脑电设备厂商SDK而是把脑电波EEG、眼动追踪、皮肤电GSR三类生理信号的处理、特征提取、模型训练和评估串成了一条完整的工程链路。我自己跑通之后最大的感受是多模态情感识别的难点不在模型有多深而在于三种异构信号怎么对齐、怎么融合、怎么避免踩进数据泄漏的坑。这份代码把这些问题都暴露出来了适合用来建立对多模态情感识别全流程的体感也更适合在此基础上扩展你自己的融合思路。2. 数据流打通从RawData.py到LoadFeatures.py的预处理链路2.1 代码目录结构与三种信号的数据形态拿到压缩包后先别急着跑main.py我建议你先花十分钟把目录结构捋清楚。根目录下MML_ZYC和multimodal_full是两套并行的代码组织方式前者偏实验主线后者更像一个完整的工程化版本里面多了process_graph.py、feature_extract.py、data_process.py还带着训练好的best_model.pth。config/config.yaml统一管参数utils.py是公共函数common/下面放着网络结构相关的代码。数据层面train2.txt是训练集result3是某种测试或推理输出result.txt记录的是评估阶段的文本结果。这种“txt存数据、代码里解析”的组织方式在科研代码里很常见优点是数据不依赖专有格式缺点是列含义全靠脚本里写死稍不注意就会错位。提示先打开train2.txt看前几行确认每个字段的列顺序再开始读代码。这个动作能帮你省掉后面至少两个小时的排查时间。三种信号的数据形态差异很大。EEG采样率一般在250Hz左右记录的是微伏级别的电位变化眼动数据通常是采样后的注视坐标、瞳孔直径、注视持续时间这类离散事件序列GSR是皮肤电导水平变化非常缓慢常见采样率只有几十赫兹。这三者直接拼到一起是不行的必须各自处理后再对齐到同一个时间轴上。2.2 特征提取的工程细节数字滤波与统计特征data_process.py里做的事情本质上就是把三种原始信号从“能看”变成“能用”。EEG要过滤波GSR要去漂移眼动要切出注视和扫视片段。我拆到这段代码时注意到处理方式用的是scipy的butter滤波器和detrend没有用复杂的深度学习预处理这反而是好事——它把信号处理的每个环节都暴露出来了你可以清楚看到每一步对后续模型的影响。# data_process.py节选 from scipy.signal import butter, filtfilt, detrend def preprocess_eeg(raw_eeg, fs250): # EEG有效频段集中在0.5~40Hz带通滤波可以把工频干扰和基线漂移压掉 b, a butter(4, [0.5, 40], btypebandpass, fsfs) return filtfilt(b, a, raw_eeg, axis-1) def preprocess_gsr(raw_gsr, fs50): # GSR是慢变信号皮肤电导的基线漂移非常常见先做线性去趋势 return detrend(raw_gsr, typelinear) def align_to_common_timeline(eeg, eye, gsr, target_fs50): # 三种信号采样率不同统一重采样到50Hz后再做滑窗 # 常见做法用scipy.signal.resample按时间戳插值而不是简单截断 from scipy.signal import resample eeg_r resample(eeg, int(len(eeg) * target_fs / 250)) gsr_r resample(gsr, int(len(gsr) * target_fs / 50)) return eeg_r, eye, gsr_rfilter参数里4阶巴特沃斯带通是EEG预处理最常用的配置0.5Hz高通能压掉缓慢漂移40Hz低通能滤掉肌电和工频干扰这两个截止频率基本是公认的经验值。GSR用线性detrend是因为皮肤电基线漂移近似线性趋势直接用一次多项式拟合减掉即可比高通滤波更直观。重采样到50Hz是为了统一时间轴注意resample的第二个参数是目标长度不是目标频率这是个容易写错的地方。到feature_extract.py这一层做的就是把过滤后的信号变成统计特征。EEG这边用的是welch谱估计按delta、theta、alpha、beta、gamma五个频段分别计算功率眼动那边提取的是注视时长、注视次数、平均瞳孔直径、扫视幅度GSR提取的是皮肤电响应峰值、上升时间、半衰期这些时域指标。# feature_extract.py节选 from scipy.signal import welch def extract_eeg_features(eeg_segment, fs50): # 分段信号做welch谱估计比直接FFT更稳 freqs, psd welch(eeg_segment, fsfs, npersegmin(128, len(eeg_segment))) bands {delta: (0.5, 4), theta: (4, 8), alpha: (8, 13), beta: (13, 30), gamma: (30, 40)} feats {} for name, (f_lo, f_hi) in bands.items(): mask (freqs f_lo) (freqs f_hi) feats[f{name}_power] psd[mask].sum() # 相对功率比在跨被试场景下往往比绝对功率更鲁棒 total_power sum(feats.values()) 1e-8 for name in list(feats.keys()): feats[f{name}_ratio] feats[name] / total_power return featsnperseg这个参数值得注意它决定了谱估计的频率分辨率。窗口越短频率分辨率越低但时间分辨率越高窗口越长则反过来。我一般习惯让nperseg覆盖至少两秒的信号长度这里用128在50Hz采样率下对应2.56秒是个比较平衡的取值。加1e-8是为了防止静音段除零这是信号处理代码里的常规防御。2.3 LoadFeatures.py与Dataset.py特征向量如何变成模型输入LoadFeatures.py负责把特征文件加载进来同时做一件容易被忽略的事归一化。它支持per_modality模式也就是三种模态各自独立做标准化而不是把拼接后的整个特征矩阵一起标准化。这两种做法的差异在第三章讲模型时会很明显但这里先记住一点多模态数据的量纲差异极大EEG特征可能只有个位数GSR特征动辄几十上百如果不分开归一化模型会默认量纲大的特征更重要但实际上它们不一定更重要。# LoadFeatures.py节选 class FeatureLoader: def __init__(self, feature_path, norm_modeper_modality): self.raw np.loadtxt(feature_path, delimiter,) self.norm_mode norm_mode def normalize(self): # per_modality三个模态各自标准化避免量纲差异互相淹没 if self.norm_mode per_modality: for i in range(3): col slice(i * 64, (i 1) * 64) # 假设每个模态64维 mean self.raw[:, col].mean(axis0) std self.raw[:, col].std(axis0) 1e-8 self.raw[:, col] (self.raw[:, col] - mean) / std return self.rawDataset.py把处理好的特征向量封装成PyTorch的Dataset同时完成一个关键动作滑窗切片。情感识别很少用整段数据直接分类因为情感状态是随时间变化的需要用一个固定长度的窗口捕获短时生理响应模式。窗口长度在config.yaml里用window_size控制代码里用sliding window方式截取每次滑动步长通常等于窗口大小的一半让相邻窗口有50%重叠样本数量会更多一些。# Dataset.py节选 class MultimodalDataset(Dataset): def __init__(self, features, labels, window_size128): self.features features # 形状: (num_samples, feature_dim) self.labels labels self.window_size window_size def __getitem__(self, idx): x self.features[idx: idx self.window_size] # 每个模态的切片是各自独立的小矩阵而不是拼接后的整体 eeg torch.tensor(x[:, :64], dtypetorch.float32) eye torch.tensor(x[:, 64:96], dtypetorch.float32) gsr torch.tensor(x[:, 96:], dtypetorch.float32) label torch.tensor(self.labels[idx self.window_size - 1], dtypetorch.long) return eeg, eye, gsr, label这里返回的是三个独立模态张量而不是拼接后的单张量是为了配合模型里的分支编码器结构。如果模型只接受拼接输入那返回一个张量就够了但分支结构需要分别处理三个模态所以Dataset直接返回三个张量后续模型forward里各取所需。window_size128在50Hz采样率下是2.56秒刚好覆盖一个情绪诱发刺激的完整响应段。3. 多模态模型架构MultimodalModel.py与MultimodalCLIP.py的融合策略3.1 为什么要做多模态融合早期融合与晚期融合的取舍多模态情感识别的核心问题不是“用什么分类器”而是“什么时候融合”。早期融合是在特征层面把三个模态的特征向量直接拼接然后一起送进分类器晚期融合是三个模态各自训练一个分类器最后投票或加权平均。早期融合最简单但忽略了三个模态在时间分辨率、噪声水平上的差异晚期融合保留了每个模态的独立性但模态间的相关性信息就丢了。这个项目里MultimodalModel.py采用的方案是介于两者之间的三个模态各自用一个浅层MLP提取高层语义特征然后在隐空间拼接再接分类头。这样每个模态先完成自己的特征抽象再做融合比直接拼原始特征更好的地方在于模型能学到每个模态内部的高阶组合特征拼接时两个特征向量已经处于同一个语义层级。3.2 MultimodalModel.py分支编码器与融合分类头的实现看MultimodalModel.py的代码结构非常清晰就是三个分支编码器加一个融合分类器。EEG分支因为特征维度高隐层维度设置得比其他两个模态大一些眼动和GSR分支共享相同的结构参数不共享。这个设计思路很实际EEG包含的频段信息量远大于眼动和GSR给它更大的表示空间是合理分配模型容量。# MultimodalModel.py节选 import torch.nn as nn class MultimodalEncoder(nn.Module): def __init__(self, eeg_dim64, eye_dim32, gsr_dim32, hidden128, num_classes4): super().__init__() # EEG分支容量更大因为频段特征的信息密度更高 self.eeg_net nn.Sequential( nn.Linear(eeg_dim, hidden), nn.ReLU(), nn.Dropout(0.3) ) self.eye_net nn.Sequential( nn.Linear(eye_dim, hidden // 2), nn.ReLU(), nn.Dropout(0.3) ) self.gsr_net nn.Sequential( nn.Linear(gsr_dim, hidden // 2), nn.ReLU(), nn.Dropout(0.3) ) self.classifier nn.Linear(hidden * 2, num_classes) def forward(self, eeg, eye, gsr): h1 self.eeg_net(eeg) # (batch, hidden) h2 self.eye_net(eye) # (batch, hidden//2) h3 self.gsr_net(gsr) # (batch, hidden//2) # 拼接融合分支编码器各自提取完特征后再拼避免原始特征量纲干扰 h torch.cat([h1, h2, h3], dim-1) return self.classifier(h)融合层维度是hidden * 2因为EEG分支输出128维眼动和GSR各输出64维拼起来正好256维。dropout放在每个编码器末端有两个作用一是防止某个模态单独过拟合二是提高融合层的鲁棒性——某个模态的特征被随机置零时模型不能完全依赖单一模态这实际上是一种隐式的模态dropout策略。我在实际使用中会把它的概率从0.3调到0.5尤其是训练数据量小的时候效果更明显。3.3 MultimodalCLIP.py把对比学习迁移到生理信号MultimodalCLIP.py是我在这个项目里最感兴趣的部分。它把CLIP的思想迁移到了生理信号上CLIP原本是让图像和文本在同一个嵌入空间对齐这里变成让EEG、眼动、GSR三个模态的特征在同一个嵌入空间对齐。# MultimodalCLIP.py节选 import torch.nn as nn import torch.nn.functional as F class MultimodalCLIP(nn.Module): def __init__(self, eeg_dim, eye_dim, gsr_dim, embed_dim64, temperature0.07): super().__init__() # 三个模态各自映射到同一个embed_dim空间 self.eeg_proj nn.Linear(eeg_dim, embed_dim) self.eye_proj nn.Linear(eye_dim, embed_dim) self.gsr_proj nn.Linear(gsr_dim, embed_dim) self.temperature temperature # 对比学习的温度系数 def forward(self, eeg, eye, gsr): # L2归一化后计算余弦相似度这是对比学习的基本操作 eeg_emb F.normalize(self.eeg_proj(eeg), dim-1) eye_emb F.normalize(self.eye_proj(eye), dim-1) gsr_emb F.normalize(self.gsr_proj(gsr), dim-1) return eeg_emb, eye_emb, gsr_embtemperature参数控制对比学习的尖锐程度。设为0.07是CLIP原文里的常用取值数值越小相似度分布越尖锐模型对正负样本的区分越严格但如果太小容易导致训练不稳定。实际使用中我会先跑一个小的warmup实验在0.05到0.1之间网格搜索一下。对比学习的正样本对怎么定义是关键。在这类生理信号情感识别任务里常见的做法是把同一条样本的三个模态互为正样本对因为EEG、眼动、GSR反映的是同一时刻的同一个情感状态而不同样本之间的跨模态组合就是负样本。这个设计思路比单一的分类头多学到一层模态间的一致性表示对标签噪声的容忍度也更高。需要注意MultimodalCLIP.py和MultimodalModel.py在这个项目里不是二选一的关系。我看了main.py的内容后发现两个模型被设计成可以联合训练CLIP分支负责学习模态间对齐表示MLP分支负责分类。训练时先让CLIP分支的对比损失把嵌入空间拉好再拿对齐后的表示去做分类这种两阶段策略在多模态情感识别里效果往往比单个模型好。4. 训练与评估Trainer.py的训练循环和Tester.py的指标解读4.1 config.yaml参数配置与训练启动流程整个项目的参数都收敛在config/config.yaml里训练、验证、推理共用一个配置入口不需要改代码里写死的常量。这一点我很喜欢因为科研实验最忌讳的就是参数散落在各个脚本里想复现一个结果得靠猜。# config/config.yaml节选 data: train_file: train2.txt window_size: 128 modality: [eeg, eye, gsr] feature_dim: 128 model: hidden: 128 num_classes: 4 dropout: 0.3 fusion: concat train: epochs: 80 batch_size: 64 lr: 0.001 early_stop_patience: 10四分类对应的是情感维度模型里的四个象限也就是Russell情感圆环模型的简化版本高愉悦高激活、高愉悦低激活、低愉悦高激活、低愉悦低激活。这是情感计算里最经典的标注方式把连续的情感空间离散成四个区域既保证分类任务有明确边界又比二分类正负情感信息量更大。batch_size和learning_rate需要一起调。这里learning_rate0.001配合batch_size64如果用更大batch_size比如说128梯度更平滑学习率可以适当提到0.002反过来batch_size32时学习率要降到0.0005左右否则loss容易震荡。early_stop_patience10意味着连续10个epoch验证集指标没有提升就停止训练并且保存验证集指标最好的模型权重。4.2 Trainer.py的训练流程早停与模型保存Trainer.py里实现了一个标准的PyTorch训练循环。整体流程是每轮遍历训练DataLoader前向传播、计算损失、反向传播、更新参数每轮结束后跑到验证集上算准确率和loss如果验证集指标有提升就保存best_model.pth否则early_stop计数加一。# Trainer.py节选 def train_one_epoch(model, loader, optimizer, criterion, device): model.train() total_loss, correct, total 0, 0, 0 for eeg, eye, gsr, label in loader: eeg eeg.to(device) eye eye.to(device) gsr gsr.to(device) label label.to(device) out model(eeg, eye, gsr) loss criterion(out, label) optimizer.zero_grad() loss.backward() optimizer.step() total_loss loss.item() * label.size(0) correct (out.argmax(dim1) label).sum().item() total label.size(0) return total_loss / total, correct / total # 早停逻辑验证集指标连续patience个epoch不提升就保存当前最优 if val_acc best_acc: best_acc val_acc torch.save(model.state_dict(), best_model.pth) patience_counter 0 else: patience_counter 1 if patience_counter config[train][early_stop_patience]: print(early stop triggered) break这里有个容易被忽视的细节loss.item()要乘以label.size(0)再累加最后除以总样本数而不是简单地对每个batch的loss取平均。因为最后一个batch的样本数可能比前面的少直接平均会让最后那个不完整的batch对loss的贡献偏大。这个细节在数据量少的时候影响很明显。best_model.pth保存的是state_dict而不是整个模型对象原因有两个一是state_dict更小加载时更灵活二是只保存参数方便后续换网络结构做对比实验。加载时先要实例化一个结构完全相同的模型再load_state_dict如果结构对不上会直接报错。4.3 result.txt与Figure_17-20结果文件怎么看项目里result.txt和result3存的是评估阶段的文本输出包括每个类别的precision、recall、F1-score和整体准确率。Figure_17到Figure_20是四个图我拆包后逐一看了内容Figure_17是训练过程中的loss曲线x轴是epochy轴是loss值可以看到train loss和val loss两条线。如果train loss持续下降但val loss在第20个epoch后开始反弹就是典型的过拟合信号。Figure_18是验证集的混淆矩阵对角线越亮代表分类越准。重点关注非对角线上的值如果“高愉悦高激活”经常被误判成“高愉悦低激活”说明模型对激活度维度的区分能力不足可能需要增加GSR特征的权重。Figure_19和Figure_20是特征可视化相关的图从代码逻辑看应该是t-SNE降维后的特征分布不同颜色的点代表不同情感类别。t-SNE图上各类别如果形成清晰分离的团簇说明特征可分性好如果重叠严重就要回头检查特征提取环节。注意t-SNE图只能作为定性参考不要根据它直接判断模型好坏。t-SNE对perplexity参数敏感不同的参数可能画出差异很大的图。评估指标方面这个项目用的是标准的分类指标Accuracy 正确预测数 / 总样本数Precision是每个类别预测为正的样本里真正为正的比例Recall是每个类别真正为正的样本里被正确找出来的比例F1是两者的调和平均。多分类场景下要看macro-F1也就是所有类别F1的简单平均它对类别不平衡更敏感比accuracy更能反映模型在小类上的表现。5. 避坑与排查复现多模态情感识别时的五个典型问题5.1 眼动采样率和EEG时间轴对不上数据量直接蒸发一半现象window_size128滑窗后样本数量只有预期的50%有些窗口里眼动特征全是NaN。原因EEG是250Hz眼动设备可能是60Hz或100Hz重采样时如果按样本序号直接对齐而不是按时间戳对齐就会在窗口切分时产生错位。再加上眼动数据经常有丢帧某一段里眼动特征缺失滑窗窗口跨过缺失区域后整条样本就废了。解决先统一时间轴再做滑窗。用每帧的原始时间戳做插值重采样而不是用样本序号。我一般会先写个小工具把三种信号的原始时间戳打出来确认它们的起始时间是否一致、是否有时间偏移再交到Resample函数里。这个检查步骤花不了多少时间但能避免后面所有特征计算都在错位数据上进行。5.2 归一化在拼接前做还是拼接后做直接影响模型能不能收敛现象训练时loss下降很慢准确率一直在30%到40%之间徘徊换了几种学习率也没用。原因我把归一化放在所有模态拼接之后一次性做。EEG特征数值范围在0到10之间GSR特征范围在几十到几百之间拼接后的特征矩阵直接喂给神经网络模型把大部分学习能力都花在了适应特征尺度差异上真正的情感模式反而学不到。解决改回LoadFeatures.py里默认的per_modality模式三个模态分别计算均值和标准差各自归一化。做了这个改动之后loss曲线明显变得平滑验证集准确率在第一轮就突破了60%。从那以后我拿到任何多模态数据都会第一时间确认归一化是逐模态还是整体做。5.3 GSR慢漂移导致模型学的是基线不是情感现象验证集准确率不算低但跨被试泛化时准确率直接掉到随机水平。原因GSR信号里有非常明显的线性漂移几分钟内基线电平可能从2微西门子漂移到8微西门子。模型学到的是“电平偏高”这个特征而不是“皮肤电响应的峰值变化”这个真正跟情感相关的特征。在新被试身上基线漂移的方向和幅度变了模型自然失效。解决在data_process.py里用detrend做线性去趋势把基线漂移项去掉只保留局部响应波动。另一个更简单的替代方案是计算滑动差分用t时刻的信号值减去前几秒的均值效果也接近但会损失低频信息所以我更推荐先detrend再滤波的顺序。5.4 跨被试测试时准确率暴跌根源是数据泄漏现象在一次实验里我用留出法切分训练集和测试集得到的准确率是85%但换到跨被试的评估设置后只有50%与随机猜测无异。原因切分时是按样本切割的同一个被试的相邻样本被分到了训练集和测试集两侧。滑窗产生的相邻样本高度相似模型实际上是在记住被试的个体特征而不是在学习情感模式。这在情感识别里是最常见的数据泄漏。解决改成按被试ID切分确保同一个被试的所有样本要么全在训练集要么全在测试集。代码层面可以用sklearn的GroupKFold把被试ID作为group参数传进去。虽然跨被试的准确率会比随机切分低不少但这个数字才是真实泛化能力的体现。5.5 CLIP分支的对比损失降不下去问题出在正样本对的构造现象MultimodalCLIP.py训练时contrastive loss在某个值附近震荡降不到期望水平。原因我一开始把同一时间窗口内不同模态的特征作为正样本对这本身没错但我在构造负样本时随机采样了其他窗口的特征。由于相邻窗口的生理信号高度相似一些被当作负样本的窗口实际上和正样本窗口表达了几乎相同的情感状态于是模型收到了互相矛盾的信号。解决抽样负样本时加一个时间间隔约束至少间隔5个窗口以上的样本才能作为负样本避免把相邻窗口错当成困难负样本。这个约束明显改善了对比损失的收敛速度。另外temperature从默认的0.07调到0.1也会让损失下降更平滑代价是最终的嵌入空间区分度会稍弱一些。6. 验证模型可靠性的三个实用技巧特征可视化、被试级划分与日志复盘模型训练完先别急着看准确率我习惯用三个步骤验证模型是否真的学到了情感模式而不是蒙对了数据。第一步是特征可视化。训练前用t-SNE把原始特征降到二维看一眼可分性训练后对模型提取的嵌入特征再做一次t-SNE。如果训练前后特征分布没有明显变化说明模型可能只是学习到了特征空间的表层模式没有挖掘出更深层的区分信息。# t-SNE特征可视化节选 from sklearn.manifold import TSNE import matplotlib.pyplot as plt # 取验证集的特征向量用model提取嵌入层输出 with torch.no_grad(): emb model.eeg_net(eeg_val).numpy() tsne TSNE(n_components2, perplexity30, random_state42) emb_2d tsne.fit_transform(emb) plt.scatter(emb_2d[:, 0], emb_2d[:, 1], clabels_val, cmaptab10, s10) plt.savefig(Figure_20.png)perplexity30是通用经验值数据量小的时候可以调到10~20。如果画出来的图上四类颜色混成一团先别急着调模型回看特征提取环节是不是出了问题。第二步是强制使用被试级划分重新评估一遍。我一般会在最终实验报告里同时给出随机切分和被试级切分两个准确率前者说明模型上限后者说明实际泛化能力。如果两者差距大于15个百分点说明模型肯定学到了被试相关的非情感信息。第三步是养成实验日志复盘的習慣。我每跑一组实验都会把config参数、结果文件、模型权重放到同一个以时间戳命名的目录下而不是全部堆在根目录里。原因是这个项目的文件命名方式几乎都是以默认名直接输出比如result.txt、best_model.pth如果你连续跑几个实验后面的结果会直接覆盖前面的到时候想回溯哪个参数跑出的结果全靠记忆。gpustat、nvidia-smi、tensorboard这些工具也可以用起来但它们解决的是训练过程可见性问题不能替代实验本身的记录习惯。从那以后我每次拿到新的多模态数据都会强制先跑一遍特征可视化、被试级划分和实验日志绑定这三步走完才敢说模型是真正可用的。希望这些经验能帮你在多模态情感识别的路上少走几步弯路。本文还有配套的精品资源点击获取
