导读空间转录组ST技术能够揭示组织切片中基因表达的空间异质性但受限于高昂的成本和较低的空间分辨率。本文解读发表于BIBM 2024IEEE International Conference on Bioinformatics and BiomedicineIEEE 生物信息学与生物医学国际会议的前沿论文《High-Resolution Spatial Transcriptomics from Histology Images using HisToSGE》。该研究提出了一种创新框架巧妙地结合了预训练的病理学大模型 PILM(Pathology Image Large Model)与多头注意力机制实现了从低成本的 HE 组织学图像向高分辨率基因表达谱的精准跨越。论文地址https://arxiv.org/html/2407.20518v11. 研究背景与核心痛点空间转录组ST技术是近年来生物学领域的重大突破它保留了基因表达的空间位置信息对于理解疾病机制和微环境相互作用至关重要。然而当前的 ST 技术面临两大挑战成本高昂设备和试剂昂贵限制了大规模应用。分辨率不足测序斑点Spots分布稀疏导致特定区域的基因表达信息缺失。相比之下HE 染色的全切片图像WSIs不仅成本极低而且在临床上非常普及。因此利用深度学习“以图推基因”成为了一种极具性价比的替代方案。现有方法的局限性图像特征提取不充分仅使用有限的数据训练图像提取器如 STNet, DeepSpaCE。特征表征能力弱过度依赖低维的空间坐标信息难以准确表征高维复杂的基因表达谱如 STAGE。HisToSGE 的破局之道为了解决上述问题研究团队开发了HisToSGE。其核心优势在于引入在亿级图像上预训练的病理学大模型 (UNI)提取丰富的多模态特征并结合多头注意力机制深度融合空间位置最终稳健地生成任意高分辨率的基因表达图谱。2. 方法框图 (Methodology) 深度拆解HisToSGE 的网络架构设计非常清晰主要分为训练阶段 (Training)和预测/生成阶段 (Predicting)。其核心流程由三大模块紧密串联2.1 模块一多模态特征提取 (Feature Extraction Block)在这个阶段模型将输入转化为包含丰富信息的特征图。对于每一个对应于测序 Spot 的像素的图像块 (Patch)病理特征提取 ()借助在海量数据上预训练的UNI 大模型提取出具有强大表征能力的 1024 维组织学特征向量。空间位置特征 ()直接利用像素的二维空间坐标形成 2 维向量。全局 RGB 特征 ()将整张 HE 图像平均池化至相同尺寸提取整体 RGB 背景信息得到 3 维向量。最终这三者在通道维度上进行拼接 (Concat)形成包含高级语义、位置和颜色信息的多模态特征矩阵。2.2 模块二特征学习与融合 (Feature Learning Block)为了捕获图像块之间复杂的全局空间依赖关系HisToSGE 引入了 Transformer 架构的核心——多头自注意力机制 (MHSA)。输入融入了可学习位置编码 () 的多模态特征即。处理流程数据依次流经多头自注意力层、残差连接与层归一化 (Add Norm)、以及前馈神经网络 (FeedForward)。输出经过深度提炼和上下文融合后的高维特征表征。2.3 模块三基因投影头 (Gene Projection Heads)处理采用多层感知机 (MLP)。输出将学习到的高维图像特征直接映射到基因表达空间输出预测的基因表达谱。损失函数 (Loss Function)模型采用均方误差 (MSE) 作为损失函数以最小化预测表达量与真实观测值之间的差异。3. 实验设计与结果分析为了验证模型的有效性作者在 4 个公开的 ST 数据集包括 DLPFC 的 12 个切片、Mouse Brain 以及两例人类乳腺癌样本 BC1、BC2上进行了全面的评估并与 5 种基线方法STnet, DeepSpaCE, HistoGene, THItoGene, STAGE进行了对比。3.1 表达量补全能力评估 (Table II)实验设置随机遮蔽移除50% 的真实斑点作为测试集剩余 50% 作为训练集。评估指标皮尔逊相关系数 (PCC, 越高越好)、均方误差 (MSE) 和平均绝对误差 (MAE)。结果HisToSGE 在所有数据集上均取得了最高分数PCC 相比最强基线提升了9%~32%展现了卓越的缺失数据恢复能力。3.2 预测结果的空间可视化 (Fig. 2 3)实验设计针对特定的 Marker 基因如 DLPFC 层的 PCP4脑组织的 Prkcd将各模型在 50% 遮蔽数据集上的预测结果以空间热力图的形式呈现。结果直观对比显示HisToSGE 生成的热力图与真实值 (Ground Truth) 的空间模式最为吻合没有出现其他模型中明显的模糊或伪影。3.3 跨分辨率基因表达谱生成 (Fig. 4)实验设计 (超分辨率生成)测试时模型在原始稀疏斑点之间按 2x、4x、8x 的比例进行极坐标插值获取密集的虚拟坐标并输入对应的图像 Patches。结果结果惊艳。相比于原始的稀疏表达谱HisToSGE 生成的 8x 高分辨率图谱不仅细节更丰富且呈现出极其平滑和连贯的髓鞘高表达模式成功实现了表达谱的“超分辨率增强”。3.4 下游任务空间域聚类识别 (Fig. 5)实验设计使用各模型预测的完整基因表达矩阵输入到流行的 ST 聚类算法K-means, STAGATE, STMask中进行空间区域划分。评估指标ARI (调整兰德指数)衡量聚类结果与人工病理标注的吻合程度。结果无论使用哪种聚类算法基于 HisToSGE 生成数据的聚类结果其 ARI 值始终最高。这强有力地证明了其生成的表达谱不仅数值上准确更保留了真实且具有生物学意义的组织空间拓扑结构。3.5 消融实验探究 (Table III)模块替换将特征学习模块替换为 FeedForward 或 GAT结果表明 Transformer 的自注意力机制效果最佳。特征重要性设计STAGE_Plus模型用 UNI 提取的图像特征取代 STAGE 原本的 2D 坐标输入。性能显著提升证明了“强大的病理图像特征 优秀的特征学习网络”是实现高精度预测的关键组合。4. 代码工程结构速览代码地址https://github.com/wenwenmin/HisToSGE深入开源代码可以发现HisToSGE 的工程实现非常规范且模块化便于复现和二次开发。核心文件结构如下config.py: 配置中心集中管理超参数、路径和控制开关。dataset.py: 数据管道负责图像裁剪、基因数据标准化及 PyTorch Dataset 的构建。get_image_feature.py:关键效率工具。用于离线调用 UNI 大模型预先提取图像特征。此举极大地降低了训练时的显存消耗并加速了训练过程。model.py: 主网络架构定义将特征提取与投影头组装。transformer.py: 核心特征学习模块的具体实现 (MHSA)。train.pytest.py: 完整的训练循环、验证逻辑与权重管理。utils.py: 包含指标计算PCC、ARI等及空间可视化绘图工具。5. 总结与启发HisToSGE 为空间转录组数据的分辨率增强提供了一个强有力的范式其研究思路带来了两点重要启发AI 大模型在垂直领域的重要作用引入在十亿级病理图像上预训练的 Foundation Model如 UNI其在生物学纹理特征提取上的能力远胜于在小样本上从头训练Train from scratch的常规 CNN/ViT 网络。多模态上下文的深度融合是关键预测高维基因表达单纯依赖低维位置坐标或单纯依靠局部图像块都是不足的。HisToSGE 成功证明将高级图像语义、精确位置编码与全局自注意力机制相结合是恢复复杂空间基因表达分布的关键。欢迎在评论区留言交流
导读空间转录组ST技术能够揭示组织切片中基因表达的空间异质性但受限于高昂的成本和较低的空间分辨率。本文解读发表于BIBM 2024IEEE International Conference on Bioinformatics and BiomedicineIEEE 生物信息学与生物医学国际会议的前沿论文《High-Resolution Spatial Transcriptomics from Histology Images using HisToSGE》。该研究提出了一种创新框架巧妙地结合了预训练的病理学大模型 PILM(Pathology Image Large Model)与多头注意力机制实现了从低成本的 HE 组织学图像向高分辨率基因表达谱的精准跨越。论文地址https://arxiv.org/html/2407.20518v11. 研究背景与核心痛点空间转录组ST技术是近年来生物学领域的重大突破它保留了基因表达的空间位置信息对于理解疾病机制和微环境相互作用至关重要。然而当前的 ST 技术面临两大挑战成本高昂设备和试剂昂贵限制了大规模应用。分辨率不足测序斑点Spots分布稀疏导致特定区域的基因表达信息缺失。相比之下HE 染色的全切片图像WSIs不仅成本极低而且在临床上非常普及。因此利用深度学习“以图推基因”成为了一种极具性价比的替代方案。现有方法的局限性图像特征提取不充分仅使用有限的数据训练图像提取器如 STNet, DeepSpaCE。特征表征能力弱过度依赖低维的空间坐标信息难以准确表征高维复杂的基因表达谱如 STAGE。HisToSGE 的破局之道为了解决上述问题研究团队开发了HisToSGE。其核心优势在于引入在亿级图像上预训练的病理学大模型 (UNI)提取丰富的多模态特征并结合多头注意力机制深度融合空间位置最终稳健地生成任意高分辨率的基因表达图谱。2. 方法框图 (Methodology) 深度拆解HisToSGE 的网络架构设计非常清晰主要分为训练阶段 (Training)和预测/生成阶段 (Predicting)。其核心流程由三大模块紧密串联2.1 模块一多模态特征提取 (Feature Extraction Block)在这个阶段模型将输入转化为包含丰富信息的特征图。对于每一个对应于测序 Spot 的像素的图像块 (Patch)病理特征提取 ()借助在海量数据上预训练的UNI 大模型提取出具有强大表征能力的 1024 维组织学特征向量。空间位置特征 ()直接利用像素的二维空间坐标形成 2 维向量。全局 RGB 特征 ()将整张 HE 图像平均池化至相同尺寸提取整体 RGB 背景信息得到 3 维向量。最终这三者在通道维度上进行拼接 (Concat)形成包含高级语义、位置和颜色信息的多模态特征矩阵。2.2 模块二特征学习与融合 (Feature Learning Block)为了捕获图像块之间复杂的全局空间依赖关系HisToSGE 引入了 Transformer 架构的核心——多头自注意力机制 (MHSA)。输入融入了可学习位置编码 () 的多模态特征即。处理流程数据依次流经多头自注意力层、残差连接与层归一化 (Add Norm)、以及前馈神经网络 (FeedForward)。输出经过深度提炼和上下文融合后的高维特征表征。2.3 模块三基因投影头 (Gene Projection Heads)处理采用多层感知机 (MLP)。输出将学习到的高维图像特征直接映射到基因表达空间输出预测的基因表达谱。损失函数 (Loss Function)模型采用均方误差 (MSE) 作为损失函数以最小化预测表达量与真实观测值之间的差异。3. 实验设计与结果分析为了验证模型的有效性作者在 4 个公开的 ST 数据集包括 DLPFC 的 12 个切片、Mouse Brain 以及两例人类乳腺癌样本 BC1、BC2上进行了全面的评估并与 5 种基线方法STnet, DeepSpaCE, HistoGene, THItoGene, STAGE进行了对比。3.1 表达量补全能力评估 (Table II)实验设置随机遮蔽移除50% 的真实斑点作为测试集剩余 50% 作为训练集。评估指标皮尔逊相关系数 (PCC, 越高越好)、均方误差 (MSE) 和平均绝对误差 (MAE)。结果HisToSGE 在所有数据集上均取得了最高分数PCC 相比最强基线提升了9%~32%展现了卓越的缺失数据恢复能力。3.2 预测结果的空间可视化 (Fig. 2 3)实验设计针对特定的 Marker 基因如 DLPFC 层的 PCP4脑组织的 Prkcd将各模型在 50% 遮蔽数据集上的预测结果以空间热力图的形式呈现。结果直观对比显示HisToSGE 生成的热力图与真实值 (Ground Truth) 的空间模式最为吻合没有出现其他模型中明显的模糊或伪影。3.3 跨分辨率基因表达谱生成 (Fig. 4)实验设计 (超分辨率生成)测试时模型在原始稀疏斑点之间按 2x、4x、8x 的比例进行极坐标插值获取密集的虚拟坐标并输入对应的图像 Patches。结果结果惊艳。相比于原始的稀疏表达谱HisToSGE 生成的 8x 高分辨率图谱不仅细节更丰富且呈现出极其平滑和连贯的髓鞘高表达模式成功实现了表达谱的“超分辨率增强”。3.4 下游任务空间域聚类识别 (Fig. 5)实验设计使用各模型预测的完整基因表达矩阵输入到流行的 ST 聚类算法K-means, STAGATE, STMask中进行空间区域划分。评估指标ARI (调整兰德指数)衡量聚类结果与人工病理标注的吻合程度。结果无论使用哪种聚类算法基于 HisToSGE 生成数据的聚类结果其 ARI 值始终最高。这强有力地证明了其生成的表达谱不仅数值上准确更保留了真实且具有生物学意义的组织空间拓扑结构。3.5 消融实验探究 (Table III)模块替换将特征学习模块替换为 FeedForward 或 GAT结果表明 Transformer 的自注意力机制效果最佳。特征重要性设计STAGE_Plus模型用 UNI 提取的图像特征取代 STAGE 原本的 2D 坐标输入。性能显著提升证明了“强大的病理图像特征 优秀的特征学习网络”是实现高精度预测的关键组合。4. 代码工程结构速览代码地址https://github.com/wenwenmin/HisToSGE深入开源代码可以发现HisToSGE 的工程实现非常规范且模块化便于复现和二次开发。核心文件结构如下config.py: 配置中心集中管理超参数、路径和控制开关。dataset.py: 数据管道负责图像裁剪、基因数据标准化及 PyTorch Dataset 的构建。get_image_feature.py:关键效率工具。用于离线调用 UNI 大模型预先提取图像特征。此举极大地降低了训练时的显存消耗并加速了训练过程。model.py: 主网络架构定义将特征提取与投影头组装。transformer.py: 核心特征学习模块的具体实现 (MHSA)。train.pytest.py: 完整的训练循环、验证逻辑与权重管理。utils.py: 包含指标计算PCC、ARI等及空间可视化绘图工具。5. 总结与启发HisToSGE 为空间转录组数据的分辨率增强提供了一个强有力的范式其研究思路带来了两点重要启发AI 大模型在垂直领域的重要作用引入在十亿级病理图像上预训练的 Foundation Model如 UNI其在生物学纹理特征提取上的能力远胜于在小样本上从头训练Train from scratch的常规 CNN/ViT 网络。多模态上下文的深度融合是关键预测高维基因表达单纯依赖低维位置坐标或单纯依靠局部图像块都是不足的。HisToSGE 成功证明将高级图像语义、精确位置编码与全局自注意力机制相结合是恢复复杂空间基因表达分布的关键。欢迎在评论区留言交流
