摘要基因组学中的表征学习通常依赖序列、表达和网络数据从而忽略了科学文献中丰富的信息。本研究提出LitGene一种可解释的Transformer模型通过对比学习整合非结构化文本信息与基因本体注释优化基因表征。在针对蛋白质属性的八项基准任务中LitGene取得了具有竞争力的准确性并能够对GO术语、KEGG通路及基因—疾病关联进行零样本预测。LitGene将ANGPTL6识别为特发性肺纤维化的潜在候选基因其在独立患者样本中的差异表达为这一提名提供了支持展示了LitGene用于提出研究假设的价值。基于SHAP的解释工具突出显示了影响预测的文本特征自动化文献依据检索框架则在存在相关研究时提供佐证。结果提示整合文本与遗传信息有助于减轻研究不足基因所面临的偏倚。作者公开了源代码并提供网络界面https://litgene.cs.unm.edu/ 用户可输入基因名、疾病名、药物名或自定义文本例如论文摘要获得相关生物医学实体的预测及支持证据。关键词基因表征学习基因本体对比学习零样本预测多模态融合模型可解释性Macaulay, O., Jararweh, A., Arredondo, D., et al. (2026). LitGene: an interpretable transformer model integrating text and ontology for gene representation learning. Nature Communications. https://doi.org/10.1038/s41467-026-78454-4期刊Nature Communications2025年 IF18.12026版JCR在线发表2026年10月16日提供版本为Article in Press。研究总结LitGene基因表征学习科学问题文献知识难以纳入定量模型研究不足基因存在知识偏倚模型设计基因文本与GO注释对比学习融合序列及表达表征主要结果功能与疾病关联零样本预测八项下游任务与独立表达验证解释与边界SHAP归因及文献佐证候选关联仍需生物学验证背景介绍序列和表达数据能够刻画基因的分子属性但许多关于功能、细胞定位和疾病背景的知识以自然语言保存在数据库与论文中。直接使用通用文本向量可能主要捕捉词汇相似性未必区分生物学关系。另一方面研究热点基因拥有更丰富的描述模型可能继承这种知识分布不均。LitGene以基因表征学习gene representation learning为核心将文本语义与基因本体Gene OntologyGO关联对齐并检验这些表征能否补充序列和表达模型。重要结果文本与GO注释共同构建基因表征LitGene使用PubMedBERT编码基因功能摘要通过对比学习contrastive learning拉近基因与相关GO术语的向量距离拉远无关术语。所得表征既可直接用于相似性检索也可通过任务适配完成分类或回归。SHAP用于追踪文本特征对预测的贡献文献检索则提供可回查的支持材料两者分别回答“模型依赖哪些词”和“是否存在相关研究”不等同于证明预测的生物学机制。图1LitGene框架概览。a模型以基因、药物或疾病描述为输入输出特定任务的预测。b对比学习调整初始嵌入使基因与相关GO术语更接近、与无关GO术语更远形成更有生物学意义的表征。c模型可利用有限数据适配下游领域。d利用衡量特征重要性的SHAP评分解释预测。e与序列或表达模型进行多模态融合减轻研究不足基因的偏倚。f通过文献检索和评估量化新预测基因—疾病关联的支持程度。零样本功能预测与多模态融合相互补充未经对比学习的向量难以有效区分基因—GO关系训练后区分度提高。作者进一步按GO父级或完整分支划分训练与测试集合并遮蔽摘要中的GO名称和同义词降低层级泄漏及字面匹配的影响。遮蔽前后相关基因相似性高于背景的术语比例由99.15%变为99.04%。对于未用于训练的KEGG通路LitGene也保留预测信号与ProteinBERT、ESM2及Gene2Vec融合后图示AUC分别由0.78、0.80、0.68提高至0.87、0.88、0.85。这里的零样本zero-shot指未针对相应目标关系训练并不意味着模型此前未接触任何相关文献知识。图2LitGene对新关系的零样本学习。a对比学习前后已注释及未注释基因与相应GO术语的余弦相似性上方面板纵轴范围较窄。共评估12,541个GO术语、272,175条基因—GO注释。箱线图中心线为中位数箱体为第25—75百分位须为1.5倍四分位距须外点为离群值。b、c仅用GO训练的模型分别预测留出GO术语及KEGG通路纵轴为相关基因相似性中位数横轴为无关基因对应值。b整体留出7个深度为1的GO分支及全部后代位于对角线上方表示关联信号更强。随机划分、父级感知划分和名称遮蔽见补充图3。d对至少关联10个基因的KEGG通路进行五折训练比较平均准确率对角线上方表示融合模型优于ProteinBERT。e—g分别比较LitGene与ProteinBERT、ESM2及Gene2Vec融合前后的通路预测AUC。原文提供Source Data。疾病关联预测产生可检验候选而非确证风险基因模型将疾病描述与基因摘要映射到同一空间在哮喘、高血压、肥胖和精神分裂症中恢复了已有疾病关联信号并提出数据库尚未收录的候选。特发性肺纤维化idiopathic pulmonary fibrosisIPF分析中ANGPTL6排名第5独立的1,954份转录组样本汇总分析包含1,161例患者和793例对照该基因上调log₂倍数变化为1.41校正P值为3.8×10⁻¹³。作者在当时的文献检索中未发现直接关联报道。因此该结果支持优先开展后续研究尚不能确立ANGPTL6的致病作用或治疗价值。图3零样本预测与疾病关联分析。a特定疾病关联基因的相似性中位数与其他疾病关联基因比较对角线上方代表与目标疾病联系更强。b已关联基因与未关联基因的疾病嵌入相似性箱线图显示中位数、四分位范围、1.5倍四分位距及离群值。已知关联基因数分别为哮喘146、高血压117、肥胖84、精神分裂症72每病未关联基因均超过100。c同一嵌入空间中的t-SNE图显示各病排名前100、尚未被所用数据库注释的预测基因红、绿、蓝、紫分别代表哮喘、高血压、肥胖和精神分裂症。d各疾病基因簇富集的通路。e在相应簇上标注SHAP识别的重要词。fIPF新候选预测案例。原文提供Source Data。文献支持框架为预测提供可追溯依据研究将108,122篇PubMed论文摘要与基因、疾病描述共同嵌入观察到语义相近的基因功能与论文主题聚集。进一步以右尾超几何检验评估“基因相关文献”和“疾病相关文献”的重叠识别出19组经多重检验校正后显著的预测关联。这种文献依据检索literature grounding可协助核查已有证据但更容易支持文献丰富的对象缺少重叠不能据此排除真正的新关联。图4自动评估LitGene预测的文献支持。a、b基因和论文嵌入的t-SNE图每点代表一个基因或一篇论文颜色表示无监督聚类。a标注基因簇富集通路b标注论文簇关键词或主题标签前的编号对应匹配簇。c簇11基因通路富集比即观察与期望重叠之比颜色表示P值。d簇11论文主题词云。e、f簇2的通路富集和论文词云。g横轴为基因—疾病余弦相似性纵轴为相关文献重叠的显著性经Benjamini–Hochberg多重检验校正显著的组合以星号标记。原文提供Source Data。任务适配提高蛋白质溶解性预测表现八项下游任务覆盖剂量敏感性、染色质状态、转录因子属性、溶解性、亚细胞定位和保守性等。LitGene的优势并非在所有任务中一致针对任务微调是获得较好表现的重要环节。在包含1,964个蛋白质的溶解性基准中任务适配后的加权F1为0.843优于未适配模型的0.770及所比较的多种基线。不同模型的评估样本与训练方式存在差别尤其部分闭源模型只在抽样子集上测试不能据此形成不受条件限制的通用排名。图5LitGene在溶解性基准上的表现。a与文本模型GPT2、XLNet、Doc2Vec及表达模型scGPT、Gene2Vec比较。箱线图展示五折交叉验证的加权F1每模型5折共1,964个蛋白质其中998个可溶、966个不溶。中心线为中位数箱体为第25—75百分位须为1.5倍四分位距。b比较有、无任务适配的LitGene与溶解性专用模型专用基线的详细说明见原文引用的DeepSoluE论文。原文提供Source Data。文本归因与表达融合揭示模型依据及知识偏倚SHAP分析发现“跨膜”等词对不溶性预测贡献较大相关基因簇与受体或转运功能相符。作者通过遮蔽、反类别子集和跨折稳定性分析检验模型是否依赖单一关键词捷径。对于研究程度偏倚按PubMed记录数独立分层后2,500个研究较少基因与2,499个研究较多基因之间仍存在表现差距融合Gene2Vec主要改善前一组的亚细胞定位预测。该发现支持多模态互补但尚未覆盖没有可用文本摘要的基因。图6LitGene预测的可解释性分析。a溶解性预测中SHAP值最高的7个词蓝色为可溶、绿色为不溶。b基因簇t-SNE图标注通路富集及SHAP得到的高频重要词例如“GPCR配体结合”簇可能因“跨膜”特征被判为不溶。c同一散点图按预测溶解性着色。d各任务中具有最高特征性SHAP值的前三个词及其对类别或数值输出的贡献柱透明度按词频对数归一化范围为log 2至观察到的最大log 3.4。e在按PubMed记录数分层并匹配样本量的亚细胞定位任务中比较文本模型与LitGeneGene2Vec融合模型的五折平均加权F1误差线为标准差包含2,500个研究较少及2,499个研究较多基因。相同评估的AUC与完整不确定性范围见补充图16。原文提供Source Data。方法学参考整理基因功能摘要与GO注释去除标识性噪声与重复短文本PubMedBERT编码与对比学习层级留出与名称遮蔽评估下游任务适配与多模态融合独立表达数据及文献支持核查交叉验证与SHAP归因检验可借鉴的方法包括以完整GO分支留出降低本体层级泄漏用名称遮蔽区分语义学习与字面命中以独立疾病表达数据约束候选排序按文献量而非摘要长度定义研究程度并匹配样本量比较模型表现。复用时需固定文本与数据库版本同时保留未收录、无摘要和未评估对象的覆盖范围。SHAP说明模型对输入特征的依赖仍需与实验机制证据分开解释。总结LitGene表明文献文本可以成为序列和表达数据之外的互补信息源。其贡献在于将文本与GO结构化知识对齐并结合严格留出评估、模型归因和文献检索使候选基因排序更便于检查。对于实际研究最有依据的用途是功能注释辅助、候选优先级排序与假设生成ANGPTL6案例展示了这一工作流如何连接独立数据但候选功能仍有待验证。参考文献Macaulay, O., Jararweh, A., Arredondo, D., et al. (2026). LitGene: an interpretable transformer model integrating text and ontology for gene representation learning. Nature Communications. https://doi.org/10.1038/s41467-026-78454-4模型与代码https://github.com/vinash85/LitGene网络工具https://litgene.cs.unm.edu/
摘要基因组学中的表征学习通常依赖序列、表达和网络数据从而忽略了科学文献中丰富的信息。本研究提出LitGene一种可解释的Transformer模型通过对比学习整合非结构化文本信息与基因本体注释优化基因表征。在针对蛋白质属性的八项基准任务中LitGene取得了具有竞争力的准确性并能够对GO术语、KEGG通路及基因—疾病关联进行零样本预测。LitGene将ANGPTL6识别为特发性肺纤维化的潜在候选基因其在独立患者样本中的差异表达为这一提名提供了支持展示了LitGene用于提出研究假设的价值。基于SHAP的解释工具突出显示了影响预测的文本特征自动化文献依据检索框架则在存在相关研究时提供佐证。结果提示整合文本与遗传信息有助于减轻研究不足基因所面临的偏倚。作者公开了源代码并提供网络界面https://litgene.cs.unm.edu/ 用户可输入基因名、疾病名、药物名或自定义文本例如论文摘要获得相关生物医学实体的预测及支持证据。关键词基因表征学习基因本体对比学习零样本预测多模态融合模型可解释性Macaulay, O., Jararweh, A., Arredondo, D., et al. (2026). LitGene: an interpretable transformer model integrating text and ontology for gene representation learning. Nature Communications. https://doi.org/10.1038/s41467-026-78454-4期刊Nature Communications2025年 IF18.12026版JCR在线发表2026年10月16日提供版本为Article in Press。研究总结LitGene基因表征学习科学问题文献知识难以纳入定量模型研究不足基因存在知识偏倚模型设计基因文本与GO注释对比学习融合序列及表达表征主要结果功能与疾病关联零样本预测八项下游任务与独立表达验证解释与边界SHAP归因及文献佐证候选关联仍需生物学验证背景介绍序列和表达数据能够刻画基因的分子属性但许多关于功能、细胞定位和疾病背景的知识以自然语言保存在数据库与论文中。直接使用通用文本向量可能主要捕捉词汇相似性未必区分生物学关系。另一方面研究热点基因拥有更丰富的描述模型可能继承这种知识分布不均。LitGene以基因表征学习gene representation learning为核心将文本语义与基因本体Gene OntologyGO关联对齐并检验这些表征能否补充序列和表达模型。重要结果文本与GO注释共同构建基因表征LitGene使用PubMedBERT编码基因功能摘要通过对比学习contrastive learning拉近基因与相关GO术语的向量距离拉远无关术语。所得表征既可直接用于相似性检索也可通过任务适配完成分类或回归。SHAP用于追踪文本特征对预测的贡献文献检索则提供可回查的支持材料两者分别回答“模型依赖哪些词”和“是否存在相关研究”不等同于证明预测的生物学机制。图1LitGene框架概览。a模型以基因、药物或疾病描述为输入输出特定任务的预测。b对比学习调整初始嵌入使基因与相关GO术语更接近、与无关GO术语更远形成更有生物学意义的表征。c模型可利用有限数据适配下游领域。d利用衡量特征重要性的SHAP评分解释预测。e与序列或表达模型进行多模态融合减轻研究不足基因的偏倚。f通过文献检索和评估量化新预测基因—疾病关联的支持程度。零样本功能预测与多模态融合相互补充未经对比学习的向量难以有效区分基因—GO关系训练后区分度提高。作者进一步按GO父级或完整分支划分训练与测试集合并遮蔽摘要中的GO名称和同义词降低层级泄漏及字面匹配的影响。遮蔽前后相关基因相似性高于背景的术语比例由99.15%变为99.04%。对于未用于训练的KEGG通路LitGene也保留预测信号与ProteinBERT、ESM2及Gene2Vec融合后图示AUC分别由0.78、0.80、0.68提高至0.87、0.88、0.85。这里的零样本zero-shot指未针对相应目标关系训练并不意味着模型此前未接触任何相关文献知识。图2LitGene对新关系的零样本学习。a对比学习前后已注释及未注释基因与相应GO术语的余弦相似性上方面板纵轴范围较窄。共评估12,541个GO术语、272,175条基因—GO注释。箱线图中心线为中位数箱体为第25—75百分位须为1.5倍四分位距须外点为离群值。b、c仅用GO训练的模型分别预测留出GO术语及KEGG通路纵轴为相关基因相似性中位数横轴为无关基因对应值。b整体留出7个深度为1的GO分支及全部后代位于对角线上方表示关联信号更强。随机划分、父级感知划分和名称遮蔽见补充图3。d对至少关联10个基因的KEGG通路进行五折训练比较平均准确率对角线上方表示融合模型优于ProteinBERT。e—g分别比较LitGene与ProteinBERT、ESM2及Gene2Vec融合前后的通路预测AUC。原文提供Source Data。疾病关联预测产生可检验候选而非确证风险基因模型将疾病描述与基因摘要映射到同一空间在哮喘、高血压、肥胖和精神分裂症中恢复了已有疾病关联信号并提出数据库尚未收录的候选。特发性肺纤维化idiopathic pulmonary fibrosisIPF分析中ANGPTL6排名第5独立的1,954份转录组样本汇总分析包含1,161例患者和793例对照该基因上调log₂倍数变化为1.41校正P值为3.8×10⁻¹³。作者在当时的文献检索中未发现直接关联报道。因此该结果支持优先开展后续研究尚不能确立ANGPTL6的致病作用或治疗价值。图3零样本预测与疾病关联分析。a特定疾病关联基因的相似性中位数与其他疾病关联基因比较对角线上方代表与目标疾病联系更强。b已关联基因与未关联基因的疾病嵌入相似性箱线图显示中位数、四分位范围、1.5倍四分位距及离群值。已知关联基因数分别为哮喘146、高血压117、肥胖84、精神分裂症72每病未关联基因均超过100。c同一嵌入空间中的t-SNE图显示各病排名前100、尚未被所用数据库注释的预测基因红、绿、蓝、紫分别代表哮喘、高血压、肥胖和精神分裂症。d各疾病基因簇富集的通路。e在相应簇上标注SHAP识别的重要词。fIPF新候选预测案例。原文提供Source Data。文献支持框架为预测提供可追溯依据研究将108,122篇PubMed论文摘要与基因、疾病描述共同嵌入观察到语义相近的基因功能与论文主题聚集。进一步以右尾超几何检验评估“基因相关文献”和“疾病相关文献”的重叠识别出19组经多重检验校正后显著的预测关联。这种文献依据检索literature grounding可协助核查已有证据但更容易支持文献丰富的对象缺少重叠不能据此排除真正的新关联。图4自动评估LitGene预测的文献支持。a、b基因和论文嵌入的t-SNE图每点代表一个基因或一篇论文颜色表示无监督聚类。a标注基因簇富集通路b标注论文簇关键词或主题标签前的编号对应匹配簇。c簇11基因通路富集比即观察与期望重叠之比颜色表示P值。d簇11论文主题词云。e、f簇2的通路富集和论文词云。g横轴为基因—疾病余弦相似性纵轴为相关文献重叠的显著性经Benjamini–Hochberg多重检验校正显著的组合以星号标记。原文提供Source Data。任务适配提高蛋白质溶解性预测表现八项下游任务覆盖剂量敏感性、染色质状态、转录因子属性、溶解性、亚细胞定位和保守性等。LitGene的优势并非在所有任务中一致针对任务微调是获得较好表现的重要环节。在包含1,964个蛋白质的溶解性基准中任务适配后的加权F1为0.843优于未适配模型的0.770及所比较的多种基线。不同模型的评估样本与训练方式存在差别尤其部分闭源模型只在抽样子集上测试不能据此形成不受条件限制的通用排名。图5LitGene在溶解性基准上的表现。a与文本模型GPT2、XLNet、Doc2Vec及表达模型scGPT、Gene2Vec比较。箱线图展示五折交叉验证的加权F1每模型5折共1,964个蛋白质其中998个可溶、966个不溶。中心线为中位数箱体为第25—75百分位须为1.5倍四分位距。b比较有、无任务适配的LitGene与溶解性专用模型专用基线的详细说明见原文引用的DeepSoluE论文。原文提供Source Data。文本归因与表达融合揭示模型依据及知识偏倚SHAP分析发现“跨膜”等词对不溶性预测贡献较大相关基因簇与受体或转运功能相符。作者通过遮蔽、反类别子集和跨折稳定性分析检验模型是否依赖单一关键词捷径。对于研究程度偏倚按PubMed记录数独立分层后2,500个研究较少基因与2,499个研究较多基因之间仍存在表现差距融合Gene2Vec主要改善前一组的亚细胞定位预测。该发现支持多模态互补但尚未覆盖没有可用文本摘要的基因。图6LitGene预测的可解释性分析。a溶解性预测中SHAP值最高的7个词蓝色为可溶、绿色为不溶。b基因簇t-SNE图标注通路富集及SHAP得到的高频重要词例如“GPCR配体结合”簇可能因“跨膜”特征被判为不溶。c同一散点图按预测溶解性着色。d各任务中具有最高特征性SHAP值的前三个词及其对类别或数值输出的贡献柱透明度按词频对数归一化范围为log 2至观察到的最大log 3.4。e在按PubMed记录数分层并匹配样本量的亚细胞定位任务中比较文本模型与LitGeneGene2Vec融合模型的五折平均加权F1误差线为标准差包含2,500个研究较少及2,499个研究较多基因。相同评估的AUC与完整不确定性范围见补充图16。原文提供Source Data。方法学参考整理基因功能摘要与GO注释去除标识性噪声与重复短文本PubMedBERT编码与对比学习层级留出与名称遮蔽评估下游任务适配与多模态融合独立表达数据及文献支持核查交叉验证与SHAP归因检验可借鉴的方法包括以完整GO分支留出降低本体层级泄漏用名称遮蔽区分语义学习与字面命中以独立疾病表达数据约束候选排序按文献量而非摘要长度定义研究程度并匹配样本量比较模型表现。复用时需固定文本与数据库版本同时保留未收录、无摘要和未评估对象的覆盖范围。SHAP说明模型对输入特征的依赖仍需与实验机制证据分开解释。总结LitGene表明文献文本可以成为序列和表达数据之外的互补信息源。其贡献在于将文本与GO结构化知识对齐并结合严格留出评估、模型归因和文献检索使候选基因排序更便于检查。对于实际研究最有依据的用途是功能注释辅助、候选优先级排序与假设生成ANGPTL6案例展示了这一工作流如何连接独立数据但候选功能仍有待验证。参考文献Macaulay, O., Jararweh, A., Arredondo, D., et al. (2026). LitGene: an interpretable transformer model integrating text and ontology for gene representation learning. Nature Communications. https://doi.org/10.1038/s41467-026-78454-4模型与代码https://github.com/vinash85/LitGene网络工具https://litgene.cs.unm.edu/
![P1009 [NOIP 1998 普及组] 阶乘之和](http://pic.xiahunao.cn/yaotu/P1009 [NOIP 1998 普及组] 阶乘之和)
