DeepChem 分子机器学习实战工作流全指南从 SMILES 性质预测到自定义模型集成【免费下载链接】scientific-agent-skillsTurn any AI agent into an AI Scientist. The #1 Agent Skills library for science, used by 190,000 scientists worldwide. 165 ready-to-use validated skills plus 100 scientific databases covering biology, chemistry, medicine, and drug discovery. Compatible with Cursor, Claude Code, Codex, Pi, Antigravity, and the open Agent Skills standard.项目地址: https://gitcode.com/GitHub_Trending/cl/scientific-agent-skills本篇技术指南以 scientific-agent-skills 技能库中 deepchem 技能的 workflows 参考文档 为核心骨架系统讲解 DeepChem2.8.0在分子性质预测、MoleculeNet 基准评测、超参数优化、迁移学习、分子生成、材料与蛋白质分析、自定义模型集成等八大典型场景下的完整工作流。读完本文你将掌握从 CSV/SMILES 数据加载、特征化、数据分割、模型训练到评估与预测的端到端实操方案并能直接复用技能库中配套的三个生产级脚本快速启动实验。工作流总览与环境准备八大工作流一览workflows.md 定义了八条可独立落地、也可自由组合的端到端工作流覆盖化学、材料、生物三大领域编号工作流核心目标关键 API1从 SMILES 预测分子性质预测溶解度、毒性、活性等CSVLoader、ScaffoldSplitter、MultitaskRegressor/GCNModel2使用 MoleculeNet 基准数据集在标准基准上快速训练与评估dc.molnet.load_*()3超参数优化系统化搜索最优超参数dc.hyper.GridHyperparamOpt4预训练模型迁移学习小数据集上利用预训练模型提升性能HuggingFaceModel、GroverModel5GAN 分子生成生成具有目标性质的新分子BasicMolGANModel6材料性质预测预测晶体材料性质CIFLoader、CGCNNModel7蛋白质序列分析从序列预测蛋白质性质FASTALoader、ProtBERT8自定义模型集成接入自有 PyTorch / scikit-learn 模型SklearnModel、TorchModel版本与安装前提本技能示例面向deepchem 2.8.0PyPI 稳定版2024 年 4 月发布要求Python 3.7–3.11PyPI 2.8.0 上限低于 3.12。核心工具数据加载器、特征化器、MoleculeNet无需深度学习后端即可工作GNN 与 Transformer 模型则需要安装与后端匹配的 extrauv pip install deepchem # 仅加载器、特征化器、MoleculeNet uv pip install deepchem[torch] # GNN、TorchModel、HuggingFaceModel、GroverModel uv pip install deepchem[tensorflow] # 传统 Keras 模型 uv pip install deepchem[jax] # JAX/Haiku 模型 uv pip install deepchem[dqc] # 可微量化化学torch xitorch使用 GPU 时需先安装带正确 CUDA 构建的 PyTorch/TensorFlow/JAX再安装对应 extra在 zsh 中需为方括号加引号。Conda PyTorch 用户若遇到undefined symbol: iJIT_NotifyEvent可将 MKL 固定到 2025 以下版本conda install mkl2025。更完整的安装说明见 SKILL.md。工作流 1从 SMILES 进行分子性质预测目标从 SMILES 字符串预测分子性质如溶解度、毒性、活性。第 1 步准备数据数据应为 CSV 格式至少包含两列内容一列存放 SMILES 字符串一列或多列存放性质值目标变量。示例结构如下smiles,solubility,toxicity CCO,-0.77,0 CC(O)OC1CCCCC1C(O)O,-1.19,1第 2 步选择特征化器特征化器Featurizer把分子转化为 ML 模型可用的数值表示选择决策树如下小数据集1K使用CircularFingerprint或RDKitDescriptors中数据集1K–100K使用CircularFingerprint或MolGraphConvFeaturizer大数据集100K使用基于图的特征化器MolGraphConvFeaturizer、DMPNNFeaturizer迁移学习使用预训练模型特征化器GroverFeaturizerapi_reference.md 给出了更完整的特征化器目录指纹类还包括MACCSKeysFingerprint167 位结构键、PubChemFingerprint881 位结构描述符、Mol2VecFingerprint描述符类有RDKitDescriptors约 200 个分子描述符MW、LogP、氢供体/受体、TPSA 等与MordredDescriptors序列类有SmilesToSeq、SmilesToImage3D 结构类有CoulombMatrix以及保持原始数据的RawFeaturizer和DummyFeaturizer。CircularFingerprint的参数为radius默认 2、size默认 2048、useChirality默认 False。第 3 步加载与特征化数据import deepchem as dc # 基于指纹 featurizer dc.feat.CircularFingerprint(radius2, size2048) # 或基于图 featurizer dc.feat.MolGraphConvFeaturizer() loader dc.data.CSVLoader( tasks[solubility, toxicity], # 要预测的列名 feature_fieldsmiles, # SMILES 所在列 featurizerfeaturizer ) dataset loader.create_dataset(data.csv)除CSVLoader外DeepChem 还提供SDFLoader分子结构文件、FASTALoader蛋白质/DNA 序列、ImageLoader分子图像、JsonLoaderJSON 格式等加载器。内存方面NumpyDataset适合中小规模数据DiskDataset可把大数据集存储在磁盘上以降低内存开销。第 4 步分割数据关键药物发现场景务必使用ScaffoldSplitter防止数据泄漏相似骨架分子同时出现在训练集和测试集会导致虚高的评估分数。splitter dc.splits.ScaffoldSplitter() train, valid, test splitter.train_valid_test_split( dataset, frac_train0.8, frac_valid0.1, frac_test0.1 )api_reference.md 还列出了更多分割器ButinaSplitter基于聚类的分子分割、FingerprintSplitter按分子指纹相似度、MaxMinSplitter最大化集合间多样性、MolecularWeightSplitter按分子量、以及通用型的RandomSplitter、RandomStratifiedSplitter、IndexSplitter、SpecifiedSplitter、TaskSplitter等。第 5 步数据变换可选但推荐transformers [ dc.trans.NormalizationTransformer( transform_yTrue, datasettrain ) ] for transformer in transformers: train transformer.transform(train) valid transformer.transform(valid) test transformer.transform(test)NormalizationTransformer将目标值标准化为零均值、单位方差BalancingTransformer用于处理类别不平衡MinMaxTransformer将特征缩放到 [0,1]LogTransformer做对数变换。第 6 步选择并训练模型# 基于指纹的稠密网络 model dc.models.MultitaskRegressor( n_tasks2, # 要预测的性质数量 n_features2048, # 指纹长度 layer_sizes[1000, 500], # 隐藏层尺寸 dropouts0.25, learning_rate0.001 ) # 或基于图的 GCN model dc.models.GCNModel( n_tasks2, moderegression, batch_size128, learning_rate0.001 ) # 训练 model.fit(train, nb_epoch50)core_capabilities.md 给出了按数据集规模与任务类型选模型的速查表1K 样本推荐SklearnModelRandomForestCircularFingerprint1K–100K 推荐GBDTModel或MultitaskRegressor100K 推荐GCNModel、AttentiveFPModel、DMPNNModelMolGraphConvFeaturizer晶体结构用CGCNNModel/MEGNetModel蛋白质序列用 ProtBERT。第 7 步评估metric dc.metrics.Metric(dc.metrics.r2_score) train_score model.evaluate(train, [metric]) valid_score model.evaluate(valid, [metric]) test_score model.evaluate(test, [metric]) print(fTrain R²: {train_score}) print(fValid R²: {valid_score}) print(fTest R²: {test_score})回归任务常用r2_score、mean_absolute_error、root_mean_squared_error、pearson_r2_score、spearman_correlation分类任务常用roc_auc_score、prc_auc_score、accuracy_score、balanced_accuracy_score、recall_score、precision_score、f1_score。多任务场景下多数指标按任务取平均。第 8 步对新分子做预测# 预测新分子 new_smiles [CCO, CC(C)O, c1ccccc1] new_featurizer dc.feat.CircularFingerprint(radius2, size2048) new_features new_featurizer.featurize(new_smiles) new_dataset dc.data.NumpyDataset(Xnew_features) # 应反变换输出而非输入。由 transform_yTrue 构建的 NormalizationTransformer # 作用于 y而预测数据集没有 y——对它做变换不会有任何效果预测结果仍处于 # z-score 空间。把 transformers 传给 predict() 可将输出反变换回目标的真实量纲。 predictions model.predict(new_dataset, transformerstransformers)配套脚本predict_solubility.pyscripts/predict_solubility.py 是该工作流的完整落地实现默认加载 DelaneyESOL基准数据集也支持自定义 CSV训练后内置 R²、MAE、RMSE 三项回归指标评估并打印示例分子预测结果# 使用 Delaney 基准 python scripts/predict_solubility.py # 使用自定义数据并预测新分子 python scripts/predict_solubility.py \ --data my_data.csv \ --smiles-col smiles \ --target-col solubility \ --predict CCO c1ccccc1脚本中用batch_size50、layer_sizes[1000, 500]、dropouts0.25、learning_rate0.001构建回归器训练 50 个 epoch在自定义数据路径上先经ScaffoldSplitter按 0.8/0.1/0.1 分割再做NormalizationTransformer(transform_yTrue)标准化其注释明确提醒变换器作用于 y预测数据集无 y因此要把transformers传入predict()反变换输出而非变换输入。工作流 2使用 MoleculeNet 基准数据集目标在标准基准上快速训练和评估模型。快速开始import deepchem as dc # 加载基准数据集 tasks, datasets, transformers dc.molnet.load_tox21( featurizerGraphConv, splitterscaffold ) train, valid, test datasets # 训练模型 model dc.models.GCNModel( n_taskslen(tasks), modeclassification ) model.fit(train, nb_epoch50) # 评估 metric dc.metrics.Metric(dc.metrics.roc_auc_score) test_score model.evaluate(test, [metric]) print(fTest ROC-AUC: {test_score})可选特征化器load_* 函数ECFP扩展连接指纹圆形指纹GraphConv图卷积特征WeaveWeave 特征Raw原始 SMILES 字符串smiles2img2D 分子图像可选分割器scaffold基于骨架的分割药物发现推荐random随机分割stratified分层分割保持类别分布butina基于 Butina 聚类的分割常用基准数据集MoleculeNet 提供 30 个标准基准数据集通过dc.molnet.load_*()一键获取自带标准 train/valid/test 划分分类load_tox21()12 个毒性任务多任务、load_bbbp()血脑屏障渗透、load_hiv()HIV 抑制活性、load_clintox()临床毒性、load_bace()BACE-1 抑制剂、load_sider()药物不良反应多标签、load_muv()、load_pcba()、load_toxcast()回归load_delaney()水溶解度 ESOL、load_freesolv()溶剂化自由能、load_lipo()脂溶性、load_qm7/qm8/qm9()量子力学性质蛋白质-配体结合load_pdbbind()材料load_perovskite()、load_mp_formation_energy()、load_mp_metallicity()、load_bandgap()化学反应load_uspto()注意 BACE 以独立的分类/回归两个加载器发布因此不存在dc.molnet.load_bace应使用load_bace_classification——这一细节在 scripts/graph_neural_network.py 的MOLNET_LOADERS映射中有明确说明。配套脚本graph_neural_network.pyscripts/graph_neural_network.py 将本工作流封装为命令行工具支持 5 种 GNN 架构gcn、gat、attentivefp、mpnn、dmpnn与 7 个 MoleculeNet 数据集tox21、bbbp、bace、hiv、delaney、freesolv、lipo以及自定义 CSV 训练# 在 Tox21 上训练 GCN python scripts/graph_neural_network.py --model gcn --dataset tox21 # 在自定义数据上训练 AttentiveFP python scripts/graph_neural_network.py \ --model attentivefp \ --data molecules.csv \ --task-type regression \ --targets activity \ --epochs 100脚本按任务类型自动选择评估指标分类用 ROC-AUC、Accuracy、F1回归用 R²、MAE、RMSE并对训练/验证/测试三集分别输出分数。工作流 3超参数优化目标系统化地寻找最优模型超参数。使用 GridHyperparamOptimport deepchem as dc import numpy as np # 加载数据 tasks, datasets, transformers dc.molnet.load_bbbp( featurizerECFP, splitterscaffold ) train, valid, test datasets # 定义参数网格 params_dict { layer_sizes: [[1000], [1000, 500], [1000, 1000]], dropouts: [0.0, 0.25, 0.5], learning_rate: [0.001, 0.0001] } # 定义模型构建函数 def model_builder(model_params, model_dir): return dc.models.MultitaskClassifier( n_taskslen(tasks), n_features1024, **model_params ) # 配置优化器 metric dc.metrics.Metric(dc.metrics.roc_auc_score) optimizer dc.hyper.GridHyperparamOpt(model_builder) # 运行优化 best_model, best_params, all_results optimizer.hyperparam_search( params_dict, train, valid, metric, transformerstransformers ) print(fBest parameters: {best_params}) print(fBest validation score: {all_results[best_validation_score]})hyperparam_search会在参数网格的每个组合上训练模型并以验证集上的指定指标此处为 ROC-AUC为准则筛选最优组合返回最优模型、最优参数与全部搜索结果。该模式与graph_neural_network.py中按数据集规模递进的先简单后扩展策略一致RF 指纹 → 深度网络 5K 样本 → GNN 10K 样本网格搜索是自动化这一策略的首选手段。工作流 4使用预训练模型进行迁移学习目标在小数据集上利用预训练模型获得更好的性能。使用 ChemBERTaimport deepchem as dc from transformers import AutoTokenizer # 加载数据 loader dc.data.CSVLoader( tasks[activity], feature_fieldsmiles, featurizerdc.feat.DummyFeaturizer() # ChemBERTa 自行完成特征化 ) dataset loader.create_dataset(data.csv) # 分割数据 splitter dc.splits.ScaffoldSplitter() train, test splitter.train_test_split(dataset) # 加载预训练 ChemBERTa model dc.models.HuggingFaceModel( modelseyonec/ChemBERTa-zinc-base-v1, taskregression, n_tasks1 ) # 微调 model.fit(train, nb_epoch10) # 评估 predictions model.predict(test)注意HuggingFaceModel通常直接消费原始 SMILES因此加载数据时使用DummyFeaturizer占位模型内部自行完成分词与特征化deepchem.png 中即展示了 ChemBERTa 对 SMILES 序列的分词细节。微调时建议用更低的学习率如learning_rate2e-5并只训练少量 epoch5–20以保留预训练表征并防止过拟合。使用 GROVER# GROVER在分子图上预训练 model dc.models.GroverModel( taskclassification, n_tasks1, model_dir./grover_model ) # 在自有数据上微调 model.fit(train_dataset, nb_epoch20)GROVER 是基于图的 Transformer通过掩码原子/键预测任务进行自监督预训练同时学习节点级与图级表征。迁移学习的适用场景小数据集1000 样本、新颖分子骨架、计算资源受限、需要快速原型验证。配套脚本transfer_learning.pyscripts/transfer_learning.py 把该工作流扩展为三套预训练模型ChemBERTa、GROVER、MolFormer的完整微调流水线# 在 BBBP 上微调 ChemBERTa python scripts/transfer_learning.py --model chemberta --dataset bbbp # 在自定义数据上微调 GROVER python scripts/transfer_learning.py \ --model grover \ --data small_dataset.csv \ --target activity \ --task-type classification \ --epochs 20脚本根据模型类型自动选择特征化器ChemBERTa 与 MolFormer 用Raw或DummyFeaturizer模型自行特征化GROVER 用GraphConv/MolGraphConvFeaturizer。其中 MolFormer 使用ibm/MoLFormer-XL-both-10pct模型 ID。预训练模型首次运行时需下载权重耗时较长。工作流 5使用 GAN 进行分子生成目标生成具有期望性质的全新分子。基础 MolGANimport deepchem as dc # 加载训练数据生成器学习用的分子 tasks, datasets, _ dc.molnet.load_qm9( featurizerGraphConv, splitterrandom ) train, _, _ datasets # 创建并训练 MolGAN gan dc.models.BasicMolGANModel( learning_rate0.001, vertices9, # 分子中最大原子数 edges5, # 最大键数 nodes[128, 256, 512] ) # 训练 gan.fit_gan( train, nb_epoch100, generator_steps0.2, checkpoint_interval10 ) # 生成新分子 generated_molecules gan.predict_gan_generator(1000)条件生成# 面向目标性质的生成 from deepchem.models.optimizers import ExponentialDecay gan dc.models.BasicMolGANModel( learning_rateExponentialDecay(0.001, 0.9, 1000), conditionalTrue # 启用条件生成 ) # 携带性质训练 gan.fit_gan(train, nb_epoch100) # 生成目标性质分子 target_properties np.array([[5.0, 300.0]]) # 例如 [logP, MW] molecules gan.predict_gan_generator( 1000, conditional_inputstarget_properties )ExponentialDecay提供了随训练步数衰减的学习率调度此处为每 1000 步衰减至 0.9 倍。除BasicMolGANModel外api_reference.md 还列出了GANModel、WGANModel、LSTMGenerator、SeqToSeqModel等生成式模型可与SmilesToSeq特征化器搭配用于序列式分子生成。工作流 6材料性质预测目标预测晶体材料的性质如带隙、形成能。使用晶体图卷积网络CGCNNimport deepchem as dc # 加载材料数据CIF 格式结构文件 loader dc.data.CIFLoader() dataset loader.create_dataset(materials.csv) # 分割数据 splitter dc.splits.RandomSplitter() train, test splitter.train_test_split(dataset) # 创建 CGCNN 模型 model dc.models.CGCNNModel( n_tasks1, moderegression, batch_size32, learning_rate0.001 ) # 训练 model.fit(train, nb_epoch100) # 评估 metric dc.metrics.Metric(dc.metrics.mae_score) test_score model.evaluate(test, [metric])材料领域还可使用MEGNetModel材料图网络与LCNNModel晶格 CNN并可直接从 MoleculeNet 加载材料基准load_perovskite()钙钛矿稳定性、load_mp_formation_energy()形成能、load_mp_metallicity()金属/非金属分类、load_bandgap()电子带隙。此外 DeepChem 还内置DFTYamlLoader用于处理密度泛函理论计算数据。工作流 7蛋白质序列分析目标从序列预测蛋白质性质。使用 ProtBERTimport deepchem as dc # 加载蛋白质序列数据 loader dc.data.FASTALoader() dataset loader.create_dataset(proteins.fasta) # 使用 ProtBERT model dc.models.HuggingFaceModel( modelRostlab/prot_bert, taskclassification, n_tasks1 ) # 分割并训练 splitter dc.splits.RandomSplitter() train, test splitter.train_test_split(dataset) model.fit(train, nb_epoch5) # 预测 predictions model.predict(test)蛋白质/DNA 序列除FASTALoader外还可使用FASTQLoader带质量分数的测序数据以及SAMLoader/BAMLoader/CRAMLoader序列比对格式。HuggingFaceModel还支持DeepAbLLM抗体大语言模型等面向生物大分子的预训练模型。工作流 8自定义模型集成目标在 DeepChem 生态中使用自有 PyTorch / scikit-learn 模型。包装 scikit-learn 模型from sklearn.ensemble import RandomForestRegressor import deepchem as dc # 创建 scikit-learn 模型 sklearn_model RandomForestRegressor( n_estimators100, max_depth10, random_state42 ) # 包装进 DeepChem model dc.models.SklearnModel(modelsklearn_model) # 与 DeepChem 数据集配合使用 model.fit(train) predictions model.predict(test) # 评估 metric dc.metrics.Metric(dc.metrics.r2_score) score model.evaluate(test, [metric])SklearnModel可包装任意 scikit-learn 算法Random Forest、SVM、Ridge 等适用于 1K 样本的快速基线GBDTModel则封装 XGBoost / LightGBM 等梯度提升树。创建自定义 PyTorch 模型import torch import torch.nn as nn import deepchem as dc class CustomNetwork(nn.Module): def __init__(self, n_features, n_tasks): super().__init__() self.fc1 nn.Linear(n_features, 512) self.fc2 nn.Linear(512, 256) self.fc3 nn.Linear(256, n_tasks) self.relu nn.ReLU() self.dropout nn.Dropout(0.2) def forward(self, x): x self.relu(self.fc1(x)) x self.dropout(x) x self.relu(self.fc2(x)) x self.dropout(x) return self.fc3(x) # 包装进 DeepChem TorchModel model dc.models.TorchModel( modelCustomNetwork(n_features2048, n_tasks1), lossnn.MSELoss(), output_types[prediction] ) # 训练 model.fit(train, nb_epoch50)TorchModel是 DeepChem 与 PyTorch 的通用桥接层任何nn.Module只需指定loss与output_types即可获得 DeepChem 的数据集接口、分割/变换管线与evaluate()评估能力。这样既保留自研模型结构的灵活性又能无缝复用 DeepChem 的加载、特征化、指标体系。常见陷阱与解决方案陷阱 1药物发现中的数据泄漏问题随机分割会让结构相似的分子同时出现在训练集与测试集导致评估虚高。解决分子数据集一律使用ScaffoldSplitter按分子骨架分割。这也是 core_capabilities.md 与 SKILL.md 反复强调的分子数据诚实的默认选择。陷阱 2类别不平衡问题少数类性能差。解决使用BalancingTransformer或加权指标。transformer dc.trans.BalancingTransformer(datasettrain) train transformer.transform(train)也可改用balanced_accuracy_score作为评估指标。陷阱 3大数据集内存不足问题数据集无法完全载入内存。解决用DiskDataset代替NumpyDataset。dataset dc.data.DiskDataset.from_numpy(X, y, w, ids)同时可减小批大小如GCNModel(batch_size32)代替 128。陷阱 4小数据集过拟合问题模型记住了训练数据。解决加强正则化提高 dropout如 0.5使用更简单的模型Random Forest、Ridge应用迁移学习预训练模型收集更多数据陷阱 5图神经网络表现不佳问题GNN 表现不如简单指纹。解决检查数据集规模GNN 通常需要 10K 样本增加训练 epoch 数50–100尝试不同 GNN 架构AttentiveFP、DMPNN 代替 GCN使用预训练模型GROVER从工作流到可复用资产本技能仓库的完整配套workflows.md 是技能库中的模板库它与其他参考文档和脚本共同构成完整的 DeepChem 实践体系SKILL.md技能入口包含版本兼容性、安装步骤含 GPU 与 MKL 注意事项、常见模式与陷阱的速览core_capabilities.md八大核心能力加载、特征化、分割、模型选择、基准、迁移学习、评估、预测的分项代码示例api_reference.md完整的 API 目录——加载器、数据集类、分割器、变换器、特征化器、50 模型目录、MoleculeNet 数据集清单与指标库typical_workflows.md三条更精简的端到端工作流快速基准评估、自定义数据预测、小数据集迁移学习适合作为起步骨架scripts/ 目录predict_solubility.py、graph_neural_network.py、transfer_learning.py 三个可直接运行的 CLI 脚本覆盖本文工作流 1、2、4 的完整实现。实践建议先用typical_workflows跑通最小闭环再按本文八大工作流替换数据源与模型家族最后以scripts/目录中的命令行工具固化流程、服务后续任务。核心原则始终如一——分子数据用ScaffoldSplitter分割、回归任务标准化目标值、预测时对输出做反变换、小数据优先迁移学习、大数据再上 GNN。【免费下载链接】scientific-agent-skillsTurn any AI agent into an AI Scientist. The #1 Agent Skills library for science, used by 190,000 scientists worldwide. 165 ready-to-use validated skills plus 100 scientific databases covering biology, chemistry, medicine, and drug discovery. Compatible with Cursor, Claude Code, Codex, Pi, Antigravity, and the open Agent Skills standard.项目地址: https://gitcode.com/GitHub_Trending/cl/scientific-agent-skills创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
DeepChem 分子机器学习实战工作流全指南从 SMILES 性质预测到自定义模型集成【免费下载链接】scientific-agent-skillsTurn any AI agent into an AI Scientist. The #1 Agent Skills library for science, used by 190,000 scientists worldwide. 165 ready-to-use validated skills plus 100 scientific databases covering biology, chemistry, medicine, and drug discovery. Compatible with Cursor, Claude Code, Codex, Pi, Antigravity, and the open Agent Skills standard.项目地址: https://gitcode.com/GitHub_Trending/cl/scientific-agent-skills本篇技术指南以 scientific-agent-skills 技能库中 deepchem 技能的 workflows 参考文档 为核心骨架系统讲解 DeepChem2.8.0在分子性质预测、MoleculeNet 基准评测、超参数优化、迁移学习、分子生成、材料与蛋白质分析、自定义模型集成等八大典型场景下的完整工作流。读完本文你将掌握从 CSV/SMILES 数据加载、特征化、数据分割、模型训练到评估与预测的端到端实操方案并能直接复用技能库中配套的三个生产级脚本快速启动实验。工作流总览与环境准备八大工作流一览workflows.md 定义了八条可独立落地、也可自由组合的端到端工作流覆盖化学、材料、生物三大领域编号工作流核心目标关键 API1从 SMILES 预测分子性质预测溶解度、毒性、活性等CSVLoader、ScaffoldSplitter、MultitaskRegressor/GCNModel2使用 MoleculeNet 基准数据集在标准基准上快速训练与评估dc.molnet.load_*()3超参数优化系统化搜索最优超参数dc.hyper.GridHyperparamOpt4预训练模型迁移学习小数据集上利用预训练模型提升性能HuggingFaceModel、GroverModel5GAN 分子生成生成具有目标性质的新分子BasicMolGANModel6材料性质预测预测晶体材料性质CIFLoader、CGCNNModel7蛋白质序列分析从序列预测蛋白质性质FASTALoader、ProtBERT8自定义模型集成接入自有 PyTorch / scikit-learn 模型SklearnModel、TorchModel版本与安装前提本技能示例面向deepchem 2.8.0PyPI 稳定版2024 年 4 月发布要求Python 3.7–3.11PyPI 2.8.0 上限低于 3.12。核心工具数据加载器、特征化器、MoleculeNet无需深度学习后端即可工作GNN 与 Transformer 模型则需要安装与后端匹配的 extrauv pip install deepchem # 仅加载器、特征化器、MoleculeNet uv pip install deepchem[torch] # GNN、TorchModel、HuggingFaceModel、GroverModel uv pip install deepchem[tensorflow] # 传统 Keras 模型 uv pip install deepchem[jax] # JAX/Haiku 模型 uv pip install deepchem[dqc] # 可微量化化学torch xitorch使用 GPU 时需先安装带正确 CUDA 构建的 PyTorch/TensorFlow/JAX再安装对应 extra在 zsh 中需为方括号加引号。Conda PyTorch 用户若遇到undefined symbol: iJIT_NotifyEvent可将 MKL 固定到 2025 以下版本conda install mkl2025。更完整的安装说明见 SKILL.md。工作流 1从 SMILES 进行分子性质预测目标从 SMILES 字符串预测分子性质如溶解度、毒性、活性。第 1 步准备数据数据应为 CSV 格式至少包含两列内容一列存放 SMILES 字符串一列或多列存放性质值目标变量。示例结构如下smiles,solubility,toxicity CCO,-0.77,0 CC(O)OC1CCCCC1C(O)O,-1.19,1第 2 步选择特征化器特征化器Featurizer把分子转化为 ML 模型可用的数值表示选择决策树如下小数据集1K使用CircularFingerprint或RDKitDescriptors中数据集1K–100K使用CircularFingerprint或MolGraphConvFeaturizer大数据集100K使用基于图的特征化器MolGraphConvFeaturizer、DMPNNFeaturizer迁移学习使用预训练模型特征化器GroverFeaturizerapi_reference.md 给出了更完整的特征化器目录指纹类还包括MACCSKeysFingerprint167 位结构键、PubChemFingerprint881 位结构描述符、Mol2VecFingerprint描述符类有RDKitDescriptors约 200 个分子描述符MW、LogP、氢供体/受体、TPSA 等与MordredDescriptors序列类有SmilesToSeq、SmilesToImage3D 结构类有CoulombMatrix以及保持原始数据的RawFeaturizer和DummyFeaturizer。CircularFingerprint的参数为radius默认 2、size默认 2048、useChirality默认 False。第 3 步加载与特征化数据import deepchem as dc # 基于指纹 featurizer dc.feat.CircularFingerprint(radius2, size2048) # 或基于图 featurizer dc.feat.MolGraphConvFeaturizer() loader dc.data.CSVLoader( tasks[solubility, toxicity], # 要预测的列名 feature_fieldsmiles, # SMILES 所在列 featurizerfeaturizer ) dataset loader.create_dataset(data.csv)除CSVLoader外DeepChem 还提供SDFLoader分子结构文件、FASTALoader蛋白质/DNA 序列、ImageLoader分子图像、JsonLoaderJSON 格式等加载器。内存方面NumpyDataset适合中小规模数据DiskDataset可把大数据集存储在磁盘上以降低内存开销。第 4 步分割数据关键药物发现场景务必使用ScaffoldSplitter防止数据泄漏相似骨架分子同时出现在训练集和测试集会导致虚高的评估分数。splitter dc.splits.ScaffoldSplitter() train, valid, test splitter.train_valid_test_split( dataset, frac_train0.8, frac_valid0.1, frac_test0.1 )api_reference.md 还列出了更多分割器ButinaSplitter基于聚类的分子分割、FingerprintSplitter按分子指纹相似度、MaxMinSplitter最大化集合间多样性、MolecularWeightSplitter按分子量、以及通用型的RandomSplitter、RandomStratifiedSplitter、IndexSplitter、SpecifiedSplitter、TaskSplitter等。第 5 步数据变换可选但推荐transformers [ dc.trans.NormalizationTransformer( transform_yTrue, datasettrain ) ] for transformer in transformers: train transformer.transform(train) valid transformer.transform(valid) test transformer.transform(test)NormalizationTransformer将目标值标准化为零均值、单位方差BalancingTransformer用于处理类别不平衡MinMaxTransformer将特征缩放到 [0,1]LogTransformer做对数变换。第 6 步选择并训练模型# 基于指纹的稠密网络 model dc.models.MultitaskRegressor( n_tasks2, # 要预测的性质数量 n_features2048, # 指纹长度 layer_sizes[1000, 500], # 隐藏层尺寸 dropouts0.25, learning_rate0.001 ) # 或基于图的 GCN model dc.models.GCNModel( n_tasks2, moderegression, batch_size128, learning_rate0.001 ) # 训练 model.fit(train, nb_epoch50)core_capabilities.md 给出了按数据集规模与任务类型选模型的速查表1K 样本推荐SklearnModelRandomForestCircularFingerprint1K–100K 推荐GBDTModel或MultitaskRegressor100K 推荐GCNModel、AttentiveFPModel、DMPNNModelMolGraphConvFeaturizer晶体结构用CGCNNModel/MEGNetModel蛋白质序列用 ProtBERT。第 7 步评估metric dc.metrics.Metric(dc.metrics.r2_score) train_score model.evaluate(train, [metric]) valid_score model.evaluate(valid, [metric]) test_score model.evaluate(test, [metric]) print(fTrain R²: {train_score}) print(fValid R²: {valid_score}) print(fTest R²: {test_score})回归任务常用r2_score、mean_absolute_error、root_mean_squared_error、pearson_r2_score、spearman_correlation分类任务常用roc_auc_score、prc_auc_score、accuracy_score、balanced_accuracy_score、recall_score、precision_score、f1_score。多任务场景下多数指标按任务取平均。第 8 步对新分子做预测# 预测新分子 new_smiles [CCO, CC(C)O, c1ccccc1] new_featurizer dc.feat.CircularFingerprint(radius2, size2048) new_features new_featurizer.featurize(new_smiles) new_dataset dc.data.NumpyDataset(Xnew_features) # 应反变换输出而非输入。由 transform_yTrue 构建的 NormalizationTransformer # 作用于 y而预测数据集没有 y——对它做变换不会有任何效果预测结果仍处于 # z-score 空间。把 transformers 传给 predict() 可将输出反变换回目标的真实量纲。 predictions model.predict(new_dataset, transformerstransformers)配套脚本predict_solubility.pyscripts/predict_solubility.py 是该工作流的完整落地实现默认加载 DelaneyESOL基准数据集也支持自定义 CSV训练后内置 R²、MAE、RMSE 三项回归指标评估并打印示例分子预测结果# 使用 Delaney 基准 python scripts/predict_solubility.py # 使用自定义数据并预测新分子 python scripts/predict_solubility.py \ --data my_data.csv \ --smiles-col smiles \ --target-col solubility \ --predict CCO c1ccccc1脚本中用batch_size50、layer_sizes[1000, 500]、dropouts0.25、learning_rate0.001构建回归器训练 50 个 epoch在自定义数据路径上先经ScaffoldSplitter按 0.8/0.1/0.1 分割再做NormalizationTransformer(transform_yTrue)标准化其注释明确提醒变换器作用于 y预测数据集无 y因此要把transformers传入predict()反变换输出而非变换输入。工作流 2使用 MoleculeNet 基准数据集目标在标准基准上快速训练和评估模型。快速开始import deepchem as dc # 加载基准数据集 tasks, datasets, transformers dc.molnet.load_tox21( featurizerGraphConv, splitterscaffold ) train, valid, test datasets # 训练模型 model dc.models.GCNModel( n_taskslen(tasks), modeclassification ) model.fit(train, nb_epoch50) # 评估 metric dc.metrics.Metric(dc.metrics.roc_auc_score) test_score model.evaluate(test, [metric]) print(fTest ROC-AUC: {test_score})可选特征化器load_* 函数ECFP扩展连接指纹圆形指纹GraphConv图卷积特征WeaveWeave 特征Raw原始 SMILES 字符串smiles2img2D 分子图像可选分割器scaffold基于骨架的分割药物发现推荐random随机分割stratified分层分割保持类别分布butina基于 Butina 聚类的分割常用基准数据集MoleculeNet 提供 30 个标准基准数据集通过dc.molnet.load_*()一键获取自带标准 train/valid/test 划分分类load_tox21()12 个毒性任务多任务、load_bbbp()血脑屏障渗透、load_hiv()HIV 抑制活性、load_clintox()临床毒性、load_bace()BACE-1 抑制剂、load_sider()药物不良反应多标签、load_muv()、load_pcba()、load_toxcast()回归load_delaney()水溶解度 ESOL、load_freesolv()溶剂化自由能、load_lipo()脂溶性、load_qm7/qm8/qm9()量子力学性质蛋白质-配体结合load_pdbbind()材料load_perovskite()、load_mp_formation_energy()、load_mp_metallicity()、load_bandgap()化学反应load_uspto()注意 BACE 以独立的分类/回归两个加载器发布因此不存在dc.molnet.load_bace应使用load_bace_classification——这一细节在 scripts/graph_neural_network.py 的MOLNET_LOADERS映射中有明确说明。配套脚本graph_neural_network.pyscripts/graph_neural_network.py 将本工作流封装为命令行工具支持 5 种 GNN 架构gcn、gat、attentivefp、mpnn、dmpnn与 7 个 MoleculeNet 数据集tox21、bbbp、bace、hiv、delaney、freesolv、lipo以及自定义 CSV 训练# 在 Tox21 上训练 GCN python scripts/graph_neural_network.py --model gcn --dataset tox21 # 在自定义数据上训练 AttentiveFP python scripts/graph_neural_network.py \ --model attentivefp \ --data molecules.csv \ --task-type regression \ --targets activity \ --epochs 100脚本按任务类型自动选择评估指标分类用 ROC-AUC、Accuracy、F1回归用 R²、MAE、RMSE并对训练/验证/测试三集分别输出分数。工作流 3超参数优化目标系统化地寻找最优模型超参数。使用 GridHyperparamOptimport deepchem as dc import numpy as np # 加载数据 tasks, datasets, transformers dc.molnet.load_bbbp( featurizerECFP, splitterscaffold ) train, valid, test datasets # 定义参数网格 params_dict { layer_sizes: [[1000], [1000, 500], [1000, 1000]], dropouts: [0.0, 0.25, 0.5], learning_rate: [0.001, 0.0001] } # 定义模型构建函数 def model_builder(model_params, model_dir): return dc.models.MultitaskClassifier( n_taskslen(tasks), n_features1024, **model_params ) # 配置优化器 metric dc.metrics.Metric(dc.metrics.roc_auc_score) optimizer dc.hyper.GridHyperparamOpt(model_builder) # 运行优化 best_model, best_params, all_results optimizer.hyperparam_search( params_dict, train, valid, metric, transformerstransformers ) print(fBest parameters: {best_params}) print(fBest validation score: {all_results[best_validation_score]})hyperparam_search会在参数网格的每个组合上训练模型并以验证集上的指定指标此处为 ROC-AUC为准则筛选最优组合返回最优模型、最优参数与全部搜索结果。该模式与graph_neural_network.py中按数据集规模递进的先简单后扩展策略一致RF 指纹 → 深度网络 5K 样本 → GNN 10K 样本网格搜索是自动化这一策略的首选手段。工作流 4使用预训练模型进行迁移学习目标在小数据集上利用预训练模型获得更好的性能。使用 ChemBERTaimport deepchem as dc from transformers import AutoTokenizer # 加载数据 loader dc.data.CSVLoader( tasks[activity], feature_fieldsmiles, featurizerdc.feat.DummyFeaturizer() # ChemBERTa 自行完成特征化 ) dataset loader.create_dataset(data.csv) # 分割数据 splitter dc.splits.ScaffoldSplitter() train, test splitter.train_test_split(dataset) # 加载预训练 ChemBERTa model dc.models.HuggingFaceModel( modelseyonec/ChemBERTa-zinc-base-v1, taskregression, n_tasks1 ) # 微调 model.fit(train, nb_epoch10) # 评估 predictions model.predict(test)注意HuggingFaceModel通常直接消费原始 SMILES因此加载数据时使用DummyFeaturizer占位模型内部自行完成分词与特征化deepchem.png 中即展示了 ChemBERTa 对 SMILES 序列的分词细节。微调时建议用更低的学习率如learning_rate2e-5并只训练少量 epoch5–20以保留预训练表征并防止过拟合。使用 GROVER# GROVER在分子图上预训练 model dc.models.GroverModel( taskclassification, n_tasks1, model_dir./grover_model ) # 在自有数据上微调 model.fit(train_dataset, nb_epoch20)GROVER 是基于图的 Transformer通过掩码原子/键预测任务进行自监督预训练同时学习节点级与图级表征。迁移学习的适用场景小数据集1000 样本、新颖分子骨架、计算资源受限、需要快速原型验证。配套脚本transfer_learning.pyscripts/transfer_learning.py 把该工作流扩展为三套预训练模型ChemBERTa、GROVER、MolFormer的完整微调流水线# 在 BBBP 上微调 ChemBERTa python scripts/transfer_learning.py --model chemberta --dataset bbbp # 在自定义数据上微调 GROVER python scripts/transfer_learning.py \ --model grover \ --data small_dataset.csv \ --target activity \ --task-type classification \ --epochs 20脚本根据模型类型自动选择特征化器ChemBERTa 与 MolFormer 用Raw或DummyFeaturizer模型自行特征化GROVER 用GraphConv/MolGraphConvFeaturizer。其中 MolFormer 使用ibm/MoLFormer-XL-both-10pct模型 ID。预训练模型首次运行时需下载权重耗时较长。工作流 5使用 GAN 进行分子生成目标生成具有期望性质的全新分子。基础 MolGANimport deepchem as dc # 加载训练数据生成器学习用的分子 tasks, datasets, _ dc.molnet.load_qm9( featurizerGraphConv, splitterrandom ) train, _, _ datasets # 创建并训练 MolGAN gan dc.models.BasicMolGANModel( learning_rate0.001, vertices9, # 分子中最大原子数 edges5, # 最大键数 nodes[128, 256, 512] ) # 训练 gan.fit_gan( train, nb_epoch100, generator_steps0.2, checkpoint_interval10 ) # 生成新分子 generated_molecules gan.predict_gan_generator(1000)条件生成# 面向目标性质的生成 from deepchem.models.optimizers import ExponentialDecay gan dc.models.BasicMolGANModel( learning_rateExponentialDecay(0.001, 0.9, 1000), conditionalTrue # 启用条件生成 ) # 携带性质训练 gan.fit_gan(train, nb_epoch100) # 生成目标性质分子 target_properties np.array([[5.0, 300.0]]) # 例如 [logP, MW] molecules gan.predict_gan_generator( 1000, conditional_inputstarget_properties )ExponentialDecay提供了随训练步数衰减的学习率调度此处为每 1000 步衰减至 0.9 倍。除BasicMolGANModel外api_reference.md 还列出了GANModel、WGANModel、LSTMGenerator、SeqToSeqModel等生成式模型可与SmilesToSeq特征化器搭配用于序列式分子生成。工作流 6材料性质预测目标预测晶体材料的性质如带隙、形成能。使用晶体图卷积网络CGCNNimport deepchem as dc # 加载材料数据CIF 格式结构文件 loader dc.data.CIFLoader() dataset loader.create_dataset(materials.csv) # 分割数据 splitter dc.splits.RandomSplitter() train, test splitter.train_test_split(dataset) # 创建 CGCNN 模型 model dc.models.CGCNNModel( n_tasks1, moderegression, batch_size32, learning_rate0.001 ) # 训练 model.fit(train, nb_epoch100) # 评估 metric dc.metrics.Metric(dc.metrics.mae_score) test_score model.evaluate(test, [metric])材料领域还可使用MEGNetModel材料图网络与LCNNModel晶格 CNN并可直接从 MoleculeNet 加载材料基准load_perovskite()钙钛矿稳定性、load_mp_formation_energy()形成能、load_mp_metallicity()金属/非金属分类、load_bandgap()电子带隙。此外 DeepChem 还内置DFTYamlLoader用于处理密度泛函理论计算数据。工作流 7蛋白质序列分析目标从序列预测蛋白质性质。使用 ProtBERTimport deepchem as dc # 加载蛋白质序列数据 loader dc.data.FASTALoader() dataset loader.create_dataset(proteins.fasta) # 使用 ProtBERT model dc.models.HuggingFaceModel( modelRostlab/prot_bert, taskclassification, n_tasks1 ) # 分割并训练 splitter dc.splits.RandomSplitter() train, test splitter.train_test_split(dataset) model.fit(train, nb_epoch5) # 预测 predictions model.predict(test)蛋白质/DNA 序列除FASTALoader外还可使用FASTQLoader带质量分数的测序数据以及SAMLoader/BAMLoader/CRAMLoader序列比对格式。HuggingFaceModel还支持DeepAbLLM抗体大语言模型等面向生物大分子的预训练模型。工作流 8自定义模型集成目标在 DeepChem 生态中使用自有 PyTorch / scikit-learn 模型。包装 scikit-learn 模型from sklearn.ensemble import RandomForestRegressor import deepchem as dc # 创建 scikit-learn 模型 sklearn_model RandomForestRegressor( n_estimators100, max_depth10, random_state42 ) # 包装进 DeepChem model dc.models.SklearnModel(modelsklearn_model) # 与 DeepChem 数据集配合使用 model.fit(train) predictions model.predict(test) # 评估 metric dc.metrics.Metric(dc.metrics.r2_score) score model.evaluate(test, [metric])SklearnModel可包装任意 scikit-learn 算法Random Forest、SVM、Ridge 等适用于 1K 样本的快速基线GBDTModel则封装 XGBoost / LightGBM 等梯度提升树。创建自定义 PyTorch 模型import torch import torch.nn as nn import deepchem as dc class CustomNetwork(nn.Module): def __init__(self, n_features, n_tasks): super().__init__() self.fc1 nn.Linear(n_features, 512) self.fc2 nn.Linear(512, 256) self.fc3 nn.Linear(256, n_tasks) self.relu nn.ReLU() self.dropout nn.Dropout(0.2) def forward(self, x): x self.relu(self.fc1(x)) x self.dropout(x) x self.relu(self.fc2(x)) x self.dropout(x) return self.fc3(x) # 包装进 DeepChem TorchModel model dc.models.TorchModel( modelCustomNetwork(n_features2048, n_tasks1), lossnn.MSELoss(), output_types[prediction] ) # 训练 model.fit(train, nb_epoch50)TorchModel是 DeepChem 与 PyTorch 的通用桥接层任何nn.Module只需指定loss与output_types即可获得 DeepChem 的数据集接口、分割/变换管线与evaluate()评估能力。这样既保留自研模型结构的灵活性又能无缝复用 DeepChem 的加载、特征化、指标体系。常见陷阱与解决方案陷阱 1药物发现中的数据泄漏问题随机分割会让结构相似的分子同时出现在训练集与测试集导致评估虚高。解决分子数据集一律使用ScaffoldSplitter按分子骨架分割。这也是 core_capabilities.md 与 SKILL.md 反复强调的分子数据诚实的默认选择。陷阱 2类别不平衡问题少数类性能差。解决使用BalancingTransformer或加权指标。transformer dc.trans.BalancingTransformer(datasettrain) train transformer.transform(train)也可改用balanced_accuracy_score作为评估指标。陷阱 3大数据集内存不足问题数据集无法完全载入内存。解决用DiskDataset代替NumpyDataset。dataset dc.data.DiskDataset.from_numpy(X, y, w, ids)同时可减小批大小如GCNModel(batch_size32)代替 128。陷阱 4小数据集过拟合问题模型记住了训练数据。解决加强正则化提高 dropout如 0.5使用更简单的模型Random Forest、Ridge应用迁移学习预训练模型收集更多数据陷阱 5图神经网络表现不佳问题GNN 表现不如简单指纹。解决检查数据集规模GNN 通常需要 10K 样本增加训练 epoch 数50–100尝试不同 GNN 架构AttentiveFP、DMPNN 代替 GCN使用预训练模型GROVER从工作流到可复用资产本技能仓库的完整配套workflows.md 是技能库中的模板库它与其他参考文档和脚本共同构成完整的 DeepChem 实践体系SKILL.md技能入口包含版本兼容性、安装步骤含 GPU 与 MKL 注意事项、常见模式与陷阱的速览core_capabilities.md八大核心能力加载、特征化、分割、模型选择、基准、迁移学习、评估、预测的分项代码示例api_reference.md完整的 API 目录——加载器、数据集类、分割器、变换器、特征化器、50 模型目录、MoleculeNet 数据集清单与指标库typical_workflows.md三条更精简的端到端工作流快速基准评估、自定义数据预测、小数据集迁移学习适合作为起步骨架scripts/ 目录predict_solubility.py、graph_neural_network.py、transfer_learning.py 三个可直接运行的 CLI 脚本覆盖本文工作流 1、2、4 的完整实现。实践建议先用typical_workflows跑通最小闭环再按本文八大工作流替换数据源与模型家族最后以scripts/目录中的命令行工具固化流程、服务后续任务。核心原则始终如一——分子数据用ScaffoldSplitter分割、回归任务标准化目标值、预测时对输出做反变换、小数据优先迁移学习、大数据再上 GNN。【免费下载链接】scientific-agent-skillsTurn any AI agent into an AI Scientist. The #1 Agent Skills library for science, used by 190,000 scientists worldwide. 165 ready-to-use validated skills plus 100 scientific databases covering biology, chemistry, medicine, and drug discovery. Compatible with Cursor, Claude Code, Codex, Pi, Antigravity, and the open Agent Skills standard.项目地址: https://gitcode.com/GitHub_Trending/cl/scientific-agent-skills创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
