NextDenovoNextDenovo 是一款基于字符串图string graph的长读长序列从头组装软件适用于 CLR、HiFi 和 ONT 等长读长测序数据。该软件采用与 canu 相似的 “先校正后组装” 策略PacBio HiFi 读长无需校正步骤但所需的计算资源和存储空间显著更少。组装完成后序列的单碱基准确率约为 98%-99.8%若需进一步提升单碱基准确性可尝试使用 NextPolish 软件。我们以人类和黑腹果蝇的 Oxford Nanopore 长读长数据、拟南芥的 PacBio 连续长读长CLR数据为基准将 NextDenovo 与其他组装软件进行了对比测试。结果表明与其他工具相比NextDenovo 组装得到的序列连续性更好重叠群contig数量更少且在组装一致性和单碱基准确性方面NextDenovo 也表现出较高的组装精度。https://github.com/Nextomics/NextDenovo #官网安装环境要求Python支持 python 2 和 python 3需安装 Paralleltask 模块执行命令pip install paralleltask安装方法点击此处下载或执行以下命令wget https://github.com/Nextomics/NextDenovo/releases/latest/download/NextDenovo.tgz tar -vxzf NextDenovo.tgz cd NextDenovo若需从源码编译安装执行git clone gitgithub.com:Nextomics/NextDenovo.git cd NextDenovo make测试执行以下命令进行测试nextDenovo test_data/run.cfg常用命令及参数NextDenovo 至少需要一个读长文件参数input_fofn作为输入支持 gzip 压缩的 FASTA 和 FASTQ 格式所有运行参数均通过配置文件传递。输入项input_fofn一行一个文件可通过以下命令生成该文件ls reads1.fasta reads2.fastq reads3.fasta.gz reads4.fastq.gz ... input.fofn配置文件配置文件为文本文件包含一组键值对keyvalue形式的参数用于设置 NextDenovo 的运行参数。以下是典型的配置文件示例该文件也位于 doc/run.cfg 路径下[General] job_type local job_prefix nextDenovo task all rewrite yes deltmp yes parallel_jobs 20 input_type raw read_type clr # 可选值clr, ont, hifi input_fofn input.fofn workdir 01_rundir [correct_option] read_cutoff 1k genome_size 1g # 预估基因组大小 sort_options -m 20g -t 15 minimap2_options_raw -t 8 pa_correction 3 correction_options -p 15 [assemble_option] minimap2_options_cns -t 8 nextgraph_options -a 1输出项workdir/03.ctg_graph/nd.asm.fastaFASTA 格式的重叠群contig文件。FASTA 标题行包含序列 ID、类型、长度、节点数等信息序列中连续的小写字母区域表示弱连接区域单个小写字母标记低质量碱基。workdir/03.ctg_graph/nd.asm.fasta.stat组装结果的基础统计信息文件包含 N10-N90、总长度等指标。参数说明全局参数job_type sge任务运行的调度类型可选值local本地、sge、pbs、lsf、slurm 等默认值sge。job_prefix nextDenovo任务的前缀标签默认值nextDenovo。task all, correct, assemble需要执行的任务类型correct仅执行校正步骤assemble仅执行组装步骤仅当 input_type corrected 或 read_type hifi 时生效all执行校正 组装全流程默认值all。rewrite no是否覆盖已存在的输出目录可选值yes、no默认值no。deltmp yes是否删除中间结果文件默认值yes。rerun 3未完成任务的重试次数直至任务完成或达到设定次数设为 0 表示不重试默认值3。parallel_jobs 10并行运行的任务数量默认值10。input_type raw输入读长的类型可选值raw原始数据、corrected已校正数据默认值raw。input_fofn input.fofn输入文件列表路径要求一行一个文件必填参数。read_type {clr, hifi, ont}读长类型必填参数clrPacBio 连续长读长Continuous Long ReadshifiPacBio 高准确度长读长Highly Accurate Long Readsont纳米孔 1D 读长NanoPore 1D reads。workdir 01.workdir工作目录默认值当前目录 ./。usetempdir /tmp/test计算节点上的临时目录用于避免高 IO 等待默认值无。nodelist avanode.list.fofn可用节点的主机名列表一行一个节点非 sge 调度类型下需配合 usetempdir 使用。submit auto提交任务的命令auto 表示由 Paralleltask 自动设置。kill auto终止任务的命令auto 表示由 Paralleltask 自动设置。check_alive auto检查任务状态的命令auto 表示由 Paralleltask 自动设置。job_id_regex auto用于从提交命令输出中解析任务 ID 的正则表达式auto 表示由 Paralleltask 自动设置。use_drmaa no是否使用 drmaa 接口提交和控制任务。校正参数read_cutoff 1k过滤长度小于该值的读长默认值1k。genome_size 1g预估的基因组大小支持 K/M/G 单位后缀用于计算 seed_cutoff/seed_cutfiles/blocksize 及平均测序深度若手动设置 seed_cutoff该参数可省略。seed_depth 45预期的种子序列测序深度用于计算 seed_cutoff需与 genome_size 配合使用建议设置为 30-45 以获得更优组装结果默认值45。seed_cutoff 0种子序列的最小长度≤0 表示通过 bin/seq_stat 工具自动计算。seed_cutfiles 5将种子序列拆分为指定数量的子文件默认值与 pa_correction 取值一致。blocksize 10g并行运行的块大小将非种子序列拆分为多个小文件每个文件的最大大小为 blocksize默认值10g。pa_correction 3并行执行的校正任务数量每个校正任务约占用 总输入碱基数 / 4 字节的内存该参数仅覆盖此步骤的 parallel_jobs 取值默认值3。minimap2_options_raw -t 10minimap2 运行参数用于寻找原始读长间的重叠区域详见 minimap2-nd 说明文档。sort_options -m 40g -t 10排序参数详见 ovl_sort 说明文档。correction_options -p 10校正参数具体说明如下-p/--process设置校正使用的进程数默认值10-b/--blacklist关闭过滤步骤保留更多校正后数据-s/--split将包含未校正区域的种子序列拆分默认值False-fast加速模式速度提升 0.5-1 倍准确性略有下降默认值False-dbuf禁用 2bit 文件缓存减少约 总输入碱基数 / 4 字节的内存占用默认值False-max_lq_length校正后种子序列中连续低质量区域的最大长度值越大校正数据量越多但准确性越低默认值自动适配 [pb/1k, ont/10k]。组装参数minimap2_options_cns -t 8 -k17 -w17minimap2 运行参数用于寻找校正后读长间的重叠区域。minimap2_options_map -t 10minimap2 运行参数用于将读长比对回组装序列。nextgraph_options -a 1nextgraph 运行参数。
NextDenovoNextDenovo 是一款基于字符串图string graph的长读长序列从头组装软件适用于 CLR、HiFi 和 ONT 等长读长测序数据。该软件采用与 canu 相似的 “先校正后组装” 策略PacBio HiFi 读长无需校正步骤但所需的计算资源和存储空间显著更少。组装完成后序列的单碱基准确率约为 98%-99.8%若需进一步提升单碱基准确性可尝试使用 NextPolish 软件。我们以人类和黑腹果蝇的 Oxford Nanopore 长读长数据、拟南芥的 PacBio 连续长读长CLR数据为基准将 NextDenovo 与其他组装软件进行了对比测试。结果表明与其他工具相比NextDenovo 组装得到的序列连续性更好重叠群contig数量更少且在组装一致性和单碱基准确性方面NextDenovo 也表现出较高的组装精度。https://github.com/Nextomics/NextDenovo #官网安装环境要求Python支持 python 2 和 python 3需安装 Paralleltask 模块执行命令pip install paralleltask安装方法点击此处下载或执行以下命令wget https://github.com/Nextomics/NextDenovo/releases/latest/download/NextDenovo.tgz tar -vxzf NextDenovo.tgz cd NextDenovo若需从源码编译安装执行git clone gitgithub.com:Nextomics/NextDenovo.git cd NextDenovo make测试执行以下命令进行测试nextDenovo test_data/run.cfg常用命令及参数NextDenovo 至少需要一个读长文件参数input_fofn作为输入支持 gzip 压缩的 FASTA 和 FASTQ 格式所有运行参数均通过配置文件传递。输入项input_fofn一行一个文件可通过以下命令生成该文件ls reads1.fasta reads2.fastq reads3.fasta.gz reads4.fastq.gz ... input.fofn配置文件配置文件为文本文件包含一组键值对keyvalue形式的参数用于设置 NextDenovo 的运行参数。以下是典型的配置文件示例该文件也位于 doc/run.cfg 路径下[General] job_type local job_prefix nextDenovo task all rewrite yes deltmp yes parallel_jobs 20 input_type raw read_type clr # 可选值clr, ont, hifi input_fofn input.fofn workdir 01_rundir [correct_option] read_cutoff 1k genome_size 1g # 预估基因组大小 sort_options -m 20g -t 15 minimap2_options_raw -t 8 pa_correction 3 correction_options -p 15 [assemble_option] minimap2_options_cns -t 8 nextgraph_options -a 1输出项workdir/03.ctg_graph/nd.asm.fastaFASTA 格式的重叠群contig文件。FASTA 标题行包含序列 ID、类型、长度、节点数等信息序列中连续的小写字母区域表示弱连接区域单个小写字母标记低质量碱基。workdir/03.ctg_graph/nd.asm.fasta.stat组装结果的基础统计信息文件包含 N10-N90、总长度等指标。参数说明全局参数job_type sge任务运行的调度类型可选值local本地、sge、pbs、lsf、slurm 等默认值sge。job_prefix nextDenovo任务的前缀标签默认值nextDenovo。task all, correct, assemble需要执行的任务类型correct仅执行校正步骤assemble仅执行组装步骤仅当 input_type corrected 或 read_type hifi 时生效all执行校正 组装全流程默认值all。rewrite no是否覆盖已存在的输出目录可选值yes、no默认值no。deltmp yes是否删除中间结果文件默认值yes。rerun 3未完成任务的重试次数直至任务完成或达到设定次数设为 0 表示不重试默认值3。parallel_jobs 10并行运行的任务数量默认值10。input_type raw输入读长的类型可选值raw原始数据、corrected已校正数据默认值raw。input_fofn input.fofn输入文件列表路径要求一行一个文件必填参数。read_type {clr, hifi, ont}读长类型必填参数clrPacBio 连续长读长Continuous Long ReadshifiPacBio 高准确度长读长Highly Accurate Long Readsont纳米孔 1D 读长NanoPore 1D reads。workdir 01.workdir工作目录默认值当前目录 ./。usetempdir /tmp/test计算节点上的临时目录用于避免高 IO 等待默认值无。nodelist avanode.list.fofn可用节点的主机名列表一行一个节点非 sge 调度类型下需配合 usetempdir 使用。submit auto提交任务的命令auto 表示由 Paralleltask 自动设置。kill auto终止任务的命令auto 表示由 Paralleltask 自动设置。check_alive auto检查任务状态的命令auto 表示由 Paralleltask 自动设置。job_id_regex auto用于从提交命令输出中解析任务 ID 的正则表达式auto 表示由 Paralleltask 自动设置。use_drmaa no是否使用 drmaa 接口提交和控制任务。校正参数read_cutoff 1k过滤长度小于该值的读长默认值1k。genome_size 1g预估的基因组大小支持 K/M/G 单位后缀用于计算 seed_cutoff/seed_cutfiles/blocksize 及平均测序深度若手动设置 seed_cutoff该参数可省略。seed_depth 45预期的种子序列测序深度用于计算 seed_cutoff需与 genome_size 配合使用建议设置为 30-45 以获得更优组装结果默认值45。seed_cutoff 0种子序列的最小长度≤0 表示通过 bin/seq_stat 工具自动计算。seed_cutfiles 5将种子序列拆分为指定数量的子文件默认值与 pa_correction 取值一致。blocksize 10g并行运行的块大小将非种子序列拆分为多个小文件每个文件的最大大小为 blocksize默认值10g。pa_correction 3并行执行的校正任务数量每个校正任务约占用 总输入碱基数 / 4 字节的内存该参数仅覆盖此步骤的 parallel_jobs 取值默认值3。minimap2_options_raw -t 10minimap2 运行参数用于寻找原始读长间的重叠区域详见 minimap2-nd 说明文档。sort_options -m 40g -t 10排序参数详见 ovl_sort 说明文档。correction_options -p 10校正参数具体说明如下-p/--process设置校正使用的进程数默认值10-b/--blacklist关闭过滤步骤保留更多校正后数据-s/--split将包含未校正区域的种子序列拆分默认值False-fast加速模式速度提升 0.5-1 倍准确性略有下降默认值False-dbuf禁用 2bit 文件缓存减少约 总输入碱基数 / 4 字节的内存占用默认值False-max_lq_length校正后种子序列中连续低质量区域的最大长度值越大校正数据量越多但准确性越低默认值自动适配 [pb/1k, ont/10k]。组装参数minimap2_options_cns -t 8 -k17 -w17minimap2 运行参数用于寻找校正后读长间的重叠区域。minimap2_options_map -t 10minimap2 运行参数用于将读长比对回组装序列。nextgraph_options -a 1nextgraph 运行参数。
