算力＋存力：优化基因测序的关键所在

开钫

戴尔科技医疗行业首席技术官张灿

随着智慧医疗的发展和AI、高性能计算在医疗行业的深入应用，医疗行业的数字化改革已步入新的阶段，而随着人们对基因与疾病关系的了解日益深入，基因测序应用在医疗领域逐渐发挥越来越重要的作用。

基因测序检查不仅可以更加准确地诊断疾病，还可以对疾病风险进行预测，受测者可根据检测结果对疾病进行早期干预，从而防止和延缓疾病的发生和发展，促使诊疗模式从治疗为主向以预防为主转变。

另一方面，随着测序应用及测序平台建设成本的不断下降和成熟，越来越多的医院开始自建基因测序平台，力争在基因测序应用上取得更多临床和科研上的突破，从而提升医院在精准医疗、个性化医疗上的实力及竞争力。

但测序应用本质上属于HPC应用，和医院传统的HIS、PACS等核心应用有极大区别。对基因测序应用的工作流程和特点有全面的了解是建设一个高性能、高弹性、高安全性、易管理、易使用平台的关键。

基因测序流程的

三大分析阶段

基因测序全流程由三个分析阶段组成，下图揭示了从测试样本到最终生成解读报告的大体流程：

?一级分析：将需要进行测序的生物样本送入基因测序仪中，由测序仪进行WGS（全基因组测序）、WES（外显子测序）等测序操作，测序结果输出到可用于计算机进行分析的FASTQ文件中。FASTQ文件类似一个文本文件，每两行或三行记录一个DNA片段的碱基序列信息，测序质量信息等。

?二级分析：算力存储集群对FASTQ文件进行分析和处理，生成可供三级分析使用的VCF文件。

?三级分析：医学专家或科研人员通过分析服务器和专业数据库对VCF文件进行解读，给出疾病解读报告或者基因关联分析报告。疾病解读报告主要用于临床，比如某种基因突变是否可以使用某种靶向药物等。基因关联分析报告主要用于科学研究，比如某种基因突变会带来某种生理现象或者疾病等。

而在这三个步骤中，二级分析又分为比对，排序，去重和变异检测四大步骤：

1、比对 (Mapping) ：就是将FASTQ文件中的每一条记录同正确的序列文件（这个文件也称为参考基因文件）进行对比，找出每条记录在参考基因文件中对应的序号，并将比对的结果写入到一个临时的SAM文件中。

不过由于SAM文件非常大，而且不便于后续分析，因此需要通过特定的软件工具将SAM文件转换为尺寸更小，更适合分析的BAM文件。不过这个BAM文件也是临时文件，仅用于后续分析使用；

2、排序 (Sorting) ：将BAM文件中的每条记录按照比对出的正确序号进行排序；

3、去重 (Deduplication) ：指将BAM文件中重复的记录删除（有的分析软件仅对重复记录进行标记而不是删除），以便进行随后的变异检测；

4、变异检测 (Variant Calling) ：将去重后的BAM文件中的每一条记录与参考基因序列进行比对，找出错误的记录，并将有错误的记录写入到最终的VCF文件中供人工解读使用。

详解基因测序三阶段

以盗版书为例

基因测序的三大阶段包含8个步骤，为了方便大家的理解，我们可以通过一个形象的例子来拆分基因测序的流程。

比如，我们的小编在市场上发现了一本纸质版的《繁花》盗版书，为了找出盗版书中所有的错误并证明其危害，他决定在最短时间内制作出盗版《繁花》的电子版并找出盗版书中的所有错误。具体步骤为：

1、将纸质盗版书拆分为100万个纸片；

2、为确保检查结果不出错，每个纸片都被复印十份,因此这本盗版书共有1000万个纸片；

3、将1000万个纸片随机分配给小编的1000个朋友进行数字化转录工作，通过人工将纸片中的内容解读出来后输入到一个临时文件中。在小编拿到1000份临时文件后，将其中的内容随机汇总到一个叫FASTQ的文件中，从而得到盗版《繁花》的电子版文件。

不过这个电子版文件里有1000万条记录，但所有的记录都是随机写入的，没有页号和段落号，无法进行正常的阅读；

4、小编利用计算机将FASTQ文件中的每条记录与正版《繁花》的电子版文件进行比对，找出该记录在正版书中对应的页号和行号，并将找到的结果写入到一个叫BAM的文件中；

5、根据每个片段的页号、行号对BAM文件进行排序；

6、对BAM文件进行去重，将重复的片段全部删除，生成一个有100万个片段的BAM文件。（这个BAM文件是可以进行正常阅读的盗版《繁花》的电子版文件）；

7、将经过排序和去重后的BAM文件与正版的《繁花》进行逐字逐句比对，找出错字和错句，并将这些错误写入到一个VCF文件中。

在这里，VCF文件就是盗版《繁花》的错题本，里面记录了该盗版的所有错误；

8、小编对VCF文件进行解读，并给出解读报告，指出盗版《繁花》究竟有多少错误，每个错误具体发生在哪一页那一行，以及每个错误是否会造成读者对《繁花》故事内容的错误理解。

我们的小编经过以上8个步骤的操作后，终于找出了盗版书的危害，而将此处的盗版书替换成基因便是基因测序的大致流程，这8个步骤中就包含了基因测序的一、二、三级分析过程。

步骤1-3

一级分析过程

1-3步为一级分析过程，该过程主要由二代基因测序仪完成。完整的DNA测序样本在进行测序前会被用超声波击碎为上千万条（根据DNA链条长度不同，有时会高达上亿条）DNA片段。

随后由基因测序仪将上千万条DNA片段中的序列内容解读出来，并将解读结果写入到FASTQ文件中。这些结果数据在FASTQ文件中是乱序写入的，要得到按照测序样本DNA链条的正确基因序列排列的数据还需要在二级分析中完成。

步骤4-7

二级分析过程

这个过程现在通常由高性能处理集群完成。首先通过高性能服务器将测序仪生成的FASTQ文件（盗版书）与参考基因组文件（正版书）进行比对生成BAM文件。然后对BAM文件进行排序和去重，生成可以用于变异检测的BAM文件。

在最后，将BAM文件（有正确页号和行号的盗版书）与参考基因组文件（正版书）再次进行比对，找出BAM文件中所有与参考基因组文件不同之处，并将这些不同（变异）写入到VCF文件中。

步骤8

三级分析过程

在这一步骤中，专家或者科研人员会对VCF文件进行解读和撰写解读报告。解读报告中包括哪些变异是致病基因，哪些变异可以忽略，哪些变异有药物进行对应治疗，哪些变异需要进一步研究等信息。

基因测序的主要挑战

及其应用优化

当前基因测序应用面临的主要挑战为：一方面，一级分析产生数据的速度非常快，数据量也很大。例如，一个30×WGS人类样本文件（30×为测序深度，指每个基因被复制了30遍，WGS为全基因组测序缩写）通过基因测序仪产生的FASTQ文件约为90GB，而现在一台高通量基因测序仪每天能处理100个以上的30×WGS样本，每天能生成约9TB的待分析的原始数据。

另一方面，一台服务器（18核，3.0G主频，384GB内存）分析一个30× WGS样本的FASTQ文件并生成VCF文件大约需要30小时，100个FASTQ文件需要125天（3000小时）进行处理，这还不包括解读VCF文件的时间。

如此一来，二级分析的速度远远跟不上基因测序仪产生数据的速度，这不仅会造成待分析文件的大量堆积，以基因测序为基础的治疗、科研等应用也会受到极大影响。为提升二级分析流程的速度，大幅缩短分析耗时，可以从算力和存储两个层面进行优化。

一

算力与软件融合加速数据分析

算力+专用软件提速的本质是通过提升计算并行度来缩短分析时间。基因测序是典型的计算密集型应用，如果能将海量的计算任务拆分为多个子任务，然后同时运行各个子任务，就能大幅缩短处理时间，使二级分析的速度显著提升。

而这样的解决方案又分为两大类：一类基于CPU进行加速，如CPU + Sentieon软件。Sentieon是一款专门针对X86指令集开发的基因测序加速软件，自2015年发布以来已被全球超过1200家商业公司和科研机构使用，并多次获得国际生信大赛第一名。

另一类基于GPU进行加速，如Nvidia GPU + Parabrics软件。Parabrics是基于GPU并行计算技术进行测序分析加速的专用软件，2019年被Nvidia公司收购。而根据公开资料显示，CPU + Sentieon和GPU + Parabrics两种解决方案都能将一个30× WGS样本的分析时间缩短到30分钟以内。

二

选择最优的数据存储布局

基因测序应用有三种数据存储布局供选择：

1.全本地：输入、输出和临时目录都位于二级分析服务器的内置硬盘上。这种布局仅适合个人分析时采用；

2.全外置：输入、输出和临时目录都位于外置的高性能共享存储上（如戴尔科技的PowerScale）；

3.混合布局：输入、输出目录位于外置高速共享存储上，临时目录位于二级分析服务器内置硬盘；即原始数据（FASTQ文件）和结果文件（VCF文件）放置在共享存储设备上，计算分析时产生的临时文件（BAM文件）放置在服务器的高性能内置硬盘上。

戴尔科技基于GPU + Parabrics解决方案的测试研究显示，在二级分析的比对阶段（此时常用的软件为BWA，因此这个阶段有时也称为BWA阶段）采用全外置数据布局时可以获得最快速的处理时间，比混合数据布局快18%的时间。

而在基因变异检测阶段（使用Haplotype Caller 和DeepVariant软件），外置存储的IO读写频率较低，此时更多使用算力资源。因此混合数据布局执行变异检测的时间最短，不过三种数据布局的时间差异小于10%。具体测试结果如下图所示：

1.样本覆盖度指样本的测序深度，图中64个WGS测序样本的测序深度从35×到55×；

2.全ISI指全外置布局，存储为戴尔的PowerScale（Isilon）；

3.BWA指执行基因序列比对操作；

4.HC指执行基因序列变异检测操作。

尽管采用全外置数据布局在比对（BWA）阶段所用时间最短，但结合二级分析的完整流程（比对、排序、去重和变异检测）和大量的生产实践，混合数据布局是最佳选择。具体而言混合布局有以下好处：

1.外置共享存储可以作为数据缓冲池，缓存基因测序仪每天产生的海量数据，这样能极大缓解基因数据产需不平衡问题；

2.原始数据和测序分析结果数据放置在外置共享存储上便于数据长期保存和共享，也便于采用容灾、防勒索等技术对数据进行更全面的保护；

3.进行基因序列比对操作时会产生大量的临时文件，此时将临时文件放置在服务器内置的高性能硬盘全可以完全满足密集IO读写操作需求；

4.整体架构便于横向扩展，当性能或者容量不够时，可以在线进行扩容操作；

5.海量数据放置在外置共享存储上便于检索，也大大降低了数据的管理难度。

易管理、高性能的

戴尔科技集团

基因测序平台解决方案

戴尔科技集团基于混合布局的基因测序平台解决方案为存算分离横向扩展架构，基于戴尔分布式存储PowerScale，PowerEdge高性能服务器和IP网络建设，具有架构简单、性能突出、便于扩展、便于管理、稳定可靠、安全性高的特点。

高性能分布式存储

高性能分布式共享存储采用戴尔分布式横向扩展存储PowerScale，主要缓存基因测序仪输出的海量待分析数据和二级、三级分析结果数据，并为二、三级分析提供高速IO读写支持和数据共享支持。

采用PowerScale存储可以在1分钟内完成在线扩容和性能提升操作，升级或更换硬件节点无需迁移数据，不会中断分析业务。根据具体需求，戴尔科技还可以进一步提供高速数据检索、数据归档、数据容灾，数据防勒索保护等配套解决方案。

点击图片了解产品信息

咨询客服还可了解更多优惠活动

PowerScale的具体配置可以根据不同的容量和性能要求，采用F系列（全闪系列），H系列（高性能系列）或者A系列（大容量系列）。对于20台算力服务器以下的中小医院或者科室级基因测序应用，采用PowerScale A系列即能满足性能需求。

普通算力集群

普通算力集群采用戴尔PowerEdge C系列刀片服务器，主要进行外显子测序（WES），转录组测序（RNA-Seq），蛋白结合位点分析（ChIP-Seq）等分析工作，这些工作对算力和内存的需求相对较低，建议配置Intel 5系CPU，256GB以上内存，采用2块1.92TB NVME硬盘存储参考基因组文件，二级分析时产生的临时文件等。

高算力集群

高性能算力集群采用戴尔PowerEdge R750机架式服务器，主要进行全基因组测序（WGS），靶向测序（Panel）等，这些分析工作对算力和内存要求都非常高，建议配置Intel 8系CPU，1TB以上内存，采用4块1.92TB NVME硬盘存储参考基因组文件，二级分析时产生的临时文件等。并可根据二、三级分析加速需求，AI建模/推理需求等选配GPU加速卡。

10台算力服务器以下的平台可以选择10Gb IP网络组建数据传输网，20台算力服务器以下的平台建议选择25Gb IP网络组建数据传输网。

基因正像是人类生命的密码，而基因测序技术就像破译密码，增进人类健康福祉的钥匙。随着基因测序技术的深入应用，人类对抗疾病的水平将上升到一个新高度，而戴尔科技集团将继续以完整的端到端的IT解决方案，助力医疗行业稳健前行。