重温 2024 年亚马逊云科技 re:Invent 的精彩瞬间,一键查看主题演讲及创新讲座的精彩回放

 ✕

亚马逊云科技案例研究:南方科技大学

2021

南方科技大学是深圳在中国高等教育改革发展的宏观背景下创建的一所高起点、高定位的公办创新型大学。学校借鉴世界一流理工科大学的学科设置和办学模式,以理、工、医为主,兼具商科和特色人文社科的多元化学科,在本科、硕士、博士层次办学,在一系列新的学科方向上开展研究,使学校成为引领社会发展的思想库和新知识、新技术的源泉。

面临的挑战

单细胞测序技术自2009年问世,2013年被Nature Methods评为年度技术以来,越来越多地被应用在基础科研和临床研究等方面。单细胞测序从单个细胞水平对基因组和转录组进行研究,通过全基因组或转录组扩增,进行高通量测序,能够揭示单个细胞的基因结构和基因表达状态,反映细胞间的异质性。相比于群体细胞测序,更适用于解决少量特殊样本的研究、异质性群体的分析及同时或互斥发生的基因组变化的查找等问题。单细胞测序技术在肿瘤、发育生物学、临床诊断、免疫学、微生物学、神经科学等领域有重要应用,是目前研究的焦点。

单细胞测序研究需要涉及大量的数据处理,如何处理如此超高维度的数据是科研项目首先要解决的问题。“单细胞测序所产生的细胞样本量,往往在10K-1M的数量级,每个细胞的基因表达信息通常在40,000个基因左右,每个基因即是一个变量或维度。面对如此高样本通量和高维度的数据,往往需要通过合理的数据降维处理之后,才可以被用来进行生物学和医学问题的研究。” 南方科技大学生物系靳文菲课题组秦鹏飞研究助理教授介绍到。基于数据降维和可视化分析的单细胞数据,可以进行细胞聚类分析,样本之间、细胞类群之间的基因表达差异分析,进而进行信号通路、基因调控网络、发育谱系的分析。

单细胞测序数据因其通量高、维度多、文库扩增效率不均一、基因覆盖度较低、数据丢失严重、技术噪音干扰和批次效应等特点,使得许多经典的数据降维方法如PCA,ISOMAP, tSNE等很难达到理想的效果,这也给下游的数据分析,如聚类和发育谱系分析带来了巨大的困难。为了应对这些困难,南方科技大学生物系副教授靳文菲与南方科技大学数学系副教授张振共同组建了“单细胞RNA测序数据降维与可视化”项目团队。他们借鉴了深度神经网络非线性表达能力的优势,考虑到基因数据的拓扑关系,通过开发基于图神经网络的自编码器,对单细胞RNA测序数据进行有效地降维,并成功实现下游的聚类分析和发育谱系分析。“在项目组成立的初期,我们采用学校本地实验室的部分配备了P100卡的计算机进行处理。但前期平台的软硬件搭建和处理需要投入大量的人员进行配置和测试,并且在使用过程中要进行运维和管理,这些工作大量占用了科研人员的精力和时间,我们希望研究人员和学生能够更好地专注于算法的研究并解决科研问题,所以借助云计算替代本地实验室计算机来为项目提供支持就成为更好的选择。”张振副教授谈到。

start a python tutorial
kr_quotemark

在‘单细胞RNA测序数据降维与可视化’科研项目中,借助亚马逊云科技的机器学习服务Amazon SageMaker,我们无需投入时间在计算资源管理和运维,而是将更多的人力资源和项目经费投入到项目的研究和算法的优化上,并可借助云上最新的GPU能力提升计算效率,这帮助我们加快了科研进展。”

张振副教授 

南方科技大学 数学系

为什么选择亚马逊云科技

在选择云平台的过程中,南方科技大学“单细胞RNA测序数据降维与可视化”项目团队从多个维度对各主要云服务商进行了评测,最终选择了亚马逊云科技。之所以选择亚马逊云科技,项目团队认为亚马逊云科技具有以下几方面的独特优势:

  • 成熟的品牌与稳定的服务
  • 亚马逊云科技在云计算市场已经耕耘多年,拥有丰富的运营经验,可以提供成熟的托管服务产品,尤其是在高等教育领域,具有非常广泛的解决方案、资源与案例。无论是教育与学习,还是访问适用于研究项目的高性能计算能力,亚马逊云科技都可以提供相应的解决方案。“我们看到亚马逊云科技与世界各地的研究实验室和机构一直保持密切的合作关系,帮助研究人员处理复杂的工作负载。很多研究机构和科研人员都在使用亚马逊云科技进行人工智能与机器学习领域的研究,快速分析海量的数据,这些成功经验让我们更有信心地拥抱云服务,在云上开展单细胞测序分析与研究工作。” 张振副教授说。

  • 提供一站式的机器学习平台Amazon SageMaker加速机器学习项目执行
  • 亚马逊云科技在云上针对机器学习场景提供了易用的一站式服务Amazon SageMaker,科研人员在将本地的训练代码迁移到Amazon SageMaker时只需做极少改动。借助于Amazon SageMaker, 可以非常方便地尝试不同的计算实例,例如Amazon Elastic Compute Cloud (Amazon EC2) P3 实例(提供NVIDIA V100 GPU),Amazon EC2 G4dn实例(提供NVIDIA T4 GPU),并且可以便捷地在多张GPU卡之间实现分布式训练,提高训练效率,快速看到算法效果并进行优化改进。同时,Amazon Simple Storage Service (Amazon S3)提供了低成本、高持久性的近乎无限存储资源,团队可以将细胞样本数据长期存储在Amazon S3,这些数据也可以直接被Amazon SageMaker调用,用于相关模型的训练。在数据预处理阶段,团队基于Amazon SageMaker托管的Jupyter Notebook完成数据从两万维到数千维的处理;之后在最耗计算资源的数据降维阶段,从数千维到几十维的计算过程中,团队使用了大量GPU资源来优化他们基于图神经网络的降维算法;最后阶段是从中间维度降到两维并使用tSNE或者PCA进行可视化呈现。Amazon SageMaker 对于主流框架例如TensorFlow、PyTorch的支持,以及对于图网络处理库Deep Graph Library的支持,也极大方便了团队的应用。

  • 针对科研场景提供更好的成本优势
  • 在该科研项目中,团队希望将更多经费投入到研究而非计算等IT基础设施上。Amazon SageMaker提供了托管的 Spot实例训练方式,可以帮助科研团队大幅降低机器学习的训练成本。这种方式采用Amazon Elastic Compute Cloud (Amazon EC2) Spot实例来提供计算资源,与按需付费方式相比,Spot实例具有更好的折扣费率,并且非常适合于机器学习项目中的无状态和灵活分析场景。项目团队可以通过配置,当Spot实例计算能力变得可用时,相关的训练作业将会以自动化运行,并且能够在中断后恢复,从而让项目组的科研人员可以灵活选择训练作业的运行时间,从而节省成本。

获得的收益

通过在“单细胞RNA测序数据降维与可视化”项目中使用亚马逊云科技机器学习平台服务Amazon SageMaker,南方科技大学的项目团队取得了多方面的成效。

首先是构建起更加高效的机器学习工作环境。项目团队使用Amazon SageMaker Studio 基于 Web 的可视化界面,可以完成所有与机器学习相关的开发步骤,并且项目成员可全面的掌控模型构建、训练和部署的每个过程。在上云的初期,项目团队在亚马逊云科技机器学习专家的指导下可以快速地上手。将Amazon SageMaker机器学习服务与自研算法结合后,项目团队不仅简化了机器学习的开发过程,也可以更好地跟踪和评估训练运行情况,让科研项目能够朝向预期的目标迈进。

其次,与访问本地实验室中采用P100 GPU所搭建的计算平台相比,项目团队在亚马逊云科技使用基于新一代NVIDIA® V100 GPU的Amazon EC2 P3 实例更具成本效益。借助云的弹性优势让项目团队可以获得几乎不受限制的计算和存储容量,能够根据“单细胞RNA测序数据降维与可视化”研究中的数据规模进行灵活的扩展。“之前我们需要耗费大量的时间进行本地GPU计算环境的搭建和运维,得益于亚马逊云科技上提供的最新GPU实例,我们只需要几分钟就可以启动配置新型GPU的多节点机器学习工作环境,大幅减轻了运维和管理的压力,项目团队可以把更多的人力资源分配到研究项目而不是IT运维上。“张振副教授说。

此外,南方科技大学“单细胞RNA测序数据降维与可视化”项目团队通过采用Amazon Identity and Access Management (IAM) 进行精细颗粒度的云服务资源权限与访问管理,实现了项目组成员以科研角色为区分定向进行所需服务的访问。这种方式既能够遵守最低权限的安全原则,也避免了因为资源的过度消耗,从而降低成本,帮助项目组实现了科研经费的节约。“Amazon IAM内置的条件访问控制和高特权多重验证等机制让我们可以用一种简便的方式保护科研数据的安全性。” 张振副教授谈到,“在未来的一些大型科研场景中将能够更好地保护数据,避免来自于外部的非法访问,让我们在云上可以安心开展机器学习与分析工作。”

展望未来

未来,南方科技大学数学系张振副教授与生物系秦鹏飞研究助理教授将在更多的科研项目中应用亚马逊云科技在云上提供的能力,将亚马逊云科技的机器学习服务、深度学习框架及工具与云上生物学类的亚马逊云科技公用数据集结合,以原生云技术、格式和工具降低数据处理成本,并从共享数据集发掘更多的科研价值。


关于南方科技大学

南方科技大学是深圳在中国高等教育改革发展的宏观背景下创建的一所高起点、高定位的公办创新型大学。

为什么使用亚马逊云科技

  • 成熟的品牌与稳定的服务
  • 提供构建机器学习服务的快速路径
  • 针对科研场景提供更好的成本优势

使用的亚马逊云科技服务

Amazon SageMaker

Amazon SageMaker 是一项完全托管的服务,可为每位开发人员和数据科学家提供快速构建、训练和部署机器学习 (ML) 模型的能力。

了解更多》

Amazon EC2 P3 实例

Amazon EC2 P3 实例在云中提供高性能计算,具有多达 8 个 NVIDIA® V100 Tensor Core GPU 和高达 100Gbps 的网络吞吐量,适用于机器学习和 HPC 应用程序。

了解更多》

Amazon EC2 G4 实例

Amazon EC2 G4 实例提供经济实惠的 GPU 实例,用于在生产和图形密集型应用程序中部署机器学习模型。

了解更多》

Amazon EC2 Spot 实例

借助 Amazon EC2 Spot 实例,您可以充分利用亚马逊云科技云中未使用的 EC2 容量。

了解更多》


开始使用

各行各业中所有规模的公司都在使用亚马逊云科技对其日常业务进行转型。联系我们的专家,立即踏上您的亚马逊云科技云之旅。

关闭
1010 0766
由光环新网运营的
北京区域
1010 0966
由西云数据运营的
宁夏区域
关闭
由光环新网运营的
北京区域
由西云数据运营的
宁夏区域