发布于: Nov 10, 2022
在不久前结束的 2022 亚马逊云科技中国峰会上,亚马逊云科技大中华区战略业务发展部总经理顾凡发表主题演讲,为我们深入阐述下一代云基础架构的优势与应用。亚马逊云科技一直在探索云基础架构如何充分释放 Every Application 的力量,以满足客户当下及未来的应用需求。
HPC 高性能运算被运用在很多行业去解决最难的问题,而亚马逊云科技云上部署 HPC 可以解决本地数据中心资源有限、大量的采购及测试新硬件时间导致硬件技术无法保持更新、研究算法后需要调整算法去迁就过时的硬件架构等问题,具有便捷、弹性和成本灵活等优势。
接下来就让我们一起看看亚马逊云科技在 HPC 产业的思考和实践,以及在“HPC+”时代,亚马逊云科技如何与高精尖技术行业的发展齐头并进,帮助他们加速创新。
HPC 拓展全新领域
更加丰富的应用场景Hyperion Research 的市场调研数据显示:2022 年底将有18.8%的 HPC 在云端运行,而这个数据在 2021 年只有 12.3%。专家预测该数据在未来几年还将呈现加速增长的态势,因为云可以赋予 HPC 丰富的“弹性”和更多、更广的选择能力,包括资源的扩展性、敏捷性等,还可以大幅降低运维的复杂度,使计价模式更灵活
一些需要高性能计算的场景已经从传统范畴拓展到全新领域,如天气及气候预测、计算机辅助工程、计算流体力学、金融量化交易等。而一些新兴产业,如量子计算、元宇宙等,也在高性能计算的支持下得以加速落地。我们可以看出,在亚马逊云科技丰富且实用的解决方案支撑下,HPC 所适用的应用领域已经无处不在。
Nitro 基础架构
打造最佳 HPC 云平台
亚马逊云科技云上 HPC 屡获大奖的原因包括基础架构的核心 Nitro。从 2013 年至今近十年时间,Nitro 已经演进到了第五代。作为独立专业硬件系统,Nitro 深植在每一套物理机里面,能够控制网络、存储以及其他系统,结合其他 VPC 的环境、管理、安全的控制,以及监控的系统、虚拟化层,最终将计算力交付给客户。
Nitro 不仅能够充分发挥最新的硬件技术,还能实现非常低的延时和高度稳定性并优化成本。Nitro 作为模块化系统可以独立发展,这样灵活的结构和紧密的配合方式可以满足所有硬件的需求,两者相辅相成,将会使能力得到进一步提升。
底部的基础层涵盖算力资源、高速网络和存储,构成整个体系的基石。亚马逊云科技有 500+不同类型的服务器组合满足各类复杂场景需求,还可以提供 100G 以上带宽吞吐。支持 MPI 的 EFA 网卡使网络不再是高性能计算的瓶颈,它能支撑高性能计算且在云端实现多级的文件存储,进一步帮助客户提升资源利用效率。
HPC+ 催生场景化创新
以前定义 HPC 工作负载的方法,通常是先判断高性能计算任务是松耦合型还是紧耦合型,这更看重网络带宽和延迟需求,同时也会从 HPC 任务涉及的数据规模的维度进行考量。
但随着硬件技术的创新以及人工智能的迅猛发展,亚马逊云科技发现越来越多的 HPC 任务需要和 AI、ML、DL 相结合,这就要求为客户提供相对应的方案,也由此催生出 HPC+ 的概念——从更广泛的维度,包括加速计算、机器学习、深度学习等多方面去设计服务和构建方案。
伴随 HPC 的重量级伙伴逐渐增多,围绕 HPC+ 的场景化创新正纷至沓来,在影视特效渲染、辅助创新药物和疫苗研发、自动驾驶和流体仿真等场景中,亚马逊云科技都扮演着举足轻重的角色。
1、助力影视特效行业转型,是 HPC+ 展示身手的新舞台。亚马逊云科技从2020年开始为 Weta Digital 《阿凡达2》的视效渲染提供了大规模渲染集群、云上工作室方案、机器学习堆栈等服务支撑,显著提升制作效率与渲染效果。这部巨作不日将与公众见面。
2、辅助创新药物和疫苗研发,也是 HPC+ 擅长的领域。靶点的选择和确认、化合物的发现与优化、临床研究、真实世界分析等都离不开各方的协同发力。亚马逊云科技和药明康德在用药机理上合作,借助图神经网络技术将建模时间缩短5倍;与晶泰科技在分析发现上也取得突破,不仅计算出最稳定的晶体结构,而且得到其全景图,为后续药物研发筑牢根基。
3、此外,在自动驾驶、流体仿真等场景,HPC+ 同样显现出不可或缺的作用,在海量数据存储与分析、从仿真结果中提取复杂关系等方面成果显著。据了解,亚马逊云科技已为国内外主流商用车、乘用车厂商提供与自动驾驶相关的服务支撑,在 F1 赛车、帆船竞技等流体仿真应用前沿亦屡有斩获。
HPC+ML 云上业务
加速新能源创新
基于亚马逊云科技对云上 HPC 丰富的思考和实践,四川集思数源信息技术有限公司(以下简称“集思数源”)选择与亚马逊云科技 HPC+ 紧密协作,对原有线下部署的光伏电站设计方案进行 SaaS 化改造迁移上云,化解光伏电站设计中的痛点和难题。
集思数源
作为光伏电站设计的参与者之一,集思数源的核心业务之一是新能源与电力领域的信息化产品研发及应用。目前主要围绕新能源全生命周期数字化解决方案,帮助央企、国企新能源公司、头部电力设计院、新能源上市企业、智慧综合能源公司及交通建筑工业用能企业,开发推广数字化、智能化业务平台产品,满足“双碳”需求。
集思数源选择了亚马逊云科技,并成为亚马逊云科技的行业 ISV 合作伙伴,共同打造面向新能源与光伏领域的云上创新方案。集思数源于 2021 年 9 月开始正式基于亚马逊云平台和超算服务构建的光伏电站规划设计 SaaS 化应用方案,并在 3 周内完成了设计平台的迁移和适配,快速投入到实际项目应用中,获得了诸多成效。
亚马逊云科技提供的 Amazon Elastic Compute Cloud (Amazon EC2) 实例基于与英特尔十多年的工程合作关系所构建,能够良好地契合光伏电站设计中的多样化需求。配合使用 Amazon Batch 服务、Amazon Elastic Container Registry (Amazon ECR),能够实现地形仿真数据的高效处理,简化 SaaS 工作负载的部署过程。
由亚马逊云科技提供的弹性可扩展计算能力,让集思数源可以更好地应对复杂地形场景的评估,发电量评估准确性提高 3%,电缆使用量减少 20KM。多方案选优让项目成本评估准确性提高 15%,总体成本降低 3%。在项目实践中,光伏电站装机容量从 18MW 提高到 20MW,相当于平均每年节约标准煤 626 吨,减少二氧化碳排放 1738 吨。