弹性计算文章

 

无论是何种工作负载和并发条件，R6g 实例比之同等资源配置的 R5 实例性能均有显著的提升

 

如何通过ParallelCluster部署高性能运算集群，接下来我们将为您一一说明。ParallelCluster的安装步骤在这里不再赘述，在参考资料中有ParallelCluster的配置链接。

在云上进行高性能计算的客户越来越多，利用云计算资源充足、按需使用、弹性伸缩的特点，客户不仅能快速的得到结果，而且成本很低。为了让客户能快速的部署高性能计算集群，亚马逊云科技推出了开源的ParallelCluster 集群管理软件，该软件可以让客户在数分钟之内部署一个高性能计算集群。ParallelCluster支持Torque、Slurm、SGE等调度引擎，集群的大小可以根据任务数量动态伸缩，而且支持SPOT实例，能最大程度的帮助客户降低成本。

【概要】Graviton2 实例最高可以为 RDS 开源数据库提供 35% 的性能改进和 52% 的性价比提高。Graviton2 成为了 Amazon ElastiCache 默认选项，可实现高达 45% 的性价比提升。

提及金融云计算就不得不提及《交易账户根本审查》（FRTB），FRTB是巴塞尔银行监管委员会针对银行市场的风险资本计算提出的一套建议方案。这套新的规则（通常被称为「巴塞尔协议IV」）旨在建立更具弹性的市场，并充分捕捉高压力市场条件下的风险因素。这项协议最初于2016年1月发布，并于2019年1月进行了修订。FRTB目前的生效日期暂定为2023年1月1日。

【概要】无服务器 (Serverless) 架构替我们屏蔽了服务器的管理，当不再需要维护服务器，才真正开始回归问题本质，专注解决业务本身的问题。Serverless 可使开发人员专注构建和运行应用，而不需要管理服务器。

云计算对生活的影响已覆盖许多方面，除了工业生产、智能家居外，云计算还对我们们的出行产生了很大的影响，比如说我们可以依靠云计算提高天气预测的效率，避免因为天气而耽误行程。本文将描述如何利用云计算技术处理天气数据。

【概要】部署完成后，我们使用同样大小机型，c6g.large，c5.large，c5a.large，模拟客户生产环境中进行测试，测试数据集由 10% 的 5M 以下，20% 的 20M 以上图，以及 70% 的 5M 到 20M 大小图片组成。

云数据迁移是如何进行的呢？首先我们来了解一下为什么要将数据进行迁移，因为相对于 ElastiCache for Redis 管理服务，部分客户喜欢自建 Redis 平台，但是相对平台服务而言，有如下比较明显的缺点和难题需要解决：

• 难以管理：管理服务器配置、软件补丁、安装、配置与备份
• 难以实现高可用：需要快速执行错误检测与修复
• 难以扩展：在线扩展可能引发错误，且需要监控副本性能
• 成本高昂：人员、流程、硬件与软件需要占用大量资金

除了前面章节对比测试的性能和延时，以及成本优势外，使用 ElastiCache for Redis 的管理服务还有如下优势可以让客户直接开箱即用:

• 极致性能：提供小于 1ms 的响应时间；当前最大支持 500 个节点，340TB 存储的最大 Redis 集群；最大支持 3250 万连接数，满足极致场景的巅峰性能；
• 全托管：Amazon Web Services 管理所有的硬件以及软件的配置和监控；
• 易伸缩：通过副本提供读操作的弹性伸缩，通过分片提供写操作非中断的弹性伸缩；支持横向和纵向的弹性伸缩；
• 可靠性保障：多可用区（免跨AZ流量费）支持，深度和详细的监控和告警，自动故障转移（10-20s 内实现 Fail Over）；
• 安全和合规：通过 Amazon VPC 实现网络隔离和管理，符合 HIPAA，PCI 和 FedRAMP 等安全和合规要求，存储和传输中支持进行加密和身份认证；
• 兼容性：兼容多个 Redis 版本和客户端，支持导入导出，支持快照和恢复等；
  

 

宿主机上运行的虚拟机（VM）共享相同的时间源，但是每个 VM 不可能在同一时刻更新其时间。此外，VM 可能在执行内核的关键部分时禁用了中断，而虚拟机监控程序则会生成计时器中断

 

 

现代的 CPU，功耗管理比性能峰值更重要。CPU 从单一内核发展到多个物理内核，获得了新的特性：超线程；可以最大限度地提高性能

 

【概要】与我们熟悉的型 x86-64 架构不同，Graviton 2 支持 ARM V8.2 和其它几个架构扩展。特别要强调的是，Graviton2 支持用于原子操作的 LSE (Large System Extension) 指令集的扩展，可以提高大系统之间的锁定和同步性能。

 

本文档介绍的解决方案是通过利用 Auto Scaling Group 生命周期功能，判断外部状态信息，执行特定的命令或脚本来实现对有状态应用的管理

 

【概要】本文以 DynamoDB 存储实例相关信息，通过 PartiQL 类结构化查询语言，搭建了一套无服务器的通用实例升级规划架构。该规划系统考虑了实例升级规划中的普遍性问题，例如将实例区分为生产与非生产，考虑实例预留期限，照顾升级实际需求的约束条件等。

云数据处理已在众多领域得到了广泛推广使用，尤其是金融行业这种涉及大量数据以及计算的领域，那么云数据处理与本地处理相比有何优势呢，本文将例举其特殊之处。

【概要】随着云计算技术的发展，其应用领域不在局限于工业领域，生活中的云计算也是无处不在，比如说天气预报的应用。

Auto Scaling Group 独有的高弹性计算性能是如何帮助我们打造一个云应用管理系统的呢？本文将由表及里，由浅入深为您介绍这一实现过程。

ARM 处理器不仅仅统治了手机、嵌入式应用这些传统的优势领域，或将在桌面系统、高性能计算尤其是云计算领域扮演越来越重要的角色

弹性计算云服务是云计算的进一步发展产物，迁移上云解决了企业最棘手的问题，然而上云之后只是云原生的开始。

首先，虽然业务已经上云，但是业务形态仍然是传统的单体应用，发布周期长，而且代码改动造成的影响也比较大。因此，需要对应用进行微服务化改造来获得更高的敏捷性。

其次，把云上的计算资源简单地看成是固定的虚拟机去管理，在服务器的整个生命周期中，会经历无数次的发布、变更和调试。同一集群的服务器之间的配置变得越来越不一致，集群各个服务器出现的问题也不一样。这种配置不一致导致我们调试 bug，或者想要对集群进行扩容的时候效率非常低。运维成本也会随着机器的增加而增加。

第三，虽然迁移上云有利于降低企业采购基础设施，以及建设和运维的成本，但在 IDC 中面临的资源利用率的问题在上云之后并没有明显改善，计算资源依然是要按业务峰值再加一定的缓冲来申请，甚至为保证业务稳定性要预留较大的资源缓冲。再加上服务器申请交付流程麻烦（审批，环境初始化，部署流程配置，监控配置等），因此业务申请机器之后为了防止后续再重新申请，不会轻易回收已经申请到的服务器，从而在资源使用上仍然存在极大的浪费。

Flexera 报告指出，企业公有云支出成本的浪费是最主要的问题，并随着支出成本的上升而变得更加可观。受访企业自我评估他们的企业云支出有 30% 的浪费，如下图所示。但是由于很多企业倾向于低估浪费的程度而使得结果偏低。在与客户合作来识别浪费时，Flexera 发现，平均而言，实际浪费为 35％ 甚至更高。

利用弹性云计算模式可以解决灵活性较高的问题，比如，作为开发人员，经常要提供各种尺寸的图像，以确保不同屏幕尺寸和分辨率的设备都有出色的访问体验。这样对于图片的管理就会变得非常复杂。存储在 S3 上的图片经常会被处理成各种尺寸，以适应网站和 APP。本文将阐述一种方式，当设备访问 S3 上图片的时候，会生成一张适当尺寸的图片返回设备。

实际在 2017 年时，Amazon Web Services 发布了一个解决方案 Serverless Image Handler，这个方案利用 lambda 和 API Gateway 动态的生成的缩略图。本文所实现的功能与 Serverless Image Handler 完全一致，但本文利用了新发布的 Graviton2 机型，在拥有海量工作负载且变化平缓的前提下，可以达到对成本大幅度优化。可以从下表看出 Serverless Image Handler 与 Graviton2 处理缩略图所适用的不同场景：

今天我们将在各种环境下检测 Graviton2 R6g 与 R5 的运算性能，并做出对比。以下是整个测试的过程。

    

大数据技术是信息发展的一大趋势，什么是大数据、如何利用大数据是如今热门的研究话题。本文调查了将 Amazon EMR 大数据处理平台用作 FRTB IMA 计算平台的实际情况，下图所示为用例中选择的特定 Amazon EMR 架构。

云计算的发展与应用经过几十年的不断开拓，得到广泛认可成为主流，企业基础设施逐渐从 IDC 迁移上云，甚至采用云优先战略，优先在云上部署应用。在这种趋势下诞生了云原生的概念，英文是 Cloud Native。从字面意思来看，这种直接诞生在云上的应用就是云原生应用。但云原生的意义远不止这些，它是云计算时代一种构建和运行应用程序的方式，充分利用和发挥云平台的弹性和自动化优势，结合容器、微服务、无服务器 (Serverless) 等技术来构建现代化应用。云原生更是方向和引导，引导企业更加深入的认识和使用云计算，使应用不仅生在云上，更是以一种适应云计算文化的方式诞生。在使用 Amazon Web Services 的过程中，我们经历了 IDC 迁移上云助力业务全球扩展；从最初的在云上以虚拟机部署单体应用，到借助 ECS、EKS 进行微服务化、容器化改造，实现云资源的弹性伸缩，全球容器集群的统一管理；以及采用无服务器架构 (Serverless) 来解放运维工作的过程。这也是业务云原生进化的典型过程。

1. 前言
从2020年10月开始，基于 Amazon Graviton2 的缓存实例逐步推出，客户可以在使用 Amazon ElastiCache for Redis 上使用这些实例。
Graviton2 处理器由 Amazon Web Services 使用 64 位 ARM Neoverse 内核定制，对第一代 Amazon Graviton 处理器进行了多种性能优化。这包括 7 倍的性能、4 倍的计算核心数量、每个内核 2 倍的私有内存、5 倍的内存速度和每个核心 2 倍的浮点性能。此外，Graviton2 处理器还具有全天候运行的全加密 DDR4 内存功能，且每核加密性能提高 50%。这些性能提升使得装备了Graviton2 的实例成为缓存工作负载的上佳之选。

本文将向您展示 Graviton2 R6g 缓存实例（测试实例类型 cache.r6g，后续简称 r6g 或 R6g）对R5缓存实例（cache.r5，后续简称 r5 或 R5）的性能增强以及迁移到Graviton2 R6g 缓存实例的方法流程。

通过测试我们可以清楚地看到，无论是何种工作负载和并发条件，R6g实例比之同等资源配置的 R5 实例性能均有显著的提升，而且每小时单价却有下降，在这双重因素的叠加之下，选择新一代的 r6g 实例，具有更好的性能和性价比。
 

Graviton2 高性能云主机的使用也很简单，对于托管服务只需在实例选择阶段选择 Graviton2 系列实例即可，另外 Amazon RDS、Amazon Elasticache 等还可以把当前 X86 实例直接切换为 Graviton2 实例。

对于 EC2 自建服务，需要在操作系统选择界面时候选择 ARM 64 位版本即可（这里包括您熟悉的 Amazon linux2、Redhat、Ubuntu、SUSE linux、Fedora、FreeBSD、Debian 等）。你会发现常用软件包和之前使用的安装方式相同（yum,apt-get,pip,npm…）,尽管某些应用程序可能需要重新编译，但是基于解释语言（例如 Java ,NodeJS ,Python ,Go） 可以未经修改地运行。对于编译性语言如 C 等和或 Python 某些库基于 C 语言开发等极少数情况下，您需要重新编译或调试代码，这部分建议参考 github 上的 amazon-graviton-getting-started 网站。

下面分别以 Amazon linux2 和 Ubuntu18.04 为例演示 EC2 自建系统的主要开发工具和依赖环境的构建过程，考虑大量新版本软件针对 Arm 做了性能优化，尽量用较高版本如 php7.4 以上。

根据亚马逊云科技最佳实践，当推出新的 EC2 实例机型后，建议升级到最新的可用机型。原因有二：其一，新机型计算、存储和网络传输等性能提升；其二，单位时间实例使用成本降低。少量实例机型升级并不难，然而当实例数量较多、实例关系较复杂时，要规划可行、低成本的实例升级，手工操作的耗时和难度会显著增加。本文聚焦如何有效应对大规模实例机型升级。有效机型升级具体体现有三。成本优化：在新机型成本降低的基础上，充分考虑预留实例期限限制，最大化预留实例收益；兼顾实例关系：全面兼顾实例间复杂的关联与依赖关系，如主从数据库对，负载均衡器组等，把实例升级对系统整体运行的影响降至最低，使其平稳过渡；照顾现实约束：实际生产过程中实例有轻重缓急之别，升级过程中有各种限制，例如工作日节假日的安排，日处理或停机实例上限等等。上述要点无形中增加了规划实例机型升级的困难与复杂度，使得手工规划耗时费力。本文利用轻量的类结构化查询语言和亚马逊云科技无服务器解决方案，实现一套崭新和通用的规划实例机型升级架构，以达到两个目的。一是把手工需要数小时的规划操作大幅减少到数秒完成；二是根据预留期限和其他约束条件规划升级以尽量降低成本。

     

GPU 运算能力决定了深度学习的训练速度，强大的 GPU 有望将训练周期由几个礼拜缩短至数小时。但要全面发挥 GPU 资源的强大性能，我们还需要考量以下因素：

• 优化代码以保证底层硬件得到充分利用。
• 使用最新高性能库与 GPU 驱动程序。
• 优化 I/O 与网络操作，确保数据能够以与计算能力相匹配的速率被送至 GPU 处。
• 在多 GPU 或分布式训练期间，优化 GPU 之间的通信。

以下流程图可以看出，WRF 模式系统主要包含的组件有：
• WRF Preprocessing System（WPS）
• OBSGRID
• WRF-DA
• ARW Solver（WRF 计算主程序）
• 后处理和可视化