其他云计算文章- 亚马逊云科技中国官网

在客户运用云端计算集群来处理诸如分子匹配分析或中小规模基因分析的任务时，首先需要及时响应样本输入，由于有任务完成时限的要求，所以在较短的一段时间内对于 HPC 的算力需求仍会达到几千到几万个 vCPU 的较大规模，这些 vCPU 根据数据并行的方式进行分片计算，在 Amazon Web Services Batch 批量处理任务管理服务或 Amazon Web Services ParallelCluster 开源集群管理工具来配置集群的方式之外，需要能有一个更轻量级的、可自定义并行规则的集群调度方式。同时客户非常关注成本控制，需要将单个输入样本的计算成本尽可能压低。

概括地看，客户希望设计一种灵巧型的 HPC 来同时满足以下场景特点：

• 弱耦合型：计算过程中间很少数据交互；
• 随来随算： HPC 的算力构建基于事件触发，能即时响应；
• 数据切分：计算任务可基于数据维度来分解并行的；
• 运维零压：部署完成后，平时基本是零维护和零管理；
• 足够节省：平时运维低费用，且算完及时回收资源以降成本。

我们将设计过程中的日志分为四种：

• 调度器日志: 调度器服务会针对任何发生的错误记录诊断消息，并保存在日志文件中，这就是调度器日志。该类型的日志通常存储在调度器的安装路径下，例如 SCHEDULER_HOME/server_logs。以 SOCA 为例，SOCA 集成了开源调度软件 PBS，并将 PBS 安装于 ’/var/spool/pbs/’ 路径下，日志文件保存在’ /var/spool/pbs/server_logs’目录下。如果无法打开日志文件，则调度器会将诊断消息写入系统控制台。在本文中，我们把这部分日志称为 server_logs 。
  另外，会记日志也会对异常排查起到一定辅助作用，该日志可以展示作业运行结束后的终止原因，运行时长，资源使用量等内容。这部分的日志通常位于 SCHEDULER_HOME/server_priv/accounting 路径下。在 SOCA 中，这部分日志文件保存在’ /var/spool/pbs/server_priv/accounting’ 目录下，SOCA 也整合了 Amazon Elasticsearch Service 对会记日志做大数据分析。在本文中，我们把这部分日志称为 accounting_logs。
• 作业日志：IC 工程师可以在提交作业的同时输出作业日志，该日志会输出作业的执行信息。例如，在 SOCA 中我们使用 PBS 作为作业调度器，并且编写作业提交脚本 job_submit. que，我们可以使用如下内容将作业执行过程中的日志进行输出：#PBS -V -j oe -o /out/put/of/your/job.qlog

• EDA工具日志：描述 EDA 工具运行中产生的日志。在您使用相应的 EDA 工具进行设计时，开启日志并指定输出路径。建议这部分日志保存在共享文件存储上便于检查分析。

• 计算节点资源使用日志：计算节点设备状态日志，描述计算节点的资源状态信息，如 CPU 和网络的使用状况等。您可以周期性的对计算环境进行资源使用状况信息收集，例如 CPUUtilization, NetworkOut 等参数指标，从而绘制资源使用曲线用于帮助您诊断异常是否和资源过载有关。例如，SOCA 中默认使用 Amazon CloudWatch 服务进行 CPU 利用率指标收集，并会在 Amazon CloudWatch 的服务台中绘制利用率曲线。

“Some fish love to swim upstream. Some people love to overcome challenges.”

                                                                      “有鱼逆水而游，有人知难而进”
                                                                                                           — Amit Ray

以下示例部分的完整Python代码可参见：https://github.com/Iwillsky/lightHPC

• Lambda中的处理函数

在Lambda服务的控制台中新一个名为“lightScheduler”的处理函数，Runtime 类型选择“Python3.7”，权限配置上分配一个包含 EC2、DynamoDB、SNS 服务足够操作权限的角色。

在本节中，我们将讨论如何提高数据预处理能力，并尽可能精简常用函数以进一步增强数据加载效率。

高效配置的核心是批量自动化处理，尽量减少手工步骤。管理工具整合 CloudEndure 复制实例信息以及目的区域虚拟网和机型信息，存入 DynamoDB 数据库，通过计算，批量地对 CloudEndure 项目的启动蓝图进行配置，实现高效管理的目的。简易的结构图如下所示。

Amazon Elastic File System (Amazon EFS)为跨Amazon Elastic Compute Cloud (EC2)实例，以及Amazon Elastic Container Service (ECS), Amazon Elastic Kubernetes Service (EKS), Amazon Web Services Fargate与Amazon Web Services Lambda等容器与无服务器服务提供一套简单、全托管的弹性数据共享文件系统。当前，客户能够利用Amazon EFS Standard存储类，通过多个地理位置相互独立的可用区获得具有最高可用性与持久性的冗余数据存储服务。

 

在传统 Kubernetes 集群之上，工作节点就是最基本的计算单元。这些基本单元定义了各 Pod 所能使用的总容量以及集群的整体运行成本。

 

【概要】借助 Amazon Security Hub，您可以更深入地了解 Amazon Web Services 环境的安全性与合规性状态。

继企业应用上云之后，微服务云应用平台又初露头角，如何利用 Amazon API Gateway 和 Amazon Web Services Lambda 实现 SAP 应用微服务化，本文就将分步为您演示。

你是否好奇 云计算 成本都用在了哪里？如何降低这些成本呢？在Re: Invent 2019 大会上，我们公布了可以在 Amazon Elastic Kubernetes Service（Amazon EKS）上使用 Amazon Fargate 来部署 Kubernetes Pod 的全新功能。因为我们看到客户快速接受使用 Kubernetes API 的方式将 Pod 部署在用于运行容器的 Amazon 无服务器基础设服务施 Fargate 当中。这种全新实践帮助他们彻底摆脱了由 Kubernetes 集群维护工作带来的沉重负担，包括与之相关的管理、修复、安全、隔离与扩展等日常任务。

企业需要快速创建自己的企业云服务管理平台，利用数据及时做出决策，敏捷地实现创新转型，以便发展业务和提高客户满意度。作为企业的 IT 管理人员和信息架构师，您首要任务就是采用云计算技术，全面提升企业的技术水平，为企业发展提供一流的构建能力。

 

通过批量 fetch，优化程序逻辑等方法可以缓解延迟造成的性能问题，但为了适配高可用架构来调整应用程序并不是一个好的选择，相反，这将成为在云上获得最佳表现的一个巨大阻碍

 

如果您有意愿改善您 Amazon Web Services 账户中云安全防御能力，那么 Amazon Web Services 首席信息安全官 Stephen Schmidt 在 Amazon Web Services re: Invent 2019 大会上提出了十大最重要云安全提示。在这些提示如下图所示，我们能够带着更清晰的思路采取行动。

要上手使用Amazon EFS One Zone存储（单区存储）类，我们可以使用Amazon EFS控制台、Amazon Web Services命令行界面（CLI）或者Amazon SDK创建一套新的文件系统。

本文的步骤主要针对在 Amazon Web Services 中国区使用 WorkSpaces，您可以使用本链接快速启动一个 CloudFormation 堆栈来部署和管理整个方案。

如果您在 Amazon Web Services 全球区使用 WorkSpaces，可以使用本链接快速启动全球区的 CloudFormation 解决方案来实现全球各区域的 WorkSpaces 成本优化，以及参考全球区方案的使用说明。

【概要】数据时代，云计算将数据技术与数据科学的结合发展到一个新的阶段，面对浩如烟海的数据，如何才能轻松应对呢？本文将以遥感数据的计算为例，向您介绍云计算服务比普通计算服务的优势之处。

 

Security Hub 在各个区域的统一仪表板中为用户提供涵盖多个 Amazon Web Services 账户的安全性与合规性状态的直观支持。通过此项服务，您可以监控各关键设置，保证 Amazon Web Services 账户始终安全可靠

 

本文为大家介绍如何实施并验证成员账户标签已达到成本监控目的的一种方法。假定大家熟悉 Amazon Organizations 的使用方法，而且至少拥有 2 个 Amazon 账户。首先是 root 账户，其次是成本账户。为了简单起见，我们在本篇博文中将介绍如何实施并验证成员账户标签。当然，您也可以使用同样的流程管理其他账户或组织单位（OU）。您应在 root 账户上拥有管理员角色。

如果您已经管理有 Amazon Landing Zone，应该对 Amazon Organizations 比较熟悉。

如果您还不满足以上先决条件，本文建议您首先参阅《教程：组织的创建与配置》。

 

企业通过数字化转型实现业务和技术的敏捷性，是企业达到卓越的必由之路

 

企业应用上云有效提高了企业的工作效率以及信息安全。企业应用（如 ERP、CRM、OA 和 HR 等）是企业信息系统的核心资产，支撑企业的生产、经营与管理。随着移动互联网的蓬勃发展，这些企业应用迫切需要向移动设备提供便捷、高效的访问，实现丰富的用户体验。例如，销售人员通过手机 App 管理客户信息、拜访记录和订单等；差旅途中的管理人员在平板电脑上浏览财务报表或审批公文等。此外，集团型的企业客户日益注重 IT 服务能力的输出与共享，以促进各业务板块及生态圈的协同发展。例如，构建统一的身份认证平台为所有的第三方应用提供认证与授权服务。

一般来说，企业应用通过开放 API (Application programming interfaces)的方式实现应用集成与能力共享。例如，SAP 应用（如 ERP / CRM / SRM / SCM / PLM 等）发布的是基于 OData (Open Data Protocol) 协议封装的API，而且满足 REST 设计风格（关于 OData 协议的更多介绍，请参见 SAP 官方博客）。这些 API 为企业应用在云上的微服务化提供了机会。此外，还需要 API 管理平台对  API 进行统一的管理，包括发布与部署、安全认证、流量控制和监控告警等。Amazon API Gateway 是实现 API 管理平台的托管式服务，它提供了统一、安全、敏捷及可扩展的 API 生产与消费方式。API Gateway 可以创建 API 直接与后台的各类企业应用集成；也可以结合 Amazon Web Services Lambda，实现定制化的业务逻辑与管理功能，构建轻量级、松耦合的无服务器式微服务。利用 API Gateway 和 Lambda 实现微服务的另外一个显著优势是，可以充分发挥无服务器架构中缓存和动态扩容的特性，降低前端应用对后台企业应用的访问压力，并优化用户体验。

遥感数据集以量大，数据获取困难出名，如何处理这些数据曾是让诸多科学家头疼的问题，本文将介绍现代科学是如何使用 Amazon Batch 轻松玩转遥感计算。

 

借助自适应方案的编排能力，可以衍生出一些变种方案，以进一步提升自适应方案带来的价值,以下架构变种均保留了与自适应方案同样的低延迟访问特性

 

为观察 Amazon Web Services Batch 如何创建集群以搭起云计算与高性能计算间的桥梁，本实验利用 Batch 搭建一个简单抓取脚本运行的 Demo，原理如下图流程所示。Batch 执行的任务是以 Docker 容器方式运行的，容器镜像基于 Amazon ECS 服务来管理。实验中生成的简单镜像里包含一个辅助程序，负责从 S3 存储中下载名为 myjob.sh 的自定义任务脚本（同时也支持 zip 文件），由 Batch 负责启动 EC2 实例来装载容器具体执行。实验中的任务脚本会输出打印一些演示信息，在 CloudWatch 的 Log 日志记录中可以查看验证任务脚本的这些输出信息。当然您也可以根据需求自己改写或丰富 myjob.sh 的脚步执行内容。

身份验证

要将本地 数据迁移上云，要求我们在设计层面做出调整以获得最佳结果。在云端运行大数据管道时，运营成本优化无疑是最重要的目标之一。而成本的两大组成部分，分别为存储成本与计算成本。在传统的本地 Hadoop 仓库当中，各仓库会被耦合为存储节点，同时亦充当计算节点。这种耦合的缺点在于，指向存储层的一切变更（例如维护）都会给计算层造成影响。在 Amazon Web Services 等云环境中，我们可以专门指定 S3 作为存储方案、Amazon EMR 作为计算方案，借此轻松实现存储与计算资源的剥离。由于各集群仅在工作负载出现时临时运行，因此这将给集群维护工作带来巨大的灵活性优势。

为了进一步节约成本，我们还需要找到在计算层上实现资源利用率最大化的方法。这意味着我们需要将原本的整体平台转换为与多条不同管道对接的多个集群，其中各个集群都能够根据管道需求实现自动规模伸缩。

流处理有助于实时流数据的收集、处理和分析，并能够持续生成见解和快速响应新出现的情况。当派生见解的值随时间减少时，此功能非常有用。因此，您对检测到的情况反应越快，反应就越有价值。例如，考虑一个可以在欺诈性信用卡交易发生时对其进行分析和阻止的流应用程序。将该应用程序与传统的面向批处理的方法相比较，该方法在每个工作日结束时识别欺诈性交易，并生成一份供您在次日早上读取的全面报告。
见解的价值会随时间推移逐渐减少，这是很常见的现象。因此，使用流处理可以大幅提高分析应用程序的价值。但是，构建和运行持续接收和处理数据的流应用程序比运行传统的面向批处理的分析应用程序更具挑战性。
在本文中，我们将讨论如何使用 Apache Flink 和 Amazon Kinesis Data Analytics for Java Applications 来应对这些挑战。我们将探索如何基于托管服务构建可靠、可扩展且高度可用的流式架构，与自我管理环境相比，这些架构可显著降低运营开销。我们会特别关注如何使用 Kinesis Data Analytics for Java Applications 准备和运行 Flink 应用程序。为此，我们使用包含源代码和 Amazon Web Services CloudFormation 模板的示例性场景。您可以使用自己的 Amazon Web Services 账户来跟随此示例，也可以根据您的具体需要调整代码。

云桌面系统方案是云计算与虚拟化的结合应用，实现了远程移动办公的要求，Amazon WorkSpaces 是如何在充分共享资源的条件下，进一步优化其使用成本的呢？

我们可以使用 EC2 计算器提前预估所有 Amazon Web Services 云存储成本。运行大数据管道的主要成本为存储成本与计算成本，外加使用 EMRFS 时的 DynamoDB 等少部分额外成本。

【摘要】利用 CloudEndure 可以方便的在 Amazon Web Services 不用区域之间，或者云下与 Amazon Web Services 云之间迁移或者灾备 Amazon Elastic Compute Cloud (EC2) 实例。CloudEndure 提供了基于 Web 的用户界面来管理项目、配置启动蓝图等。在实际使用中发现，当实例数量过多时，该界面有一定的局限性，一次只能针对一台实例进行配置，不能高效地对多台实例灾备配置进行批量处理。与此同时，就机型与盘型的选择而言，灾备的日常演练与容灾准备可以选配不同的规格，以降低演练成本。此项区分又增加了配置的冗杂程度。本文介绍云上灾备中心解决方案的云上灾备管理工具提供的新功能（以下简称系统），着力解决上述两个问题，从而提高管理灾备项目，特别是多实例项目的工作效率，减少运维强度和出错率。

 

使用 Amazon Chime 开发工具包构建的交互式实时事件解决方案能应对传统在线会议平台应用于实时广播事件时的许多不足，包括出席人数限制、访问控制和参与者筛选

 

在 Verizon Media Group（VMG），我们面临的一大主要问题，就是无法在理想的时间之内完成计算容量扩展——硬件采购通常需要几个月才能落实到位。这就意味着，我们无法让硬件的扩展与升级与工作负载变化匹配起来，这不仅造成了巨大的资金浪费，同时也给冗余管理软件的升级流程带来大量停机时间，进而极大提升运营风险。

在 VMG，我们使用 Apache Hadoop 以及 Apache Spark 等技术方案运行我们自己的数据处理管道。我们之前曾经使用过 Cloudera Manager 进行集群管理，但其发布周期过慢，跟不上技术发展与业务需求的变化。结果就是，我们只能使用较为陈旧的开源版本，导致无法充分使用 Apache 项目上的最新 bug 修复与性能改进成果。出于以上原因，再加上我们对 Amazon Web Services 的现有投资，最终促使 VMG 决定尝试将分布式计算管道迁移至 Amazon EMR 当中。

Amazon EMR 是一套托管集群平台，能够简化各类大数据框架（例如 Apache Hadoop 与  Apache Spark）的运行流程。

本文主要讨论我们在构建数据处理管道时，经常遇到的问题以及相关解决办法。

企业迁移上云后 SAP 应用依然面临了许多问题，其中包括跨可用区的延迟问题，亚马逊云科技是如何解决的呢？

本文通过一个只需五个步骤的动手实践来示例如何利用 Amazon Batch 快速搭建 HPC 高性能计算集群，以帮助您快速上手运用 Amazon Batch 服务。Amazon Batch 服务近期已在 Amazon 中国区域上线运行。Amazon Batch 已在全球范围内广泛服务于基因测序、数字媒体渲染、科学研究、金融服务等高性能计算（HPC）的业务场景中。

使用托管服务的一大核心收益，在于客户能够将自己的时间与精力从无差别性的繁重工作当中解放出来。 Fargate 同样提供这样的收益，可帮助客户摆脱基础设施运营及维护相关的烦恼，将更多精力集中在应用程序构建与业务成果实现身上。
下面，我们将整理出一份粗略的全面清单，列出您选择使用 Fargate 等托管服务时无需继续关注的传统问题。这些问题都有着相应的“拥有成本”，属于同“购置成本”并行存在的重要因素。

 

Amazon ES 为客户提供符合其需求的搜索结果。无论大家希望实时搜索新列表，还是打算使用已保存搜索机制进行市场监控，Amazon ES 都能为您提供良好的运行效果

 

本文将介绍云安全专家 Amazon Web Services Security Hub 的最新实践，如何帮助企业在高效与安全之间获得平衡。

【概要】如何提升 Amazon Web Services 云服务器安全度，是不少使用者格外关心的问题，今天我们就从以下五个方面来谈一谈如何提升 Amazon Web Services 账户安全性能。

如何构建基于 Apache Flink 和 Kinesis Data Analytics for Java 应用程序的流应用程序，下面就以纽约市机场的打车请求状况为例进行说明。要查看所描述的架构，请在您自己的 Amazon Web Services 账户中执行以下 Amazon CloudFormation 模板。该模板首先构建分析传入的出租车行程的 Flink 应用程序，包括读取来自 Kinesis 数据流的数据所需的 Flink Kinesis 连接器。然后，它创建基础设施并将 Flink 应用程序提交到 Kinesis Data Analytics for Java Applications。

如何利用大数据搜索引擎推动搜索流程的简化与现代化是一项新的探索，不仅许多搜索引擎公司致力于此，一些房产公司等拥有庞大数据流的企业也在不断探索中。
Amazon Elasticsearch Service (Amazon ES)是一项全托管服务，能够帮助用户轻松在 Amazon Web Services 之上大规模部署、保护并操作 Elasticsearch。作为一项广受欢迎的服务，Amazon ES 支持着不同客户针对不同用例将搜索功能集成到自己的应用程序当中。
Compass 公司则运用包括 Amazon ES 在内的一系列 Amazon Web Services 服务重构自己的搜索解决方案，借此为客户提供高质量的房产搜索与结果保存服务。
在本文中，我们将了解 Compass 的搜索解决方案如何逐步演变、他们在不同架构下面对的挑战与收益，以及 Amazon ES 如何为他们提供长期可扩展的解决方案。我们还将探讨如何使用 Amazon Managed Streaming for Apache Kafka 为房地产列表数据建立起事件驱动型实时流式功能。相关案例极具参考价值，您可以将解决方案直接引入自己的类似用例当中。

与其他部署方法类似，首先构建 Flink 应用程序，并将其打包到一个 JAR 中，该 JAR 包含应用程序运行所需的所有依赖项。然后，将生成的 JAR 上传到 Amazon S3。接下来，使用 S3 上 JAR 的位置和一些其他配置参数来创建一个可由 Kinesis Data Analytics for Java 应用程序执行的应用程序。因此，无需登录到集群并直接将作业提交到 Flink 运行，而是将相应的 JAR 上传到 S3。然后，您可以创建 Kinesis Data Analytics for Java 应用程序，分别使用 API 调用、控制台和 Amazon Web Services CLI 进行交互。

云服务器提供哪些服务恐怕是众多想要加入 Amazon Web Services 的企业都在疑惑的问题，Amazon Web Services 会对我的企业有什么帮助呢？他与普通的管理软件有何不同呢？本文将会为您做一个简略的介绍。

 

该如何使用 Amazon 生成与用户定义型成本分配标签，以及应如何满足相关标记需求。在今天的博文中，将聊聊该如何实施并验证资源标签

 

半导体在发展最初，由于电路比较简单，对计算能力的要求不高，基本的设计工作可在单台工作站上完成。此时 IT 工程师负责基础设施的维护，而 IC 工程师负责芯片的开发。但随着电子工艺的发展，电路变得越来越复杂，设计工作对 IT 架构提出了更高的要求。设计架构的复杂化使得原有IT和 IC 工程师的技术栈已经不足以应对复杂的架构，如何在整个设计流程中最大化利用公司 IT 资源，优化设计流程，并帮助设计团队高效地完成设计工作，就成为了每个设计公司的重要任务。而这部分工作，往往由 CAD 工程师来完成。

国内大部分半导体设计公司都面临缺少 CAD 工程师的局面。缺少 CAD 团队影响设计效率成为一个日益显著的问题。缺少 CAD 团队意味着缺少开发设计流程工具，缺乏流程管理，无法为作业失败后的日志分析提供良好的排查指导。本文以回归测试举例，阐述在回归测试过程中，当作业失败，需要针对异常状况进行分析时，提供一个简单的排查流程指导。各位可以根据公司自身的状况进行定制化设计，并通过异常分析流程在缺少 CAD 团队的情况下提升开发效率。

我们首先来看一下在一个大型的半导体公司中理想状况下的 EDA 堆栈。