-
流处理技术与现代企业「云存储」
发布于: Jan 11, 2022流处理技术源于企业的实际需求,这些企业经历了数据量、数据产生速度和数据种类的巨大增长,并且迫切需要快速摄取和评估这些数据来进行业务决策。
与传统系统的批处理模式(“静态数据”)相比,处理和分析“运动”中数据的能力已是企业间的关键差异因素之一。尤其在企业进行数字化转型的今天,企业迫切需要对当下正在发生的事情进行分析的需求,而不是对昨天或上个月发生的事情进行分析。因此流式数据对企业越来越重要,因为它能让企业具有竞争优势。事件发生后,当下的见解会立即变得有价值,随着时间的流逝其价值会迅速下降。
从物联网、金融、网络安全到零售,实时分析、行动能力已经成为多个领域 SLA 的关键要素,企业正在将流式数据与数据处理引擎和框架结合在一起来创建流数据应用程序。这类名词有很多,实时分析、流分析、复杂事件处理(CEP)、实时流分析和事件处理等。
-
以云存储备份代替传统的数据备份:亚马逊云平台上灾难恢复方案两个基础实践「云存储」
发布于: Aug 12, 2022如何通过云存储备份代替传统的数据备份,以避免企业遭受更大数据丢失隐患,本文将介绍两个基础的实践。能力已经成为多个领域 SLA 的关键要素,企业正在将流式数据与数据处理引擎和框架结合在一起来创建流数据应用程序。这类名词有很多,实时分析、流分析、复杂事件处理(CEP)、实时流分析和事件处理等。
-
如何提高 Amazon S3 存储桶访问的安全性「云存储」
发布于: Oct 30, 2022Amazon S3 存储桶访问的安全性是许多客户关心的问题,客户经常问我如何将 Amazon S3 存储桶访问权限限制到特定的 Amazon Identity and Access Management (IAM) 角色。通常,他们会尝试以对待 IAM 用户的相同方式执行此操作:使用存储桶策略显式 Deny 不想授予访问权限的所有 Principals(用户和角色)。这种方法的缺点是需要维护存储桶策略。如果将一个新的 IAM 用户添加到账户,并且其 Action 为 “s3:*”,则该用户将获得访问该存储桶的权限。您可以反转逻辑并在存储桶策略的 Deny 语句中利用 NotPrincipal 元素,而不必指定要阻止其访问的用户列表。此元素会为其值中未列出的任何用户创建一个显式的 Deny。
但事实证明,这种反转逻辑的方法在处理 IAM 角色时存在问题,因为这种角色的 Principal 值包含两个 Amazon 资源名称 (ARN),即 role ARN 和 assumed-role ARN。 role ARN 是 IAM 角色本身的标识符, assumed-role ARN 则用于标识日志中的角色会话。在使用 NotPrincipal 元素时,您必须同时包含两个 ARN,此方法才能正常工作,其中第二个 ARN 应包含一个变量名称。通常,您应指定一个通配符,用于表示变量字符串,但不允许在 Principal 或 NotPrincipal 元素中指定此通配符。在本博文中,我会向您展示如何使用 Conditions(而非 NotPrincipal 元素),将 S3 存储桶的访问权限限制到一个账户内的特定 IAM 角色或用户。即便相同账户中的另一个用户拥有 Admin 策略或带有 s3:* 的策略,只要未被显式列出,也同样会被拒绝。例如,您可以使用此方法配置存储桶,以供 Auto Scaling 组内的实例访问。您还可以使用此方法,限制对具有高级别安全需求的存储桶的访问。
-
如何利用Amazon S3实现智能存储的要求:存储对象的实时统计以及自定义业务巡逻「云存储」
发布于: Oct 30, 2022越来越多的企业将自己的数据存入 Amazon S3 中,但是很多企业还不知道这种智能存储于一般的存储方式有何区别以及如何利用这种存储方式。本文将为大家介绍如何利用 S3 的清单功能实现存储桶对象的实时统计场景以及更多高级自定义的业务逻辑。
-
如何设计架构实现云上数据跨区域传输?「云存储」
发布于: Oct 30, 2022数据跨区域的传输一直是工程师们不断探究的问题,即使是将数据存至云上,要想将数据批量转移至另一区域依然不容易。今天,我们就利用本文和大家探讨如何实现这一目的。
在 Amazon S3 深度实践系列之一:S3 CLI 深度解析及性能测试一文中,我们深度剖析了 Amazon CLI S3 相关命令的实际工作原理及单机下载 S3 数据的基本性能测试情况。在实际工作场景中,很多客户会在 Amazon Web Services 多个区域的 S3 桶里面存储大量数据,而且会遇到将数据批量从一个区域一次转移到另外一个区域的情形;因此,在本篇中,作者和大家一起来探讨下出现这样的需求我们如何进行架构设计及高效实现。
-
如何实现数据存储迁移和混合云存储访问「云存储」
发布于: Oct 30, 2022Amazon Web Services 用户可通过多种选项将本地数据存储迁移至 Amazon Web Services。下文将介绍通过 Amazon DataSync 进行的在线迁移,以及通过 Amazon Snow Family 服务进行的离线存储迁移。
-
安防视频云存储方案:现状分析与解决「云存储」
发布于: Oct 14, 2022利用视频云存储方案可解决安防视频难以存储与检索的问题,传统视频数据因为缺乏元数据索引,因此在无法确定精确的事件发生时间时,无法快速有效的定位视频信息,需要大量人力对存量视频信息进行检索。由此引入巨大的人力成本,并需要更多时间完成视频检索。
此外,传统安防视频具有以下特点:- 使用 RTMP/RTSP 协议实现视频流收流。
- 需要海量、可靠的视频存储。
- 仅在有事件发生,并需要了解现实情况时才进行回看。
- 回看框架需要确保 7*24 可用,在需要时可以快速访问从而实现回看功能。
以上特点意味着:
- 需要在云端或本地部署额外的软/硬件资源,实现视频流接收,引入额外成本。
- 传统的本地视频存储受限于单一副本,存在单点故障导致的视频丢失风险。固定的本地存储容量,使得增加摄像头数量时需要配套考虑存储设施容量规划和部署方案,使得项目周期变长,项目规划更加复杂。
- 回看框架访问频率不高,但 7*24 可用意味着即使没有回看需求的时间段内,仍然需要支付对应的系统运行成本。
针对以上困难和特点,我们针对 IPC 视频云存成本优化场景,开发了可以植入到 IPC 内部的视频切片云存 SDK,并利用亚马逊云科技提供的云上托管服务构建视频检索、回看平台,从而降低回看平台基础运行成本,实现回看成本与累积回看时长相关,在不使用回看平台时,几乎无需支付平台运行成本,而当有人访问时又可以快速提供服务。
-
如何降低云存储的成本——优化方案「云存储」
发布于: Oct 30, 2022在很多客户使用 Amazon S3 服务一段时间之后,都可能有降低云存储成本的想法。一般在现实状况下,由于多年的数据堆积和后期系统开发等方面因素,并不能很准确定义出存储桶中的数据情况(比如某个文件夹下面有多少文件是 30 天以内需要访问的,多少文件是 30 天之外会访问的,多少文件是 0KB 的文件,多少文件是小于 128KB 的文件等)。在这种状况下进行 S3 费用优化,过程中可能会遇到很多问题,甚至不恰当的优化方式不但不会降低成本反而会导致费用的进一步增加。所以不能仅靠粗略估计,而是需要通过更细致的分析进行各种优化方式的优劣对比,找到最合适的优化方案。本文将带大家详细了解一下 S3 成本优化的最佳实践过程。
-
如何通过增加存档访问层降低云存储成本?「云存储」
发布于: Oct 30, 2022云存储成本如何缩减一直是工程师们不断探索的群体。我们在两年前推出了 S3 智能分层,它新增了无需深入了解数据访问模式即可充分利用 S3 的功能。今天,我们将为 S3 智能分层发布两项新的优化,它们将自动存档很少访问的对象。这些新的优化将减少一次性存档具有不可预测访问模式且数月未访问的对象所需的手动工作量。
-
略谈典型的本地存储模式「云存储」
发布于: Oct 10, 2022典型的本地存储模式包括光纤通道 FC SAN 存储、iSCSI SAN 存储、网络附加存储(NAS)以及对象存储。本节将简要介绍不同的本地数据存储技术,并分析客户在满足应用程序和用户数据的存储需求时所创建的工作负载模式。
-
新趋势:从本地存储架构迁移到 Amazon存储服务「云存储」
发布于: Jul 8, 2021大部分希望迁移到 Amazon Web Service 存储服务的公司,都需要在开始迁移时首先评估现有的存储基础结构。为了更有效地评估现有存储基础结构,有必要了解如何将现有存储设备映射为不同的 Amazon Web Service 存储服务。为此必须花费时间明确目前的数据是如何存储,以及存储在哪里,随后才能以此为依据将现有工作负载和存储基础结构迁移至 Amazon Web Service 存储服务。
本文将对比 Amazon Web Service 存储和本地存储的存储模式,以帮助客户将现有模式与 Amazon Web Service 存储服务丰富的产品组合相互匹配。此外本文还将提供存储模式决策矩阵,借此加快多样化的应用程序和工作负载需求迁移到 Amazon Web Service 时的决策过程。
-
如何利用共享存储服务器达成 EDA 的存储需求「云存储」
发布于: Oct 30, 2022共享存储服务器具有无限拓展的计算和存储能力,能够完成大量的计算任务,提高系统的负载能力。EDA(Electronics Design Automation)电子设计自动化,在 EDA 的前端后端流程中,无论是前端的设计、验证、仿真、综合,或者后端的布局、布线、静态时序仿真等等,不同的任务阶段都会有大量的 Library 文件和项目数据需要共享访问;另外,无论是在数据中心还是在公有云上来运行 EDA 任务,都会是大规模的并发的 EDA 工作负载在同时运行,因此这些并发运行的任务同样需要共享访问大量的数据,例如 library、tool、userspace、tmp 目录,home 目录。
随着电子系统和集成电路变得越来越复杂,体积越来越小,对设计、测试、验证和构建这些系统的计算存储能力和基础设施的要求也显著提高,对于大规模运行的 EDA 工作负载,存储会随着大量 Job 的提交很快成为瓶颈。为了支持较高的 EDA 吞吐量(后端)与IOPS(前端) ,通常要一次性投入巨资购买传统的 SAN/NAS 存储。即使这样在某些 Job 集中提交的阶段,存储的性能依旧会成为 EDA 的瓶颈,导致作业运行时间增加并相应地抬高 EDA 许可成本。另外EDA 数据的计划内或意外增加,以及快速增长的集群访问数据的需求,都意味着存储最终会耗尽可用空间,或在网路或存储层遭遇带宽 /IO 限制。因此大规模 EDA 负载并发运行的场景下,存储的瓶颈也是上云的一个越来越强烈的驱动力。可以充分利用云计算的无限扩展的计算和存储能力,可以在无限的计算节点上并发运行大量的 EDA 任务。
由于不同的 EDA 场景会有不一样的 IO 需求,区别于通过一台专用存储来支撑各种场景,EDA 应用程序可以充分利用 Amazon Web Services 云提供的广泛存储选项,缩短大型批处理工作负载的运行时间。在 Amazon Web Services 上,有多种存储服务可以应用到 EDA 的共享存储需求,比如:共享文件存储服务EFS,托管的分布式文件服务 Lustre,块存储 EC2+EBS。
-
如何利用S3 PrivateLink实现远程数据访问?「云存储」
发布于: Oct 30, 2022远程数据访问一直是数据存储的进阶目标,Amazon Web Services 在 2021 年 2 月正式发布了适用于 Amazon S3 的 Amazon PrivateLink,Amazon PrivateLink 使用虚拟网络中的私有 IP 提供 Amazon Simple Storage Service (S3) 与本地资源之间的专用连接。借助此功能,您现在可以使用 Virtual Private Cloud 中的接口 VPC 终端节点,在安全的虚拟网络中直接访问作为私有终端节点的 S3。通过允许您使用私有 IP 地址访问 S3,这扩展了现有网关终端节点的功能。从本地应用程序向 S3 发出的 API 请求和 HTTPS 请求会自动通过接口终端节点进行定向,这些终端节点通过 PrivateLink 以安全和私密的方式连接到 S3。
本文档介绍的方案是通过利用跨区域间的 VPC 对等连接和 S3 的接口终端节点,来实现跨区域私有访问 S3。客户可以根据自己的需要,可以通过 Amazon Direct Connect 或 Amazon VPN 提供的安全连接从本地应用程序私有访问 S3。
-
如何搭建监控视频云存储服务器「云存储」
发布于: Oct 10, 2022传统的视频存储系统在保存与后续的检索上都存在诸多不便,若是能够搭建一个监控视频云存储服务器便能在很大程度上解决这些问题。本文将会为你介绍搭建这样一个服务器所需工具及具体操作步骤。
-
如何利用存储桶策略提高云存储安全性「云存储」
发布于: Oct 30, 2022 -
如何提高Amazon EMR的存储能力和工作负载能力——企业级数据存储优选方案「云存储」
发布于: Oct 30, 2022 -
如何建立云数据中心灾备架构以应对“删库”事件「云存储」
发布于: Oct 10, 2022为应对 “删库” 事件的发生企业开始建立自己的云数据中心灾备架构。“删库” 事件,不只一次发生,这次突发事件影响很大,影响的不只是 6 天 144 小时的服务暂停、10 亿港币蒸发,约 300 万商户苦苦等待,还有 SaaS 信息系统重大突发事件处理经验和教训,以及企业对灾难备份重视。其实,类似事件时有发生是有原因的。按照海因里希安全法则,此类事件属于 300∶29∶1 法则中的 1/330。这个 1/330 从信息系统的视角分析。这意味着:当一个企业的信息系统持续有 300 起安全隐患或违规问题,非常可能要发生 29 起轻度问题或故障事件,另外还有一起突发的重大信息系统事故。
-
如何使用 Kinesis Data Firehose 进行流数据的写入工作「云存储」
发布于: Aug 23, 2022本分步演示描述了流数据的写入工作的完成,如何使用 Hive 兼容文件夹结构,借助 Kinesis Data Firehose 将流数据写入 Amazon S3。 接着,它显示了 Amazon Web Services Glue 爬网程序如何推断架构和提取我们在 Kinesis Data Firehose 中指定的正确分区名称,并在 Amazon Web Services Glue 数据目录中对其进行编目。 最后,我们运行示例查询,确认能正确识别分区。
为了演示这一点,我们使用 python 代码生成示例数据。 我们还在 Kinesis Data Firehose 上使用 Lambda 转换来强制创建故障。这会演示数据如何被保存到错误输出位置。本分步演示所需的代码包含在 GitHub 中。
对于本分步演示内容,这是我们正在构建的架构:
-
新趋势:从本地存储架构迁移到 Amazon Web Services 存储服务「云存储」
发布于: Nov 30, 2022【概要】本文将对比 Amazon Web Services 存储和本地存储的存储模式,以帮助客户将现有模式与 Amazon Web Services 存储服务丰富的产品组合相互匹配。
-
Amazon S3 公共数据访问指导 — 以两组织间的 S3 文件拷贝为例「云存储」
发布于: Jun 28, 2022Amazon S3 提供了 Block Public Access 功能以便于公共数据访问。在默认情况下,新存储桶、访问点和对象不允许公有访问(公有访问即未经 IAM SigV4 签名的请求,比如通过浏览器直接访问某个 S3 文件的 URL)。但是,用户可以修改存储桶策略、访问点策略或对象权限以允许公有访问。对于企业的安全部门来讲,限制甚至禁止普通用户有意或无意地将生产环境的S3存储桶对公暴露是常见的需求,也符合 Amazon Web Services 安全最佳实践。通过 BPA 功能的应用,可以使得 BPA 设置覆盖这些用户设置的策略和权限,以便于统一地限制这些资源的公有访问。
-
Amazon Kinesis Data Firehose 新功能——对象自定义前缀 「云存储」
发布于: Jun 21, 20222019 年 2 月,Amazon Web Services 宣布了 Amazon Kinesis Data Firehose 的一项称为“Amazon S3 对象自定义前缀”新功能。它允许客户为传输数据记录的 Amazon S3 对象的前缀指定自定义表达式。 之前,Kinesis Data Firehose 仅允许指定部分文字前缀。新支持的前缀可以与静态日期格式的前缀结合使用,以创建固定格式的输出文件夹。 客户要求具有灵活性,Amazon Web Services 聆听客户意见并进行改进和交付此项服务。Kinesis Data Firehose 最常用于消费来自流处理源(如应用程序或物联网设备)的流式事件数据它消费了数据后,数据通常存储在数据湖中,因此可以处理并最终查询数据。 在 Amazon S3 上存储数据时,最佳实践是对相关数据进行分区或分组,并将它们存储在同一文件夹中。 这样就可以筛选分区数据并控制每个查询扫描的数据量,从而提高性能并降低成本。
分组数据的一个常用方法是按日期分组。 Kinesis Data Firehose 会根据日期自动对数据进行分组,并将其存储到 Amazon S3 上的相应文件夹中。 但是,Amazon S3 中的文件夹命名与 Apache Hive 命名规则不兼容。这使得使用 Amazon Web Services Glue 爬网程序进行编目并使用大数据工具进行分析时变得比较复杂。
本博文讨论了一项新功能,该功能允许自定义 Kinesis Data Firehose 命名 Amazon S3 中输出文件夹的方式。它介绍了自定义前缀的工作原理、预期用例,并附带按步就搬的操作说明。
-
利用云上灾备管理工具高效管理实例灾备配置「云存储」
发布于: Aug 26, 2022本文介绍的管理工具新功能,着重解决灾备演练和灾备准备之间启动蓝图配置切换的操作难题,试图尽可能降低运维压力和出错率
-
通过接入点 (Access Points) 设置用户访问权限「云存储」
发布于: Nov 30, 2022【概要】EFS 在 NFS 文件权限控制的基础上,结合安全组 (Security Group),身份与访问管理服务 (IAM) 和 EFS 独特的接入点 (Access Point) 机制,简化权限控制的配置工作,并进行细粒度的权限管理和审计。
-
手把手教你如何降低 Amazon S3 的使用成本「云存储」
发布于: Nov 30, 2022【概要】在开启 s3 清单功能后,可能需要多达 48 小时才能收到第一份 S3 清单文件,一般情况下生成清单时间少于 24 小时。清单文件 csv 生成之后,请按照下列方式在 Athena 服务中建立一个清单表,以供查询使用。
-
新一代云上一键灾备(DR as Code)解决方案「云存储」
发布于: Nov 30, 2022【概要】亚马逊专业服务团队为企业客户量身打造了以 CloudEndure 产品为核心的新一代云上一键灾备(DR as Code)解决方案,这是一种集所有要素与技术于一身的最佳实践。
-
IAM Policy 与 Bucket Policy 如何协助 Amazon S3 的访问权限管理「云存储」
发布于: Jul 29, 2022Amazon IAM 是 Amazon 云服务的身份和访问权限管理的基石,任何对 Amazon Web Services 服务的 API 调用,都会涉及到 IAM 身份和权限的验证过程
-
Amazon 的文件存储服务如何降低企业维护成本「云存储」
发布于: Jul 22, 2022您可以利用云存储的规模和经济性优势,让自己不再陷入管理本地文件服务器所涉及的无价值维护工作,同时又解决了延迟和带宽方面的问题。
-
疫情下,AI 人工智能图像处理助力健康防护「云存储」
发布于: Nov 30, 2022【概要】在本文中,我们将共同了解如何使用 Amazon Rekognition 自动检测图像中的人物是否佩戴 PPE,借此改善安全流程。
-
Amazon S3数据的复制和传输任务的设计及原则「云存储」
发布于: Jun 28, 2022本文将会介绍 Amazon S3 中数据的复制和传输应注意到哪些原则以及关键任务的设计。
-
如何打造安全云存储——通过 IAM 对 NFS 客户端进行授权「云存储」
发布于: Oct 10, 2022如何打造安全云存储系统,我们已经介绍了利用安全组可以对访问文件系统的 EC2 实例进行访问控制,如果需要进一步控制访问权限,如读写权限,能否以 Root 用户访问等,则可以结合 IAM 服务来进行更细粒度的控制。
通过 Amazon Identity and Access Management (IAM) 可以安全地管理对 Amazon Web Services 服务和资源的访问。可以使用 IAM 创建和管理 Amazon Web Services 用户和组,并使用各种权限来允许或拒绝他们对 Amazon Web Services 资源的访问。同时,EFS 的文件系统也提供了文件系统策略,可以设置针对文件系统的相应权限。
-
通过安全组进行客户端访问控制,提升数据安全防护等级「云存储」
发布于: Nov 30, 2022【概要】Amazon Web Services 上提供了 Amazon Elastic File System (EFS),是托管的 NFS 服务。用户可以基于 EFS 快速的部署一个超过 PB 级别的 NFS 文件系统。
-
ZFS 文件系统在存储功能上的优越性及其特性介绍「云存储」
发布于: Jul 29, 2022ZFS 文件系统的存储池、缓存、快照等特性,可以为多种业务场景包括数据库、快照备份、 HPC、EDA 任务等提供可扩展的、安全的、高性能的共享文件系统
-
Amazon S3 云存储成本优化 –常见问题以及解决方案「云存储」
发布于: May 19, 2021在 Amazon S3 云存储成本优化过程中我们会遇到许多问题,接下来我们就多常见的问题进行解释说明,并提供解决方案。
常见问题 3.使用 S3 批量处理的时候作业失败,报错 Task Target Couldn’t be URL decoded
使用 S3 批量处理的时候,大家可能会遇到类似这样的报错: Failed to parse task from Manifest XXXXX.csv at bytes offset XXXXXXXX. ErrorMessage: Task target couldn’t be URL decoded.这是由于提供的清单文件 csv 文件中有一些前缀含有非 Unicode 字符,原理是由于 S3 批量处理需要文件夹目录和文件名对于特殊字符已经经过转码处理(比如空格,百分号等)。
解决方式:开启清单模式的时候不要选择 ORC 或者 Parquet,仅选择 csv 格式开启清单,这样生成的清单文件就会已经经过自动转码处理。
-
Amazon 如何确保云存储的数据安全?「云存储」
发布于: Jul 22, 2022 -
智能数据湖如何解决数据的移动问题「云存储」
发布于: Nov 30, 2022【概要】数据的移动问题始终困扰着多数的用户,智能数据湖的推出从一定程度上使这一过程更加简化。通过本文,我们来了解一下智能湖仓的架构。
-
如何搭建满足高性能,高吞吐需求的文件共享存储系统「云存储」
发布于: Oct 10, 2022本文针对如何搭建高性能、高吞吐需求的文件共享存储系统,提供了结合 Amazon I3 实例以及开源文件系统 ZFS 的系统架构设计和操作实践。希望通过本文,可以为那些高性能、高吞吐存储需求的业务场景,不仅仅限于 EDA 领域,提供一个不同于云原生的一些存储服务的设计思路,从而在性能和成本上可以实现更多的选择。
本文的架构设计和实践部分假定你对 Amazon Web Services 的计算和存储服务有一定的了解,能够基于控制台或者 CLI 命令行创建虚拟机、EBS 卷等常见操作,并且对 Linux 操作系统和开源 ZFS 文件系统常见命令有一定的了解。
-
如何搭建一个共享文件存储系统:ZFS 存储架构实践「云存储」
发布于: Aug 26, 2022基于 Amazon 的 i3.8xlarge 实例来搭建一个 ZFS 文件系统,并实践生产环境下 EDA 任务的常见管理运维操作
-
Amazon S3 中数据跨区域迁移的实践「云存储」
发布于: Jun 28, 2022基于我们之前的架构设计,那我们分阶段来具体动手实践一个数据跨区域迁移的具体场景, Amazon 官网有很多公开的数据集,我们选定 Next Generation Weather Radar (NEXRAD) 作为数据源,该数据源在美东(us-east-1)区域;目标存储桶我们选择在 BJS 区域。该实验仅仅为了验证技术可行性,完整的参考代码见 s3deepdive github;代码不作为生产用途仅仅用来学习用途。
-
如何选择及部署文件网关实现对云中文件存储数据库的快速访问「云存储」
发布于: Nov 30, 2022【概要】想要访问云中的文件存储数据库,首先要选择合适的文件网关,本文将会以 Amazon FSx 网关为例,教你如何快速缓存式访问云中文件服务器。
-
云存储服务优化方案中常见的问题 「云存储」
发布于: May 19, 2021云存储服务优化伴随着云存储服务的广泛推广,逐步受到人们的重视。Amazon S3 云存储服务提供了一种持久安全可扩展的云存储解决方案来备份、存储大量数据,为各种各样的使用案例提供低成本高效的对象存储服务。在接下来的这篇文章中我们会讲述一下对 S3 优化过程中会遇到的常见问题/注意事项以及如何解决这些问题
-
Amazon S3 可扩展云存储如何全方位保护您的数据安全「云存储」
发布于: Jun 28, 20222006 年,Amazon S3 可扩展云存储作为 Amazon Web Services 发布的第一款公有云服务面世,如今,成千上万的 Amazon Web Services 客户在利用 S3 创造各类激动人心的应用。从企业数据湖、机器学习存储,到 HPC、渲染场景中的高性能共享存储,再到广泛的 web 应用中存储静态资源、日志、文件,Amazon S3 以其高扩展性、高持久性、低成本的特性,在云原生架构中发挥了至关重要的作用。
大量的企业的数字资产存储在 Amazon S3 上,随之而来的问题是我们如何做好 S3 数据的安全保护?
Amazon S3 本身提供了丰富的安全功能,作为企业的安全团队及 IT 研发、运维团队,应在自上而下的安全策略、基线、操作制定(Due Care)的基础上,积极并持续地评估 Amazon S3 以及其他 Amazon Web Services 服务所提供的各项安全功能,进行自下而上的安全防护措施的设计和落地(Due Diligence)。
本篇博客将为读者总结 Amazon S3 相关的访问控制功能,给出通用最佳实践供读者参考,并尝试在 S3 访问控制的几项主要机制做深入的探讨。
-
Amazon EMR 云端数据存储的两种存储架构及其介绍「云存储」
发布于: Jun 20, 2022许多组织已经在利用云端数据存储的可扩展性和成本节约来对其本地数据中心扩展,以满足其业务发展过程中数据量不断增加的需求。Amazon Web Services 的 EC2 和 S3 等服务现在无处不在,被基础架构团队广泛的应用在各种规模的项目。 同时,数据分析工作负载也越来越多地迁移到云上。Amazon EMR 是一个托管集群平台,可简化在 Amazon Web Services 上运行大数据框架(如 Apache Hadoop 和 Apache Spark)以处理和分析海量数据的操作。借助这些框架和相关的开源项目 (如 Apache Hive 和 Apache Pig)。您可以处理用于分析目的的数据和商业智能工作负载。此外,您可以使用 Amazon EMR 转换大量数据和将大量数据移入和移出其他 如 S3 的 Amazon Web Services 数据存储。在本文中,我们将从架构设计的角度来分享由于 HDFS 和 S3 的不同特点带来的挑战,以及如何在EMR中利用 Alluxio 来实现基于对象存储的智能分层大数据存储架构。
-
云备份解决方案:Amazon Web Services Backup 的七个最佳实践「云存储」
发布于: Aug 8, 2022Amazon Web Services Backup 为您提供最佳的云备份解决方案,下面我们以七个实例来为您介绍 Amazon Web Services backup 的使用:
-
智慧医疗云平台——借助 Amazon Web Services 技术改善临床试验结果「云存储」
发布于: Nov 30, 2022【概要】Amazon Web Services 的 Clinical Trials 2.0 (CT2.0) 专为促进更广泛采用原生云服务而设计,从而支持从不相关的来源提取数据、提供优化成本并且可靠的存储以及综合全面的分析。
-
如何查找云备份的数据:Amazon Web Services云平台上4个灾难恢复方案「云存储」
发布于: Oct 10, 2022如何查找云备份的数据,本文将介绍 4 种 Amazon Web Services 云平台上 4 个灾难恢复方案,帮助你轻松恢复丢失的数据。
-
灾备云服务颠覆传统灾备模式,降低客户成本「云存储」
发布于: Nov 30, 2022【概要】步入云时代后,灾备的方式将获得全面的革新;充分利用云上诸如按用量计费,上至计算下至存储的全栈弹性能力,全套的自动化辅助服务等特性,将成为衔接三个维度至关重要的 “拼图”,为灾备领域开启全新的篇章。
-
Object ACL or Bucket Policy 两种访问控制机制如何选择「云存储」
发布于: Jul 29, 2022在 Amazon IAM 服务发布后,S3 ACL 权限管理机制逐渐与 IAM 服务进行了映射和融合,形成了今天的两种访问控制功能并行的状态
-
如何搭建 VPC 环境已访问 Amazon S3 存储桶?「云存储」
发布于: Oct 10, 2021演示环境搭建步骤
创建演示 VPC 环境在每个区域中通过 VPC Console 的向导创建一个带有公有子网和私有子网的 VPC, 同时在 cn-northwest-1 区域创建S3桶(具体步骤略)。下面是我的演示环境中的截图:
cn-north-1 区域 VPC 及子网:
-
利用医疗云存储收集患者的各项信息「云存储」
发布于: Aug 26, 2022医疗云存储在一定的程度上解决了患者信息数据的难题,不仅有利于医生对患者的病情做出判断,更方便了医护人员监控患者的动态
-
Amazon Backup 轻松解决云数据备份中的难题「云存储」
发布于: Jul 22, 2022今天介绍的 Amazon Backup 这种云数据备份的新方式,解决您对其安全性,时间及其成本问题的顾虑。
-
S3 智能分层存档如何操作?「云存储」
发布于: Jul 29, 2022智能分层存档访问层的配置是在存储桶级别定义的。在存储桶属性中,为智能分层存档创建新配置。您可以为智能分层存档定义一个或多个配置规则
-
新一代系统灾备上云解决工具—— CloudEndure「云存储」
发布于: Nov 30, 2022【概要】CloudEndure Disaster Recovery 可以通过快速而可靠地将物理机、虚拟机和基于云的主机恢复到 Amazon 云区域,能最大限度地帮助客户缩短停机时间并减少业务中断损失,同时显著降低灾难恢复基础设施的成本。
-
Amazon Web Services 云灾备解决方案中需要考虑的 7 个要素「云存储」
发布于: Jul 22, 2022在 Amazon Web Services 云平台上,灾难恢复关键 Amazon Web Services 服务资源,包括区域(Region)、存储(Storage)、服务器(EC2、AMI)、网络、数据库、部署流程和复制服务等。
-
何为云存储架构:初识 Amazon Web Services 存储服务模式「云存储」
发布于: Aug 12, 2022何为云存储架构?本文就将为大家简要介绍主要的 Amazon Web Services 存储服务,以及这些存储服务如何替代部署在客户本地数据中心的存储设备。
-
Amazon Web Services 云平台上灾难恢复服务的使用场景「云存储」
发布于: Jul 22, 2022CloudEndure 提供了高度自动化的灾难恢复和迁移到 Amazon Web Services 的解决方案。