共享存储的系统结构

共享存储的系统结构_无高速缓冲存储器的集中式共享存储结构

无高速缓冲存储器的集中式共享存储结构

在无高速缓冲存储器的集中式共享存储结构中,多个处理机通过交叉开关或多级互联网络直接访问共享存储器。由于每个存储单元只有一个备份副本,因此这种结构不存在高速缓冲存储器一致性问题。然而,系统的可伸缩性受到交叉开关或多级互联网络带宽的限制。这种结构的优点是简单,但缺点是可扩展性有限。

共享存储的系统结构_基于高速缓冲存储器的集中式共享存储结构

基于高速缓冲存储器的集中式共享存储结构

在这种结构中,每个处理机都配备了高速缓冲存储器,并通过侦听总线的方式来维护数据一致性。多个处理机通常通过总线与共享存储器相连。然而,由于总线是独占性资源,因此这类系统的可伸缩性受到限制。这种结构的优点是提高了访问速度,但缺点是可扩展性差。

共享存储的系统结构_具有高速缓冲存储器一致性的分布式共享存储结构

具有高速缓冲存储器一致性的分布式共享存储结构

在这类系统中,共享存储器分布在多个节点之间,节点通过互联网络相互连接。每个处理机都可以缓存共享存储单元,系统的可伸缩性取决于高速缓冲存储器一致性机制的性能。这种结构的优点是可扩展性好,缺点是实现复杂,需要高效的一致性协议。

共享存储的系统结构_唯高速缓冲存储器的分布式共享存储结构

唯高速缓冲存储器的分布式共享存储结构

在这种结构中,每个节点的存储器相当于一个大容量的高速缓冲存储器,负责维护数据一致性。存储单元与物理地址分离,数据可以根据访问模式在各节点的存储器间动态移动和复制。这种结构的优点是高性能和可扩展性,缺点是实现复杂,需要复杂的一致性协议和数据迁移机制。

共享存储的系统结构_无高速缓冲存储器一致性的分布式共享存储结构

无高速缓冲存储器一致性的分布式共享存储结构

这种结构的特点是,尽管每个处理机都配置有高速缓冲存储器,但高速缓冲存储器一致性不由硬件负责维护,而是由编译器或程序员来维护。这种结构的优点是系统伸缩性强,缺点是编程复杂度高,需要程序员精心设计以确保一致性。

共享存储的系统结构_共享虚拟存储结构

共享虚拟存储结构

这种结构又称为软件分布式共享存储结构,基本思想是通过软件的方式,在基于消息传递的大规模并行处理系统或集群式计算系统中,将多个独立编址的存储器组织成统一编址的共享存储空间。这种结构的优点是可编程性强、硬件简单,缺点是性能可能受到软件实现的限制。


共享存储和管道通信的区别

共享存储和管道通信是两种不同的进程间通信方式,它们在传递文件时存在明显区别:

共享存储是一种高效的文件传输方式。它只需要两个步骤:

  • 将输入文件写入共享存储区
  • 从共享存储区读取文件并输出到目标位置

管道通信则需要更多步骤来传递文件:

  • 服务器进程从输入文件读取数据
  • 服务器进程通过管道将数据写入内核消息队列,涉及进程到内核的数据拷贝
  • 客户端进程从内核消息队列读取数据,涉及内核到进程的数据拷贝
  • 客户端进程将数据写入输出文件

由于共享存储只涉及两次数据读写,而管道通信需要四次数据拷贝,因此共享存储在传递文件时效率更高。

值得注意的是,共享存储和管道通信适用于不同的场景。共享存储适合于大文件传输,而管道通信则常用于进程间的小数据传递和同步。在选择通信方式时需要权衡效率和灵活性。


亚马逊云科技在共享存储中的优势

亚马逊云科技在共享存储中的优势_云中的可拓展存储

云中的可拓展存储

Amazon Simple Storage Service (Amazon S3) 是一种对象存储服务,提供业界领先的可扩展性、数据可用性、安全性和性能。这意味着无论规模大小或所属行业,客户都可以使用它来存储和保护各种使用案例的任意量数据,例如:

  • 湖内数仓:存储和管理大规模的结构化和非结构化数据,用于数据分析和商业智能
  • 网站:存储和交付静态网站内容、图像、视频等
  • 移动应用程序:存储和交付移动应用程序数据和内容
  • 备份和还原:存储备份数据以实现数据保护和灾难恢复
  • 存档:长期存储历史数据和不常访问的数据
  • 企业级应用程序:存储和交付企业应用程序数据和内容
  • IoT 设备:存储和管理来自物联网设备的大量数据
  • 大数据分析:存储和处理大规模数据集以进行分析

Amazon S3 提供了一种高度可扩展的共享存储解决方案,可满足各种规模和行业的存储需求。

亚马逊云科技在共享存储中的优势_简单,无服务器

简单,无服务器

Amazon Elastic File System (Amazon EFS) 提供了一个简单、无服务器、一劳永逸的共享文件系统,可与亚马逊云科技云服务和本地资源配合使用。它具有以下关键特性:

  • 按需扩展:可按需扩展至 PB 级存储容量,而不会中断应用程序
  • 自动扩缩容:在添加和删除文件时自动增加和缩小存储容量,无需预置和管理容量
  • 无缝集成:可与亚马逊云科技云服务和本地资源无缝集成,适用于各种工作负载

Amazon EFS 提供了一种简单、高效的共享存储解决方案,可满足各种规模和类型的工作负载需求。

亚马逊云科技在共享存储中的优势_云中的低成本归档存储

云中的低成本归档存储

Amazon Glacier 是一种成本极低的存储服务,专门为数据存档和备份提供安全而持久的共享存储。它具有以下关键特性:

  • 低成本:针对不经常访问的数据进行了优化,提供极低的存储成本
  • 高可靠性:提供高度持久和可靠的存储,适用于长期存档和备份
  • 可扩展性:可以可靠地存储从少量到大量的数据

Amazon Glacier 提供了一种低成本、高可靠的共享存储解决方案,适用于各种规模的数据存档和备份需求。

亚马逊云科技在共享存储中的优势_将内部的 IT 环境与云存储相集成

将内部的 IT 环境与云存储相集成

Amazon Storage Gateway 服务可在本地存储环境与亚马逊云科技云之间实现无缝的混合共享存储。它将多协议存储设备与亚马逊云科技云存储服务的高效网络连接结合到一起,既能达到本地性能,又能提供几乎无限的存储空间。客户在以下场景中使用此服务:

  • 混合云工作负载:在本地和云端无缝运行工作负载
  • 备份和还原:备份本地数据到云端进行保护
  • 存档:将不常访问的数据存档到云端以节省本地存储空间
  • 灾难恢复:将数据复制到云端以实现灾难恢复
  • 分层存储:将不常访问的数据分层到云端以优化本地存储利用率

Amazon Storage Gateway 提供了一种高效的混合共享存储解决方案,可将内部 IT 环境与亚马逊云科技云存储无缝集成。


共享存储的优势

共享存储为企业带来了诸多优势,值得重点关注。

提高存储利用率

通过共享存储架构(如 SAN 和 NAS),存储容量可以集中池化并按需动态分配,避免了资源过度配置的浪费。所有可用存储空间都可以被充分利用,从而减少闲置浪费。

降低存储成本

共享存储架构能够更高效地利用磁盘存储资源,从而降低整体存储成本,为企业腾出预算投资于更可靠的存储技术,如 RAID 阵列等。

支持容器和无服务器应用

云文件存储可为容器化和无服务器应用程序提供持久的共享数据访问,提高了敏捷性,同时减少了对安全性、可扩展性和可用性的关注。

增强冗余性和容错能力

共享存储可以将数据同时存储在本地和云端基础设施中,从而提供更高的冗余性和容错能力。即使本地存储发生故障,也可以从云端恢复数据,确保业务连续性。

支持高效协作

云文件存储使团队成员能够从任何地点实时访问、查看和编辑相同的文件。编辑内容会自动同步保存,确保所有人看到的都是最新版本。这极大地促进了远程协作,提高了工作效率。


共享存储的应用场景

共享存储在多种应用场景中都有广泛的用途。以下是一些主要的应用场景:

共享存储的应用场景_数据迁移和存储利用率提升

数据迁移和存储利用率提升

共享存储可用于将数据从旧的存储设备迁移到新的存储系统中。通过存储池化、数据迁移和精简配置等服务,可以提高存储利用率,避免存储资源的过度配置。系统管理员可以根据实际需求,从存储池中灵活分配新的逻辑磁盘或扩展现有磁盘,无需预先猜测未来的存储需求。

共享存储的应用场景_共享文件和内容存储库

共享文件和内容存储库

共享存储可用于提供对共享文件和内容存储库的访问,如大型内容存储库、开发环境、媒体存储或用户主目录等。这种存储通常由网络附加存储 (NAS) 服务器提供支持。与此相对,像亚马逊云科技弹性块存储 (EBS) 这样的块存储服务则更适用于数据库等企业应用,这些应用通常需要为每个主机提供专用的低延迟存储。

共享存储的应用场景_高可用和高持久性云存储

高可用和高持久性云存储

云存储由分布式资源组成,但表现为一个整体,可通过冗余和数据复制提供高度容错和持久性存储,同时通常具有最终一致性。这使得企业只需为实际使用的存储付费,而不是资本支出,从而可能将能源消耗降低 70%。

共享存储的应用场景_网站内容交付和内容管理

网站内容交付和内容管理

共享存储可与后端应用集成,为多个 Web 服务器提供统一的命名空间和文件访问,用于交付网站内容。它还可集成到内容管理系统 (CMS) 的工作流中,为多个服务器提供预期的文件系统层次结构和权限,以服务内容。

共享存储的应用场景_分析工作负载

分析工作负载

共享存储非常适合分析工作负载,这些工作负载通常需要大规模可扩展的存储来满足不断增长的数据需求,并提供足够的性能来支持分析应用程序。

共享存储的应用场景_开发和协作环境

开发和协作环境

共享存储可为分布式团队提供安全且可扩展的存储库,用于共享代码、文件和其他非结构化数据,支持开发和协作环境。

共享存储的应用场景_容器化和无服务器应用

容器化和无服务器应用

共享存储还可支持容器化和无服务器应用程序的存储,为多个容器或无服务器函数提供对持久数据的共享访问。


共享存储的挑战

01

大数据存储需求

物联网和无线传感器网络产生大量数据,导致存储需求激增,为这些设备供电并存储数据仍是一大挑战。

02

数据孤岛问题

物联网设备(尤其是制造业)的实施可能导致数据以缺乏自主性、透明度和互操作性的方式存储。

03

性能和成本问题

传统共享存储架构(如 SAN 和 NAS)被视为相对缓慢、复杂且昂贵,无法满足大数据分析系统对高性能、廉价基础设施的需求。

04

实时性要求

大数据分析需要实时或准实时信息交付,尽可能避免延迟,因此更偏向于直接连接存储而非共享存储解决方案。

05

多服务器访问

Web 服务应用和内容管理系统需要多个服务器访问相同文件集,云文件存储可通过共享访问协议解决此挑战。

06

云原生应用需求

基于容器和无服务器的云原生应用需要跨微服务共享访问数据,云存储可提供所需的数据管理和持久共享访问。

07

数据增长和合规性

数据快速增长和长期存档合规性要求,云存储可提供更好的数据持久性、检索速度、安全合规性和分析可访问性。


如何实现高可用共享存储

共享存储是云计算环境中实现高可用性的关键组件。以下是实现高可用共享存储的几种方式:

01

资源池化和共享

通过将所有可用的存储容量集中到一个资源池中,系统管理员可以根据需求轻松分配新的逻辑磁盘或扩展现有磁盘,无需寻找具有可用空间的磁盘。这种方式可以提高存储利用率,避免过度配置,并减少对未来存储需求的猜测。


03

云文件存储

云文件存储可以提供一种可扩展且高度可用的解决方案,非常适合协作。它可以为集群中的所有容器提供持久的共享数据访问,从而提高无服务器云计算的敏捷性。云文件存储还可以为需要在 Lambda 函数执行之间和之后持久化的数据共享提供高度可用和持久的无服务器数据存储。

02

云存储解决方案

云存储解决方案通过数据冗余和分布式存储,可以提供高可用性和持久性。它们通常对数据副本采用最终一致性,企业只需为实际使用的存储付费。云存储还可以降低高达 70% 的能耗,是一种更加环保的选择。企业可以根据业务连续性、灾难恢复、安全性和记录保留要求,选择本地或异地云存储解决方案,或两者结合。

04

块存储架构

云文件存储不受特定网络环境的限制,其块存储架构也具有高度可扩展性,允许开发人员向现有块添加新块以满足不断增长的容量需求。云文件存储还支持频繁的数据写入,而不会影响性能,因此非常适合管理需要频繁更新的大型文件。


欢迎加入亚马逊云科技培训中心

欢迎加入亚马逊云科技培训中心

从 0 到 1 轻松上手云服务,获取更多官方开发资源及培训教程
从 0 到 1 轻松上手云服务,获取更多官方开发资源及培训教程
  • 快速上手训练营
  • 第一课:亚马逊云科技简介

    本课程帮助您初步了解云平台与本地环境的差异,以及亚马逊云科技平台的基础设施和部分核心服务,包括亚马逊云科技平台上的弹性高可用架构,架构设计准则和本地架构迁移上云的基本知识。

    亚马逊云科技技术讲师:李锦鸿

    第二课:存储与数据库服务

    您将在本课程中学习到亚马逊云科技上的三个存储服务分别是什么。我们也将在这个模块中为您介绍亚马逊云科技上的关系型数据库服务 Amazon Relational Database Service (RDS)。

    亚马逊云科技资深技术讲师:周一川

    第三课:安全、身份和访问管理

    在这个模块,您将学习到保护您在亚马逊云科技上构建的应用的安全相关知识,责任共担模型以及身份和访问管理服务, Identity and Access Management (IAM) 。同时,通过讲师演示,您将学会如何授权给 EC2 实例,允许其访问 S3 上的资源。

    亚马逊云科技技术讲师:马仲凯
  • 账单设置与查看
  • 视频:快速完成税务设置

    部署时间:5 分钟

    视频:账户账单信息

    部署时间:3 分钟

    视频:如何支付账单

    部署时间:3 分钟

  • 动手实操
  • 快速上手云上无服务器化的 MySQL 数据库

    本教程将引导您创建一个Aurora Serverless 数据库并且连接上它。

    部署时间:10 分钟

    启动一台基于 Graviton2 的 EC2 实例


    本教程将为您讲解如何在云控制台上启动一台基于 Graviton2 的 EC2 实例。

    部署时间:5 分钟

    使用 Amazon Systems Manager 进行云资源统一跟踪和管理

    在这个快速上手教程中,您将学会如何使用 Amazon Systems Manager 在 Amazon EC2 实例上远程运行命令。

    部署时间:10 分钟

准备好体验亚马逊云科技提供的云服务了吗?

新用户享受中国区域 12 个月免费套餐

快速注册账号 享用免费套餐

跟随注册步骤详解,三分钟快速创建账号,领取免费权益

打开中国区账号注册页面

01 填写您 注册账号的邮箱,点击“继续”

02 查看您的 注册账号邮箱

注: 发件箱 no-reply@register.signin.amazonaws.com.cn

03 输入 邮箱中收到的验证码,点击“继续”

注: 该链接中的内容显示语言是与您的网页浏览器设置相一致的,您可以根据需要自行调整语言栏。

立即开始注册 »

image

填写用户名密码

01 请设置您的 账号用户名

02 为您的帐号 设置密码

03 重新 输入密码

立即开始注册 »

图片

填写账号联系人以及公司信息

01 填写公司联系人 姓名全称

02 填写公司联系人的 联系电话

03 填写 公司名称

注: 公司名称请务必与您所提供的营业执照公司名称保持一致

04 填写 公司办公地址

注: 省份/自治区/直辖市 - 城市 - 区 - 街道门牌号以及楼层信息 - 邮政编码

05 请选择 是否需要发票

注: *附件-申请发票流程 供您参考

06 点击查看 客户协议 勾选方框表示您已阅读,并同意客户协议的条款

立即开始注册 »

图片

企业信息验证

01 在此上传 企业注册执照

02 请填写网络安全负责人的 姓名

注: 该字段务必与您下方提供的身份证号匹配或与证件上的姓名保持一致

03 请填写网络安全负责人的 联系方式

注: 有效的电子邮件地址 - 有效的中国内地 手机号码 - 座机号码(如无座机,请填写正确有效的手机号码)

04 在此上传网络安全负责人的 身份证件

注: 当您选择证件类型为“身份证”时,您需要填写正确的身份证号码,选择其他证件类型时,您需要上传证件扫描稿

立即开始注册 »

图片

手机验证与支持计划

01 在此填写 手机号

02 请输入您收到的 4 位 验证码

03 请点击 继续

04 请根据需求 选择一个支持计划

立即开始注册 »

图片
限时钜惠

免费试用 Amazon EC2 T4g 实例

新老用户现可享受每月 750 小时的免费 t4g.small 实例使用时长,优惠期至 2025 年 12 月 31 日!