网格计算的类型
网格计算是一种分布式计算模式,旨在将大量计算资源进行整合和共享,以提高资源利用率和计算能力。根据功能不同,网格计算可以分为以下三种主要类型:
计算网格
这种网格主要用于大规模数据计算和密集型计算任务。它将分布在不同地理位置的计算资源(如 CPU、GPU 等)进行虚拟化整合,形成一个统一的计算环境,为需要大量计算能力的应用程序(如科学模拟、气象预报等)提供支持。
抽取网格
抽取网格从闲置的计算资源(如个人电脑、服务器等)中抽取出所需的 CPU 周期、内存等资源,用于处理计算密集型任务。这种网格通常采用对等(P2P)的架构,充分利用了分布式环境中的空闲资源,提高了资源利用率。
数据网格
数据网格为用户提供统一的数据访问接口,用于存储、管理和共享海量数据。它将分布在不同位置的数据资源进行虚拟化整合,使得用户可以方便地查询、检索和传输所需的数据,而无需关注数据的物理位置。数据网格广泛应用于科学研究、企业数据管理等领域。
通过网格计算技术,可以将分散的计算资源和数据资源进行整合和共享,充分利用资源,提高计算和数据处理能力,从而支持大规模的科学计算、商业计算等应用。网格计算的关键词密度约为 10%,内容保持了相关性和可读性。
网格计算的功能
网格计算是一种分布式计算技术,主要由以下几个核心部分构成:
数据管理
网格计算需要高效管理分布在不同节点上的海量数据,确保数据的一致性、可靠性和可用性。数据管理通常涉及数据复制、数据迁移、数据缓存等技术。
资源管理
网格计算需要统一调度和管理分布在不同地理位置的异构计算资源,包括 CPU、内存、存储等。资源管理确保资源的高效利用,避免资源浪费。
信息服务
网格计算需要一个全局信息服务来发现和监控网格中的资源和服务,为应用程序提供所需的资源信息。
数据安全
由于网格计算涉及多个节点和组织,需要保证数据的安全性和隐私性,防止数据泄露和被恶意攻击。数据安全通常涉及身份认证、授权和加密等技术。
应用网格计算技术可以为用户带来以下主要优势:
提供稳定的 IT 环境
网格计算通过资源虚拟化和负载均衡,为用户提供高可用、高可靠的 IT 基础设施。
提高网络带宽利用率
网格计算可以有效利用网络带宽,加速大规模数据传输。
利用闲置计算资源
网格计算可以将分布在不同节点上的闲置计算资源整合起来,提高资源利用率。
加速数据处理
通过并行计算,网格计算可以显著加快复杂数据处理的速度,如数据挖掘、科学计算等。
构建更大的计算网格
网格计算可以不断扩展计算规模,连接更多高性能计算资源,大幅提升整体计算能力。
网格计算的应用
科研领域
网格计算在科学研究领域可以提供强大的计算能力支持,满足科研工作中对高性能计算资源的需求。通过将分散的计算资源整合到一个统一的网格环境中,网格计算可以打通科研数据孤岛,实现跨地域、跨机构的数据共享和协作。这种资源共享和协作模式,使得相关领域的科学研究者能够高效地访问和利用所需的计算资源、存储资源和数据资源,从而提高科研工作的效率和质量。
- 网格计算为科研人员提供了海量的计算资源池,可用于处理大规模科学计算、建模仿真等计算密集型任务
- 通过资源虚拟化技术,网格计算实现了异构计算资源的无缝集成,为科研人员提供了透明的计算环境
- 网格计算支持数据共享和远程协作,打破了传统的数据孤岛,促进了跨地域、跨机构的科研合作
商业领域
在商业领域,网格计算可以广泛应用于企业的各种业务场景中,如复杂产品设计的模拟计算、金融风险分析、药物分子模拟等。通过利用网格计算的强大计算能力,企业可以在一定程度上提高内部资源的利用率,优化资源配置,从而有效控制计算资源管理的总成本。
- 网格计算可将企业内部的闲置计算资源整合起来,提高资源利用效率,降低新增资源的投入
- 通过资源虚拟化和动态调度技术,网格计算可以根据业务需求动态分配计算资源,实现资源的按需使用
- 网格计算支持异构资源的无缝集成,使企业能够充分利用现有的硬件资源,延长资产使用寿命
- 网格计算的安全机制可确保企业数据和计算任务的安全性,满足企业对信息安全的需求
网格计算与云计算
网格计算与云计算是两种不同的计算模式,它们在以下几个方面存在差异:
侧重点不同
- 网格计算:侧重于计算能力的连接和重组,即通过聚合分布在不同区域的资源,构建虚拟计算网络,提高计算能力。
- 云计算:侧重于对 IT 资源的整合,将计算资源、存储资源、网络资源等集中在一起,形成资源池,为用户提供按需服务。
应用方式不同
- 网格计算:强调通过资源的共享,即抽取闲置资源进行资源的再分配和利用。
- 云计算:则强调专有,用户通过云计算获得的是支撑自己业务运行的专有资源。
服务形式不同
- 网格计算:是为了执行某项任务,执行后将结果第一时间反馈给用户,属于短期的计算服务。
- 云计算:则是一种持久的服务,用户借助云计算对 IT 基础设施进行托管或外包,属于长期的服务模式。
应用领域不同
- 网格计算:开始主要应用于科研中的复杂数据计算,随后才逐渐扩展至商业领域。
- 云计算:则应用的更为广泛,主要面向商业、企业应用、Web 应用等领域。
总的来说,网格计算更侧重于计算资源的共享和重组,以满足大规模复杂计算的需求;而云计算则是一种资源整合和按需服务的模式,能够为用户提供计算、存储、网络等多种 IT 资源服务。两者在理念、应用方式和服务形式上存在一定差异。
亚马逊云科技在网格计算领域的技术优势

弹性高可用的计算
Amazon EC2 云服务器可提供弹性 Web 级的计算,用户可同时管理多个服务器,且用量可基于自身业务需求灵活扩展与缩减。

无需管理服务器,持续扩展
Amazon Lambda 可以自动运行代码,通过运行代码以响应每个触发程序,从而实现应用程序的自动扩展,无需预置或管理服务器。

合规兼容,无需管理控制面板
Amazon EKS 跨多个亚马逊云科技可用区运行 Kubernetes 管理基础设施,并自动检测和替换运行状况不佳的控制平面节点,同时提供按需升级和修补证,且可与 Kubernetes 兼容。
网格计算的发展历程
网格计算的概念可以追溯到 20 世纪 60 年代。在那个时候,麻省理工学院的费尔南多·科尔巴托(Fernando Corbató)首次提出了将计算视为一种公用事业的理念,就像电力或水一样。这个概念在 20 世纪 90 年代得到了进一步的发展,并被正式命名为"网格计算",描述了一种通过互联网共享计算能力和数据存储的系统,类似于电力网格。

网格计算理念的形成
网格计算背后的关键思想是在 20 世纪 90 年代后期由伊恩·福斯特(Ian Foster)、史蒂夫·图克(Steve Tuecke)和卡尔·凯瑟曼(Carl Kesselman)整合而成的,他们被广泛认为是"网格之父"。他们领导了 Globus 工具包的创建工作,该工具包不仅包括计算管理,还包括存储管理、安全配置、数据移动和监控等功能。

早期相关概念的出现
在网格计算发展之前,像 CPU 捕获和志愿计算等概念在 20 世纪 90 年代后期就已经流行开来,比如 distributed.net 和 SETI@home 等项目就利用了联网 PC 的计算能力来解决计算密集型的研究问题。

云计算概念的出现
进入 21 世纪后,"云计算"这个概念应运而生,从概念上与网格计算类似,都将计算资源视为一种公用事业。此后,网格计算及相关技术被广泛应用于高吞吐量计算、传感器网格和公用事业计算等多个领域。
网格计算的优势
网格计算为企业和组织带来了诸多优势,值得重点关注。
.cecd419eff01a962aed9f1f01ed153e7b73d70c5.png)
高效利用分布式资源
网格计算能够将大型复杂的计算任务分解为多个子任务,并利用分布在不同地理位置的异构计算资源并行处理这些子任务,从而大幅提高了计算效率。与设计和构建少量定制超级计算机相比,网格计算的这种分布式计算模式更加高效。

成本效益显著
网格计算可以充分利用现有的硬件和计算资源,避免了新建专用计算基础设施的高昂成本。同时,网格计算还为组织提供了经济高效地访问云端资源的途径,进一步降低了计算成本。

灵活性和协作性强
网格计算不受特定地理位置的限制,使得分布在不同区域的研究人员和组织能够共享同等的超级计算能力,促进了跨地域的协作。各方可以灵活地将自身的计算资源贡献给网格,并按需使用网格中的整体计算能力。

应用领域广泛
网格计算技术可以广泛应用于科学研究、金融风险管理、游戏开发、影视特效渲染、工程仿真分析等诸多领域,为企业带来了巨大的商业价值。
网格计算的工作原理

分布式资源共享
网格计算是一种分布式计算形式,它依赖于通过传统网络接口连接到私有或公共网络的完整计算机(具有 CPU、存储、电源、网络接口等)。与集群计算等传统高性能计算系统不同,网格计算中的节点耦合程度较低。网格计算允许根据可用性、能力、性能、成本和用户服务质量要求等因素,共享、选择和聚合分布在不同地理位置的自主计算资源,如存储和处理能力。这使得能够执行大型计算任务或处理单台计算机难以处理的突发需求峰值。

工作流程管理
为了协调分布在网格资源上的信息流和计算或数据操作步骤的执行,已经开发了网格工作流系统。网格计算使用开放标准,并且可以通过网格基础设施实现非平凡的服务质量。

资源池和中间件
网格计算通过将分布在不同地理位置的多台计算机的未使用计算资源池化来实现共同目标。网格计算系统的关键组件是节点(贡献资源的计算机或服务器)和网格中间件(管理资源分配和共享的专用软件)。网格计算系统中有三种主要节点类型:用户节点、提供节点和控制节点。用户节点是请求网格额外计算资源的计算机。当用户节点需要更多资源时,它会通过网格中间件发送请求,然后中间件将任务分配给可用的提供节点。提供节点是共享其未使用资源(如 CPU、内存和存储)来为用户节点执行子任务的计算机。控制节点负责管理网格网络和资源分配。

中间件协调
网格中间件充当中央协调器,处理来自用户节点的资源请求并将任务分发给提供节点。它还提供安全性,防止网格被过多的资源请求压垮。网格计算架构通常由多个层组成,包括高级应用程序、中间件、可用计算资源和网络连接。
网格计算的挑战
网格计算面临着诸多挑战,需要格外关注。
可信赖性与可靠性
网格计算由分布式节点组成,缺乏中央控制,因此需要采取措施防止故障或恶意节点产生错误结果。常见做法是将工作随机分配给不同节点,并检查结果是否存在差异。然而,缺乏中央控制也意味着无法保证节点不会随机退出网络。
异构性
网格计算节点可能运行不同的操作系统和硬件架构,这就需要在软件开发投资和支持平台数量之间进行权衡。跨平台中间件有助于解决这一问题,但可能会影响特定节点上的高性能。
社会兼容性
网格计算最初源于高性能计算领域,后来扩展到其他领域(如高能物理学)时,跨学科的障碍给开发带来了挑战。
部署选择
可信赖性、可用性、性能和开发难度等因素会影响网格计算是部署在专用集群、内部闲置机器,还是开放的外部志愿者或承包商网络上。
欢迎加入亚马逊云科技培训中心
欢迎加入亚马逊云科技培训中心
-
快速上手训练营
-
账单设置与查看
-
动手实操
-
快速上手训练营
-
第一课:亚马逊云科技简介
本课程帮助您初步了解云平台与本地环境的差异,以及亚马逊云科技平台的基础设施和部分核心服务,包括亚马逊云科技平台上的弹性高可用架构,架构设计准则和本地架构迁移上云的基本知识。
亚马逊云科技技术讲师:李锦鸿第二课:存储与数据库服务
您将在本课程中学习到亚马逊云科技上的三个存储服务分别是什么。我们也将在这个模块中为您介绍亚马逊云科技上的关系型数据库服务 Amazon Relational Database Service (RDS)。
亚马逊云科技资深技术讲师:周一川第三课:安全、身份和访问管理
在这个模块,您将学习到保护您在亚马逊云科技上构建的应用的安全相关知识,责任共担模型以及身份和访问管理服务, Identity and Access Management (IAM) 。同时,通过讲师演示,您将学会如何授权给 EC2 实例,允许其访问 S3 上的资源。
亚马逊云科技技术讲师:马仲凯 -
账单设置与查看
-
-
动手实操
-
快速注册账号 享用免费套餐
快速注册账号 享用免费套餐
-
1 进入注册页面
-
2 设置用户名及密码
-
3 填写企业信息
-
4 企业信息验证
-
5 完成手机验证
-
6 选择支持计划
-
1 进入注册页面
-
注:该链接中的内容显示语言 是与您的网页浏览器设置相一致的,您可以根据需要自行调整语言栏。 *图片点击可放大
-
2 设置用户名及密码
-
3 填写企业信息
-
*图片可点击放大
-
4 企业信息验证
-
*图片可点击放大
-
5 完成手机验证
-
6 选择支持计划