大数据流式计算
大数据流式计算,主要是为了满足场景下的实时应用需求,可广泛应用于互联网、物联网等多重领域。整个数据流的处理过程,往往在毫秒级的时间内完成。流式计算中,数据以组为单位,呈现连续数据流的形态,持续地集成至大数据流式计算平台。其计算功能的实现,是通过有向任务图的形式进行描述,在实时生成相应计算结果前,数据流会流经有向任务图,并且在流的数据在不同的时间点,以增量方式逐步获取相应数据。
流式计算框架
- Apache Spark:Apache Spark 是专门用于大规模数据处理的计算引擎,拥有 Hadoop MapReduce 所具有的同等优势;但 Apache Spark 不再需要读写 HDFS,因此它能更出色地适用于数据挖掘分析与 ML 等需要迭代的 MapReduce 算法。同时,Spark 启用了内存分布数据集,提供交互式查询外,还能优化迭代工作负载。
- Apache Storm:Apache Storm 是一个开源、免费、实时的分布式计算系统。由于结构简单,它可用于任意编程语言。Apache Storm 应用场景包括实时数据分析、ETL、联机学习、持续计算等。同时,它的计算速度非常快,单节点上可实现每秒一百万的组处理量。
- Apache Flink:Apache Flink 程序由 Stream 和 Transformation 两个基本构建块组成,其中 Stream 是一个中间结果数据,Transformation 则是一个操作,它对一个或多个输入 Stream 进行计算处理,并输出相应结果。
亚马逊云科技产品如何让客户获得更好的流式计算服务
简单易用
您只需创建一个 Amazon Kinesis Data Firehose 传输流并选择目标,就可以从几十万个数据源同时发送实时数据。 Amazon Kinesis Data Firehose 会为您处理所有的数据流管理工作,包括扩展、分区和监控,从而按照您指定的时间间隔将数据持续加载到目标。
服务和服务提供商集成
Amazon Kinesis Data Firehose 集成 Amazon S3, Amazon Redshift 和 Amazon OpenSearch Service。它可将数据传输到通用 HTTP 终端节点,并直接向 MongoDB 和 Splunk 等服务提供商传送数据。
无服务器数据转换
Amazon Kinesis Data Firehose 让您以充足时间准备流数据,然后将它加载到数据存储中。应用 Amazon Kinesis Data Firehose 时,您可将数据源中的原始流数据,轻松转换为目标数据存储需要的格式,无需构建数据处理管道。
捕获实时数据
Amazon Kinesis Data Firehose 可以通过近乎实时地方式来捕获和加载数据,在捕获到数据后 60 秒内将新数据加载到 Amazon S3、Amazon Redshift 和 Amazon OpenSearch Service 中。因此,您可以更快地访问新数据,在更短的时间内对业务和运营事件做出响应。
无需持续管理
Amazon Kinesis Data Firehose 是一项完全托管式服务,它可以通过自动预置、管理和扩展加载流数据所需的计算、内存和网络资源。设置完成后,Amazon Kinesis Data Firehose 可随着数据的集成进程,持续自动加载数据。
欢迎加入亚马逊云科技培训中心
欢迎加入亚马逊云科技培训中心
-
快速上手训练营
-
账单设置与查看
-
动手实操
-
快速上手训练营
-
第一课:亚马逊云科技简介
本课程帮助您初步了解云平台与本地环境的差异,以及亚马逊云科技平台的基础设施和部分核心服务,包括亚马逊云科技平台上的弹性高可用架构,架构设计准则和本地架构迁移上云的基本知识。
亚马逊云科技技术讲师:李锦鸿第二课:存储与数据库服务
您将在本课程中学习到亚马逊云科技上的三个存储服务分别是什么。我们也将在这个模块中为您介绍亚马逊云科技上的关系型数据库服务 Amazon Relational Database Service (RDS)。
亚马逊云科技资深技术讲师:周一川第三课:安全、身份和访问管理
在这个模块,您将学习到保护您在亚马逊云科技上构建的应用的安全相关知识,责任共担模型以及身份和访问管理服务, Identity and Access Management (IAM) 。同时,通过讲师演示,您将学会如何授权给 EC2 实例,允许其访问 S3 上的资源。
亚马逊云科技技术讲师:马仲凯 -
账单设置与查看
-
-
动手实操
-
快速注册账号 畅享 40+ 免费云服务
快速注册账号 畅享 40+ 免费云服务
-
1 进入注册页面
-
2 设置用户名及密码
-
3 填写企业信息
-
4 企业信息验证
-
5 完成手机验证
-
6 选择支持计划
-
1 进入注册页面
-
01填写您注册账号的邮箱点击“继续”01填写您注册账号的邮箱点击“继续”03输入邮箱中收到的验证码点击“继续”03输入邮箱中收到的验证码点击“继续”注:该链接中的内容显示语言 是与您的网页浏览器设置相一致的,您可以根据需要自行调整语言栏。 *图片点击可放大
-
2 设置用户名及密码
-
3 填写企业信息
-
01填写公司联系人姓名全称01填写公司联系人姓名全称02填写公司联系人的联系电话02填写公司联系人的联系电话03填写公司名称*重要! ! !公司名称请务必与您所提供的营业执照公司名称保持一致03填写公司名称*重要! ! !公司名称请务必与您所提供的营业执照公司名称保持一致04填写公司办公地址省份/自治区/直辖市 - 城市 - 区 - 街道门牌号以及楼层信息 - 邮政编码04填写公司办公地址省份/自治区/直辖市 - 城市 - 区 - 街道门牌号以及楼层信息 - 邮政编码06您可以点击查看客户协议您可以点击查看客户协议勾选方框表示您已阅读,并同意客户协议的条款06您可以点击查看客户协议您可以点击查看客户协议勾选方框表示您已阅读,并同意客户协议的条款*图片可点击放大
-
4 企业信息验证
-
01在此上传企业注册执照01在此上传企业注册执照02请填写网络安全负责人的姓名
请注意: 该字段务必与您下方提供的身份证号匹配或与证件上的姓名保持一致
02请填写网络安全负责人的姓名请注意: 该字段务必与您下方提供的身份证号匹配或与证件上的姓名保持一致
03请填写网络安全负责人的联系方式有效的电子邮件地址 - 有效的中国内地 手机号码 - 座机号码(如无座机,请填写正确有效的手机号码)03请填写网络安全负责人的联系方式有效的电子邮件地址 - 有效的中国内地 手机号码 - 座机号码(如无座机,请填写正确有效的手机号码)04在此上传网络安全负责人的身份证件请注意:当您选择证件类型为“身份证”时,您需要填写正确的身份证号码,选择其他证件类型时,您需要上传证件扫描稿
04在此上传网络安全负责人的身份证件请注意:当您选择证件类型为“身份证”时,您需要填写正确的身份证号码,选择其他证件类型时,您需要上传证件扫描稿
*图片可点击放大 -
5 完成手机验证
-
6 选择支持计划