Amazon Kinesis Data Firehose 文档

Amazon Kinesis Data Firehose 旨在将流数据加载至数据存储和分析工具。Kinesis Data Firehose是一项完全托管式服务，让您可以轻松地从数十万个来源中捕获和转换大量流数据，并将其加载到Amazon Simple Storage Service （Amazon S3）、Amazon Redshift、Amazon OpenSearch Service（代替Amazon Elasticsearch Service）、Amazon Kinesis Data Analytics、通用HTTP终端节点以及第三方服务提供商中。

传输流 

传输流是Kinesis Data Firehose的基础实体。您通过创建传输流然后向其发送数据的方式来使用Kinesis Data Firehose。  

主要功能 

启动和配置 

您可在Amazon管理控制台中启动Amazon Kinesis Data Firehose并创建传输流，从而将数据加载到Amazon S3、Amazon Redshift、Amazon OpenSearch Service、HTTP终端节点、以及第三方服务提供商中。您可以通过调用Firehose API或运行在数据源上提供的Linux代理，将数据发送给传输流。Kinesis Data Firehose旨在将数据持续加载到指定的目标位置。  

加载新数据 

您可以指定批处理大小或批处理间隔，以控制数据上传到目标位置的速度。例如，如果您想要在将新数据发送到传输流的60秒内接收新数据，则可以将批处理间隔设置为60秒。此外，您还可以指定是否压缩数据。该服务旨在支持常见的压缩算法。在上传数据前先对其进行批处理和压缩，以便您控制在目标位置接收新数据的速度。    

弹性扩展以处理各种不同的数据吞吐量  

该服务旨在启动后，您的传输流将在限制范围内向上和向下扩展，并在您为传输流指定的级别上维持数据延迟。   

Apache Parquet或ORC格式转换 

Kinesis Data Firehose支持Apache Parquet 和Apache ORC等列式数据格式适合用于通过其他亚马逊云科技服务或第三方存储和分析服务。在将数据存入Amazon S3之前，Kinesis Data Firehose旨在将传入数据的格式从JSON转换成Parquet或ORC格式，这样可帮助您节省存储和分析成本。   

将分区数据交付给S3 

使用静态或动态定义的键（如“customer_id”或“transaction_id”），在交付给Amazon S3之前动态划分串流数据。Kinesis Data Firehose旨在通过这些键对数据进行分组，并交付到键唯一的Amazon S3前缀中，使您能够在Amazon S3中执行高性能、成本高效的分析。  

集成数据转换 

您可以配置Amazon Kinesis Data Firehose以便准备流数据，然后再将其加载到数据存储中。从Amazon管理控制台中的Amazon Kinesis Data Firehose传输流配置选项卡中选择一个Amazon Lambda函数。Amazon Kinesis Data Firehose旨在将该函数应用到每个输入数据记录，然后将转换后的数据加载到目标位置。Amazon Kinesis Data Firehose旨在提供预构建的Lambda蓝图，用于将Apache日志和系统日志等常用数据源转换为JSON格式和CSV格式。您可以原样使用预构建的蓝图，对其进行进一步自定义，或者编写自己的自定义函数。您也可以对Amazon Kinesis Data Firehose进行配置，使其自动重试失败的任务并备份原始流数据。    

支持多个数据目标位置 

Amazon Kinesis Data Firehose当前支持将Amazon S3、Amazon Redshift、Amazon OpenSearch Service、HTTP终端节点以及第三方服务提供商作为目标位置。您可以指定目标位置Amazon S3存储桶、Amazon Redshift表、Amazon OpenSearch Service 域、通用HTTP终端节点，或应在其中加载数据的服务提供商。  

可选加密 

Amazon Kinesis Data Firehose提供在将数据上传到目标位置后自动加密数据的选项。作为传输流配置的一部分，您可以指定Amazon Key Management System（KMS）加密密钥。  

性能监控指标 

Amazon Kinesis Data Firehose旨在通过控制台以及Amazon CloudWatch显示数个指标，包括提交的数据量、上传到目标位置的数据量、从来源传输到目标位置的时间、传输流限制范围、限制的记录数，以及上传成功率。您可以使用这些指标监控传输流的运行状况，采取任何必要的操作，如修改目标位置、设置接近限制范围的警报，同时确保服务正在提取数据，并将数据加载到目标位置。    

其他信息 

有关服务控制、安全特性及功能的其他信息，包括有关存储、检索、修改、限制和删除数据的信息，请参见 https://docs.amazonaws.cn/。以上链接包含的信息不构成光环新网关于亚马逊云科技（北京区域）的客户协议或西云数据关于亚马逊云科技（宁夏区域）的客户协议的“文档”的一部分，也不构成您与光环新网或西云数据之间就您使用亚马逊云科技中国区域服务达成的其他协议的任何部分。