发布于: Nov 30, 2022
【概要】迁移至 Amazon Web Services 重新定义了传统数据库工程师和管理人员的职业道路。他们的技能和专长有助于 Amazon Redshift 或 Amazon EMR 解决方案性能的提升，这些解决方案依赖于设计最佳查询计划和监控性能的数据库知识。
Amazon 数据库迁移服务已经迅速推广开来，迁移团队通过面对面培训课程、非正式会谈、网络研讨会和文档向用户介绍迁移的愿景、使命和目标。这一行动分阶段进行，随着项目的进展，逐步改善系统、工具和流程。每个团队都提交了项目计划并分配了迁移构件所需的资源，包括 ETL 流程、业务报告、存储过程和机器学习算法。
迁移团队为数据湖植入了来自 Oracle 数据仓库的活动数据集，并构建了一个自动化系统，以使两个系统中的数据集同步更新。它提供了迁移工具，包括用于配置 Amazon Web Services 资源的 Amazon CloudFormation 模板。创建通道使得数据生产者和使用者能监控数据湖中的数据可用性、准确性和延迟，从而直接提出问题。中心团队与每个团队制定了每周、每月和每季度审核计划以跟踪和报告进度，并汇总了来自两个用户组的进度报告以进行计划状态报告。
此外，迁移至 Amazon Web Services 重新定义了传统数据库工程师和管理人员的职业道路。他们的技能和专长有助于 Amazon Redshift 或 Amazon EMR 解决方案性能的提升，这些解决方案依赖于设计最佳查询计划和监控性能的数据库知识。中心团队通过大量的培训和教育实现了职业转型。
新的分析基础设施有一个数据量超过 200 PB 的数据湖 – 几乎是以前 Oracle 数据仓库的四倍。Amazon 的业务团队现在使用 3,000 多个 Amazon Redshift 或 Amazon EMR 群集来处理来自数据湖的数据。
尽管规模较大，但业务部门发现新系统更具成本效益。这是因为迁移团队停止了 30% 不再使用的工作负载，并优化了查询以提高系统利用率。团队现在可以监控系统的使用情况并快速消除浪费，从而实现持续的成本效益。
Amazon 的消费者业务大大受益于 Amazon WebServices 中数据存储与数据处理的分离。Amazon Web Services 存储服务使得以任何格式安全、大规模、低成本存储数据更加方便，并能快速轻松地移动数据。数据湖架构允许每个系统独立扩展，同时降低总体成本并扩大可用技术范围。用户可以轻松发现最佳格式的高质量数据，团队报告分析结果的延迟减少了。
借助 Amazon Web Services，每个 Amazon 业务团队都可以管理自己的计算实例并完全控制容量和成本，它与传统环境有所不同，后者由于基础设施集中而效率低下。团队现在将 Amazon EC2 Reserved Instances 作为其成本优化策略的一部分。中心团队持续监控 Amazon Web Services 分析帐户，以评估使用情况和优化成本。
迁移到 Amazon Web Services 云以后，Amazon 使工程师能够使用或构建高级分析工具，而非将时间用在保持传统系统运行上，从而专注于生成见解。最重要的是，迁移使 Amazon 消费者业务部门的工程师能够更加轻松地持续分析和改善他们为客户提供的服务。