在公共部门制定现代数据驱动战略

Developing a modern data-driven strategy in the public sector

全球各地的公共部门组织都希望通过将数据置于每个决策过程的中心来利用数据的力量来做出更好的决策。数据驱动的决策可以更有效地应对意外事件。对于政府组织而言,更详细地了解公民的抱负和要求可以创造更好的公民体验。

尽管数据丰富且增长迅速,但仅仅生成和存储这些数据并不能自动创造价值。随着公共部门组织积累大量数据,其中许多数据存在于不同的孤岛中。这些孤岛可能需要不同的平台、不同的管理、不同的安全性和不同的授权方法。所有这些都增加了运营风险和运营成本,并可能使全面分析数据变得困难。此外,这些系统通常不是为事件数据的指数级增长而构建的,例如日志文件、点击流数据和来自物联网 (IoT) 设备的机器生成的数据。

为了克服这些挑战,各组织正在转向基于现代数据策略建立数据驱动型组织。

现代数据策略的五个关键领域

现代数据策略侧重于五个关键领域:

  1. 数据产品思维 ——这意味着采用以产品为导向的思维方式,而不是传统数据策略中常见的以平台为导向的思维方式。产品导向意味着我们设计和创建基于数据的产品,这些产品要考虑业务和技术需求,以解决业务问题并对公民体验产生积极影响。
  2. 业务和技术所有权 — 传统数据策略的所有者往往是技术领导者。现代数据策略由业务和技术领导者共同拥有。以这种方式整合业务和技术反映了数据的重要性。
  3. 敏捷性 — 现代数据策略是敏捷的,它通过测试、实验和学习的迭代过程来构建和完善数据产品,为下一步的修订提供信息。在传统的数据策略中,团队首先收集所有预先已知的需求,并花时间奠定基础,然后再向利益相关者提供切实的业务价值。在现代数据策略中,迭代、敏捷的方法可以缩短价值实现时间并提供增量基础。 详细了解开发政府服务的敏捷方法
  4. 治理 — 根据现代数据驱动的实践,组织联合或分配治理,以平衡不可谈判的安全、隐私和监管问题与创新需求。在更传统的策略中,团队可以创建组织结构,在这种结构中,一切都必须由一个集中的团队严格控制,从而限制一个团队需求的创新发展。
  5. 技术 -基于业务需求的专用数据存储和分析服务使组织能够构建可扩展和弹性的基于云的平台。相比之下,无论实际需求如何,传统的数据策略通常都可以对数据存储和分析服务采取一刀切的方法。本地环境的可扩展性限制可能会减缓敏捷性和创新性。

Figure 1. A high level comparison between a modern and traditional data strategy in five key areas: mindset, ownership, artifacts, governance, and technology.

图 1。现代和传统数据策略在五个关键领域的高度比较:思维方式、所有权、构件、治理和技术。

使用 亚马逊云科技 上的数据架构对数据策略进行现代化改造

为了转向这种新模式,公共部门组织正在迅速对其数据架构进行现代化改造。为了支持这一点,组织可以在核心上使用可扩展的数据湖,例如亚马逊简单存储服务( Amazon S3 )来构建数据湖的基础。数据湖是一个集中式存储库,允许您存储任何规模的所有结构化和非结构化数据。您可以按原样存储数据,无需先构建数据,然后运行不同类型的分析——从仪表板和可视化到大数据处理、实时分析和机器学习 (ML),以指导更好的决策。诸如无服务器交互式查询服务 Amazon Athen a之类的服务可以直接分析Amazon S3数据湖中的所有数据。 除数据湖外,组织还可以组合使用专门构建的数据库和分析服务来支持不同的用例,例如 关系数据 、 非关系数据 或 大数据 处理。

例如,组织可以使用 Amazon EMR 作为云大数据解决方案,用于 PB 级数据处理和交互式分析。他们可以在 Apache Spark、Apache Hive 和 Presto 等开源框架中使用机器学习。 Amazon OpenSearch S ervice 可帮助执行交互式日志分析、实时应用程序监控和网站搜索 。SQL 可以帮助分析跨数据仓库、操作数据库和数据湖的结构化和半结构化数据。 Amazon Redshift 是一个云数据仓库,可以帮助打破数据孤岛并获得有关数据的实时和预测性见解,而无需移动或转换数据。

亚马逊云科技 Glu e 是一项无服务器数据集成服务,可以发现、准备和集成来自多个来源的数据。它可以帮助组织在其所有数据存储之间无缝移动和转换数据,并支持统一的数据访问。

为了管理现代数据架构的统一治理,组织可以使用诸如 亚马逊云科技 Lak eFormati on 和Amazon DataZon e之类的服务 来大规模管理安全和治理,在数据湖中启用精细权限,打破数据孤岛,并通过集中式数据目录使所有数据都可被发现。

归根结底,现代数据架构是将数据湖和数据仓库与最合适的专用数据和分析存储相集成,从而为所有用户提供全面的业务洞察力。

Figure 2. The data journey through a modern data platform built on AWS. Starting with ingesting any type or amount of data, then using the purpose-built analytics and artificial intelligence (AI) and ML services to deliver insights.

图 2。穿越基于 亚马逊云科技 构建的现代数据平台的数据之旅。从摄取任何类型或数量的数据开始,然后使用专门构建的分析和人工智能 (AI) 和机器学习服务来提供见解。

荷兰皇家气象研究所如何利用 亚马逊云科技 实现数据策略的现代化

荷兰 皇家气象研究所 (KNMI)是通过应用数据驱动的组织思维和流程成功地从传统数据策略转向现代数据战略的公共部门先驱之一。KNMI 是荷兰国家气象局。它提供天气预报服务并监测气候、空气质量和地震活动的变化。这些服务对几乎所有公民的日常生活都有重大影响,包括航空、航运、交通、农业等。为了推动这种模式向现代数据策略的转变,KNMI 在两个主要领域开展了工作。

作为思维方式和所有权做法改变的一部分,KNMI 首先成立了 KNMI DataLab 团队,目的是在数据科学家、领域专家和外部第三方合作伙伴(例如数据提供商和平台提供商)之间创建一个协作平台。该平台使他们能够协作使用数据和技术来解决业务挑战和用例(例如地震事件检测和分类、湿滑道路、雾气检测)。为了帮助推动数据分析、人工智能 (AI) 和机器学习策略和用例,DataLab 团队创建了一个由业务领域和技术部门代表组成的内部数据科学社区。KNMI 数据策略归业务和 IT 部门所有,旨在创建有助于解决业务问题的数据产品。这符合 亚马逊云科技 数据驱动万物 (D2E) 计划的建议,通过该计划,亚马逊云科技 专家与组织的业务和 IT 部门合作,帮助制定数据策略并创建支持数据的产品,为业务提供有形价值。

为了运行大数据工程工作负载并训练和构建机器学习模型,KNMI 需要一个支持根据业务需求向上或向下扩展的云提供商,提供专门构建的分析服务和数据存储,以便在不影响性能或成本的情况下匹配他们处理的各种数据。KNMI DataLab 负责人 Jan Willem Noteboom 表示:“我们之所以选择 亚马逊云科技,是因为它具有配置的灵活性(只需点击几下即可调整大小)、分析和 AI/ML 服务的广度和深度、大量的文档和示例,以及从开发到暂存再到运营的 CI/CD 都很容易。所有这些都为我的团队节省了数天和时间,使他们有更多时间专注于为业务带来真正价值的差异化工作。”

KNMI DataLab 使用 亚马逊云科技 创建了最低可行产品 (MVP),可以检测和分类地震事件,包括地震、声波弹、核活动等。KNMI 使用机器学习模型使用来自全国各地的地震仪站的地震图时间序列数据来检测和分类这些事件。对于数据存储组件,KNMI 使用 Amazon Aurora 来存储检测信息(结构化数据),使用 Amazon S3 来存储地震图数据(对象存储)。KNMI 使用 亚马逊云科技 Fargate 来运行 Docker 容器来执行机器学习模型推断。

新的解决方案将改善对声学事件(例如爆炸、采矿场爆炸、声爆)的自动检测,这在当前的方法下是不可能的。与当前部署中的一系列站相比,新方法使用单站点。这将提高检测过程的效率,并为从当前和历史波形档案中检测新型事件开辟新的可能性。

KNMI 使用 亚马逊云科技 快速开发了 MVP 实施方案,受益于其现代数据平台的灵活性、可扩展性、专门构建的数据分析服务以及广度和深度。

现代数据策略入门

数据驱动的公共部门是通过使用数据来推动决策流程、消除数据孤岛并提供数据用于创新以重塑公共服务的部门,从而利用数据来改善公民体验。亚马逊云科技 上基于云的现代数据基础设施可以使组织更快地适应不断变化的市场和公民需求。

详细了解如何在 亚马逊云科技 上开启数据分析之旅,并利用以下资源采用现代数据策略和架构来释放数据的价值:

  • 使用由 亚马逊云科技 专家创建的内容开始数据分析培训
  • 亚马逊云科技 课堂培训集:在 亚马逊云科技 上构建现代数据分析解决方案
  • 亚马逊云科技 上的现代数据架构
  • 如何成为数据驱动型组织
  • 亚马逊云科技 上的数据分析

订阅 亚马逊云科技 公共部门博客时事通讯 将来自公共部门的 亚马逊云科技 工具、解决方案和创新的最新信息发送到您的收件箱,或者 联系我们

请花几分钟时间在本次调查中分享您对 亚马逊云科技 公共部门博客的体验的见解 ,我们将使用调查的反馈来创建更多符合读者偏好的内容。

Samer Madfouni

Samer Madfouni

Samer 领导亚马逊网络服务 (亚马逊云科技) 在欧洲、中东和非洲的分析、人工智能 (AI) 和机器学习 (ML) 业务开发。他的重点是帮助客户使用数据重塑业务,并通过采用现代数据分析策略和平台实现数据驱动。Samer 在为不同领域提供咨询和构建分析解决方案方面拥有超过 16 年的经验。他拥有人工智能学士学位和工商管理硕士学位。他是 亚马逊云科技 认证数据分析(专业)和 亚马逊云科技 认证的机器学习-专业。

Jan Willem Noteboom

Jan Willem Noteboom

Jan Willem 在荷兰皇家气象研究所(KNMI)工作。自2016年以来,他一直管理KNMI Datalab,这是一个由数据科学专家组成的团队,使用人工智能(AI)和机器学习(ML)以及来自传统和新数据源的数据,为KNMI科学和服务探索和实施数据驱动的创新。他的经验包括分析和开发信息系统以及管理交付系统的项目。他在数据架构、数据分析和建模以及地理信息标准方面拥有丰富的知识。Jan Willem 拥有电气工程理学硕士学位 (MSc)。


*前述特定亚马逊云科技生成式人工智能相关的服务仅在亚马逊云科技海外区域可用,亚马逊云科技中国仅为帮助您发展海外业务和/或了解行业前沿技术选择推荐该服务。