在 OSDU 数据平台上使用爱思唯尔 Geofacets 发现采矿数据

概述

了解可供使用的数据并快速找到和访问这些数据已成为能源行业数字化转型的重要第一步。开放小组OSDU论坛旨在通过促进OSDU数据平台上的协作来减少组织数据孤岛，该平台有助于打破创新壁垒，实现能源价值链各个方面的数据使用民主化。OSDU 数据平台的关键指导原则之一是其可扩展性以及能够添加新的数据类型以支持不同的业务工作流程。

爱思唯尔和亚马逊网络服务（亚马逊云科技）已合作扩展OSDU数据平台以支持采矿业。随着新的发展，现在可以上传、搜索和检索采矿数据。新开发的模块允许转换爱思唯尔Geofacets元数据，将其发布到OSDU数据平台，并通过该平台的核心应用程序接口 (API) 检索数据以供将来使用和分析。

爱思唯尔 Geofacets

爱思唯尔Geofacets的解决方案为能源、关键矿产和其他自然资源提供了切实可行的见解。提取和验证与地图、表格和图表相关的元数据。这有助于轻松找到数据并将其与业务驱动的工作流程集成。但是，这些数据和元数据的后端存储历来是专有的。现有的 API 提供了数据的可访问性，但更进一步，使用开源数据平台有助于更广泛地解锁采矿数据及其应用程序。

随着OSDU在整个能源价值链中势头增强，亚马逊云科技和爱思唯尔设定了目标，以说明如何添加新架构并扩展核心OSDU数据平台以支持最常用的采矿业数据。需要创建新的架构来准确捕获文件、文档、表格和图表中的元数据。还需要增强采集数据管道，需要开发采集脚本，使用 OSDU 核心服务 API 解析、提取挖矿元数据并将其存储在 OSDU 数据平台中。

新的 OSDU 挖矿架构

带有新 OSDU 挖矿架构扩展的 OSDU 数据平台的总体概念架构如图 1 所示。GeoWorkspace 架构是为摄取绘图格式 (*.DWG)、Geo TIFF（.TIF、*.TIFF）和 ASCII 网格 (.GRD) 数据类型而创建的。此外，还为一篇文章及其提取的子组件（例如地图、表格和图形）创建了四个架构。 所有记录都是使用 OSDU 模板 https://community.opengroup.org/osdu/data/data-definitions/-/tree/master/SchemaRegistrationResources/shared-schemas/osdu 创建的 work-product-comproduct-component 类型 ，并遵循 JSON 架构标准 https://json-schema.org/。 架构建立在彼此之上，并从其他架构继承其属性。架构的自定义属性已添加到 Data 属性的单个属性对象中。在标头中添加名称和版本控制后，可以通过 OSDU 架构服务的 REST API PUT 请求将新架构上传到 OSDU。还开发了适用于 GeoWorkspace 和文章提取工作流程的 Python 脚本。这些脚本负责从源数据中提取元数据并在 OSDU 数据平台中构建相应的记录。

图 1。具有新采矿业数据架构的 OSDU 数据平台概念架构

上述功能是在 亚马逊云科技 安全可靠地实施 OSDU 数据平台的基础上设置的 。新开发的支持挖掘工作流程的扩展程序充分利用了对象存储服务 亚马逊简单存储服务 （Amazon S3）和 完全托管的无服务器键值 NoSQL数据库Amazon DynamoDB。架构定义及其元数据存储在 Amazon DynamoDB 中，它会根据 OSDU 数据平台的使用情况自动向上和向下扩展。这使得 亚马逊云科技 上的 OSDU 数据平台不仅可以快速适应新的客户需求，还可以在不影响性能的情况下快速处理元数据及其大小的变化。从 Amazon DynamoDB 查询元数据时，它通过指定主键值来提供对项目的快速访问。还可以使用一个或多个辅助（或备用）键对其进行进一步优化，这使得查询元数据的查询模式更加灵活。当大规模扩展现有OSDU架构以支持新的工作流程（例如爱思唯尔Geofacets应用程序的工作流程）时，这一点尤其重要。

基础文章、数字、地图和表格作为对象存储在 Amazon S3 中，这为检索数据并将其传输到应用程序层提供了必要的可扩展性、可用性、安全性和性能。无论是文章附件、该地区的高分辨率图像、与采矿活动相关的地图，还是 SEG-Y 地震文件，Amazon S3 的灵活性都允许您存储几乎任何类型和数量的数据。

概念验证

爱思唯尔使用新创建的挖掘架构和数据采集机制，开发了概念验证和策略，用于在爱思唯尔Geofacets用户界面上对OSDU Search服务进行地理空间查询。与扩展了采矿架构的 OSDU 数据平台相连的爱思唯尔Geofacets的模型如图 2 所示。该概念验证说明了用户如何通过绘制方框并从爱思唯尔Geofacets富数据存储库和连接的OSDU实例中查看该位置的结果来搜索地图的某一部分。

图 2。具有新采矿业数据架构的 OSDU 数据平台概念架构

结论

Open Group OSDU Forum致力于建立和推进基于标准的、与技术无关的数据平台，通过数据管理和数据分析帮助能源行业转型和促进能源行业应对不断变化的能源需求。OSDU 数据平台可扩展性有助于公司有效地工作和推进 OSDU 平台。爱思唯尔和亚马逊云科技的努力强调了如何加速将OSDU扩展到全新的行业。如果没有OSDU，类似的工作至少需要6个月或更长时间。使用 OSDU，只用了不到 2 个月的时间就完成了集成。接下来的步骤是与开放小组OSDU论坛合作，探讨已开发的采矿模式对论坛的贡献。这项工作还展示了独立软件供应商 (ISV) 如何与OSDU数据平台进行交互和合作，并将该平台进一步推向新领域。