ELT 是什么？

使用 ELT 来处理大数据时，具体步骤如下：

1. 需求分析：明确项目需求，包括所需的数据、数据源、数据处理任务以及分析和报告的目标。
2. 数据提取：识别和连接到各种数据源，选择适当的工具和技术来从这些源中提取数据。对于大规模数据，选择分布式数据提取工具，以确保高效的数据提取过程。
3. 数据加载：将提取的数据加载到数据湖或分布式存储系统中，确保目标存储具备足够的容量和性能，以应对大规模数据的需求。
4. 数据转换：数据加载到目标存储后，使用分布式计算框架执行必要的数据转换和清洗操作，如数据规范化、去重、数据质量控制、数据合并和计算等。
5. 数据处理和分析：当项目需要实时数据处理时，使用流处理引擎来处理数据流，以捕获和处理流数据。使用数据分析工具和编程语言（如 Python、R、SQL）来执行数据分析、数据可视化、建模和预测等分析任务。

• 保留原始数据：ELT 将数据提取和加载的步骤分开进行，将数据的转换过程延迟到数据已加载到目标存储后再进行。原始数据的完整性得到保留，分析人员可以根据需要执行多次不同类型的数据转换和处理，而不会损害原始数据。
• 适应大规模数据：ELT 适用于处理大规模数据集。它允许将原始数据直接加载到目标存储中，而不需要在中间存储中保存数据，因此能够有效地处理大数据量。
• 实时性要求：ELT 支持实时或近实时处理需求。数据加载到目标存储后，可以立即进行查询和分析，使实时数据处理成为可能。
• 数据湖支持：ELT 与数据湖架构非常契合，它可以将原始数据加载到数据湖中，然后根据需要进行转换和分析。数据湖通常用于存储各种类型和格式的数据，适用于大数据环境。
• 多源数据处理：大数据环境中通常涉及来自多个数据源的数据。ELT 能够从不同源头提取数据，并将其整合到一个目标存储中，以支持综合分析和处理。
• 可扩展性：与云基础设施相结合能够动态扩展可利用资源，能够收集并处理 PB 级数据。
• 降低成本：基于云的 ELT 不需要对硬件设备进行前期投资，可大大节省成本投入。
• 节约时间：在 ELT 过程中不仅数据交付的时间被大大缩减，而且利用云基础设施的处理能力，数据的转化、分析过程也更加敏捷迅速。
• 灵活性：ELT 支持从多种源系统中提取数据，并支持非结构化数据的使用。

• 数据质量问题：ELT 将数据加载到目标存储后再进行转换，这会导致数据质量和完整性问题只有在数据加载后才能被发现。如果原始数据中存在错误或不一致性，这些问题可能会传播到目标存储中，需要额外的措施来处理。
• 复杂的转换需求：在 ELT 中，数据加载后进行转换，这可能需要更多的计算资源和复杂的 SQL 查询或数据处理操作。对于需要进行复杂的数据转换和清洗的项目，ELT 不如传统的 ETL 适用。
• 成本高：ELT 通常需要高性能和可扩展的目标存储，用于容纳原始数据和执行转换，导致存储成本较高。同时，ELT 的计算成本较高，尤其是在进行大规模数据转换时，需要在云计算或服务器资源上投入更多的预算。
• 复杂性管理：ELT 的灵活性会导致数据处理过程变得复杂。随着数据处理流程变得复杂，维护和管理转换规则、脚本和查询等变得具有挑战性，需要谨慎设计和维护数据转换流程，以确保其可维护性和可理解性。
  

数据湖是一种数据存储体系结构，用于存储各种类型和格式的原始数据，而 ELT 则是一种数据集成和处理方法。ELT 和数据湖的结合为现代数据管理和分析提供了强大的支持。

ELT 负责将原始数据从各种数据源提取，将其直接加载到数据湖中，无需在提取和加载之间执行复杂的数据转换。数据湖充当数据的中心存储库，将原始数据以其原始形式存储，提供了天然兼容性。此外，ELT 将数据加载到数据湖中，保持了数据的原始完整性。原始数据的保留意味着分析人员可以根据需要在数据湖中执行多次不同类型的数据转换和分析，并且不会损害数据的完整性。这种灵活性对于应对不断变化的数据分析需求非常有用，并使组织能够更好地应对大规模、多样化的数据。

ELT 在数据管理和分析领域有许多典型的应用场景，具体如下：

• 数据仓库和商业智能：ELT 常用于构建数据仓库，其中数据从各种源头提取和加载到数据仓库中，然后可以进行灵活的数据分析和报告生成，有助于支持商业智能和决策支持系统。
• 大数据分析：对于大规模数据集的分析，ELT 适用于提取、加载和处理大量的结构化和非结构化数据。并且 ELT 可以与分布式计算框架结合使用，以支持大数据处理和分析。
• 实时数据处理：ELT 可以与实时数据流处理技术集成，支持实时数据捕获、加载和分析。这对于需要及时洞察的应用程序非常有用，如金融交易监控、网络安全分析等。
• 数据迁移和数据集成：ELT 在数据迁移和数据集成项目中比较常见。它被用于将数据从一个系统或存储位置迁移到另一个系统或存储位置，或者将数据集成到不同的应用程序和环境中。
• 日志分析：ELT 可用于提取和加载大量的日志数据，然后进行分析和监视，以检测异常、监视性能或支持安全审计。

ELT 的工作流程可分解为以下三个步骤：

1. 提取：采用数据提取工具将所需数据从源系统（一个或多个）中导出并存放至暂存区。源系统可以是 SQL/NOSQL 服务器，也可以是文本文档、电子邮件、网页等，从这里也可以看出 ELT 更多地用于非结构化数据。
2. 加载：在这一步中，数据将会绕过中间处理器，直接被转移至目标存储位置（如数据仓库），因此数据交付的周期被大大缩减。
3. 转换：将数据集的结构或形式转换为目标位置的结构或形式，转换过程中可能涉及到数据的映射、串联等计算方式。