大数据技术与应用

大数据存储，表示将巨量、复杂、难于处理的数据集，持久保存到计算机中的存储方式。相比于传统数据存储模式，大数据存储能够应对多样化来源的结构化数据和非结构化数据；大数据存储对存储系统架构设计进行持续升级，其中以分布式存储取代集中式存储，并充分权衡安全性、稳定性、集成度、可扩展性、性能、成本、自动修复等多维因素，以满足应用层面计算性能的高需求，以及保障读写的高吞吐量。其主流存储引擎涵盖 HDFS, HBASE, KUDU 等。

大数据平台可以处理海量数据存储、计算不间断流数据、实时计算等场景。该平台，具备容纳巨量数据、快速处理、加持数据分析、辅助数据科学家决策等功能，能够应对海量数据计算/存储、流数据实时计算等场景需求；能够一站式集成多项大数据，高效分发和处理海量数据，并助力行业客户构建和部署大数据等应用程序。典型的大数据平台包括 Hadoop 系列、Flume/Kafka、Spark、Storm、Flink 等。

• 可视化分析: 可视化分析是一项对复杂数据进行分析的技术；其应用原理是使用自动化分析技术，来发掘不同数据源的关联价值；进而使用可视化技术，直观地展示关联数据的动态变化趋势。
• 数据挖掘算法: 数据挖掘算法，指的是依据数据特点进行数据分析，随后有针对性地创建数据挖掘模型的一组试探法和算法类别。应用数据挖掘算法，能够发掘巨量数据中的潜在价值。常见算法包含决策树算法，k-均值聚类等。
• 预测性分析: 预测性分析是一种通过分析当前历史数据，来预判未来事件走向的分析技术。其工作原理是先根据一组输入变量建模，再训练模型预测未来数据。常见类别涵盖回归技术、ML 技术、决策树等。
• 语义引擎: 语义引擎由 ML 提供支持可以极其快速有效地处理大量数据；用户可以通过语义引擎在无限大的数据集里快速找到高质量信息；语义引擎已经远超传统分析工具，在一定意义上来说，它可以根据用户的意图来快速高效处理大量数据。而且对于需要定期进行海量信息挖掘的用户来说，语义引擎效能显著。
• 数据质量管理: 数据质量管理，是一种对数据从计划、集成、维护、应用等全生命周期管理的过程，并在整个周期中通过一系列管理活动来提升数据质量。一般而言，数据质量管理可分为人工比对、程序比对、统计分析3个层次。
• 数据仓库: 数据仓库，又称企业数据仓库，信息的中央存储库，是为企业所有级别的决策提供数据支持的战略集合，也是商业智能的核心组件，主要用于汇总报告和数据分析的系统性技术。通过集成不同时段的具体数据，数据仓库可以为整个企业输出员工分析报告。