发布于: Oct 28, 2022
本文为英伟达集团解决方案架构师 Kong Zhao 撰写的特约文章。
本文分享了英伟达集团如何使用 Amazon EMR 运行 Amazon Elastic Compute Cloud (Amazon EC2) G4 实例。
梯度提升是一种强大的机器学习算法，能够在回归分析、分类以及排名等任务场景下实现最理想的准确率水平。事实上，深度神经网络与梯度提升已经成为解决此类问题的两大首选技术方案。
目前，来自各个行业的数据科学家们都在使用开源 XGBoost 库：
- 金融服务——预测贷款绩效与其他金融风险。
- 零售——预测客户流失率。
- 广告宣传——预测点击率。
Amazon EMR 为行业领先的云大数据平台，可通过 Apache Spark、Apache Hive、Apache HBase、Apache Flink、Apahce Hudi 以及 Presto 等多种开源工具处理海量数据。在 Amazon EMR 的加持下，您能够以不足传统本地解决方案一半的运营成本执行 PB 级数据分析，并获得超过标准 Apache Spark 三倍以上的性能表现。数据科学家正广泛使用 Amazon EMR 运行各类开源深度学习与机器学习工具（包括 TensorFlow 与 Apache MXNet），以及各类专用型工具与库。只需数次单击，大家即可在 Amazon EMR 控制台中使用最新 GPU 实例快速创建安全性极高的可扩展集群，并在其上运行多种分布式机器学习训练。
关于 Amazon EMR 的更多入门使用信息，请参阅 Amazon EMR 是什么？
Amazon EMR 一直在不断升级可用GPU实例选项，并与英伟达等伙伴合作改善平台性能。我们的最新成果为配备英伟达 T4 Tensor Core GPU 的 EC2 G4 实例类型，该 GPU 具备 16 GB GPU 内存，采用 Nitro 虚拟机管理程序，每节点包含 1 至 4 个 GPU。该实例还提供高达 1.8 TB 的本地非易失性内存标准（NVMe）存储，以及高达 100 Gbps 的网络传输带宽。
英伟达的 T4 Tensor Core GPU 产品是一种经济高效的通用型 GPU 实例，可用于加速机器学习模型的训练与推理、视频转码以及其他计算密集型工作负载。G4 实例包含多种具体实例大小，您可以选择单一 GPU 配置，或者采用具有不同 vCPU 与内存容量的多 GPU 类型，更灵活地为应用程序选择适合的实例大小。
尽管大规模机器学习能够为数百万用户提供强大的预测功能，但在实现预期效果之前，我们首先需要克服基础设施中的两大关键挑战，从而节约成本并更快交付结果：加快大量数据的预处理速度，以及加速计算密集型模型的训练流程。
为了应对这些挑战，英伟达正在孵化 RAPIDS，即一组开源软件库的集合。RAPIDS 团队还与分布式机器学习公约（DMLC）XGBoost 组织紧密合作，以获取上游代码并保证 GPU 中的所有组件均可顺畅匹配分析生态系统的开发成果。我们还使用了 XGBoost4J-Spark 开源库，该库可以在各 Apache Spark 节点之间执行 XGBoost 模型的训练与推理。使用 GPU，您可以通过列式处理代替最初针对 CPU 计算单元设计的传统行式读取，进而充分利用数据并行优势，借此节约成本并提高性能表现。
相关文章