发布于: Mar 21, 2023
春分时节将至，以时令划分年岁来对应气候变化是古老的东方智慧，在古代到了春分时节，农人依时而动，开始进入繁忙的耕种季。而在数字技术无比发达的今日，仅需依靠数字算法体系，观测气候变化就能获得多种精确的观测维度，并以此为相关产业提供高精度的气候预测服务，大地量子就是这样一家行业领先的数据监测服务商。
大地量子成立于2017年，致力于打造行业顶尖的时空数据算法体系和计算架构，助力用户实现数据驱动的业务升级。近期，大地量子在新能源功率预测业务中使用了亚马逊云科技，来满足全球天气预报系统对高算力和网络传输的需求。大地量子还使用 Amazon SageMaker 构建起机器学习运维自动化管理体系，大大提升了管理效率。大地量子使用的亚马逊云科技服务包括：Amazon FSx for Lustre、Amazon S3、Amazon SageMaker、Amazon Lambda 等。
”亚马逊云科技的产品，在技术和性能上都是非常领先的，帮助我们构建了一个没有短板的数据流‘木桶’，从网络、存储到技术，每一个环节都没有短板，Amazon FSx for Lustre 文件系统完全满足我们天气预报系统对高性能计算的需求。另外，亚马逊云科技的团队也非常专业和高效。
——王驰大地量子创始人兼 CEO
大地量子一直致力于打造行业顶尖的时空数据算法体系和计算架构，基于云原生的全栈时空数据技术自主研发数字地球 PaaS 平台，率先在业内提供标准化时空数据产品接入服务。例如，在森林砍伐监测、森林碳汇投资和分布式光伏发电等领域，大地量子的产品已经得到用户的认可，大幅降低了空间数据成果使用门槛。然而，在新能源功率预测业务中，大地量子却遇到了挑战。大地量子新能源功率预测服务是为光伏电站和风力场站提供的高精度发电功率预测服务，它是基于端到端的 AI 气象预报系统与电站 SCADA 数据，建立的场站级超短期和短期功率预测 AI 模型，而全球气象预报系统拥有超大的数据量，需要极高的算力和网络基础架构支撑，这对本地数据中心造成了压力。
- 首先，大地量子所使用的公共数据的数据源大多存储在海外，包括存储在亚马逊云科技上，需要传输到本地才能进行模型的推理训练，而超远距离传输速度慢，难以满足大地量子对模型超短期训练的需求。
- 其次，超大数据分析会导致高昂的存储成本和计算成本，而大地量子一直致力于为客户提供 “快准易全” 的产品，因此更希望通过利用新技术实现自身成本的降低。
- 最后，大地量子在 AI 模型的训练上，也希望借助更先进的技术来提高运维效率，让人员更专注于业务创新。
因此，在评估了业务需求、成本预算和云服务厂商的能力之后，大地量子选择在气象预报系统的训练与预测、场站级的功率预测两部分业务中使用亚马逊云科技。目前，大地量子的风光功率预测精度已达业内领先，针对未来4小时的超短期预测精度可到97%。
利用亚马逊云科技的 Amazon FSx for Lustre、Amazon Simple Storage Service (Amazon S3) 等服务，大地量子快速为其全球天气预报系统构建起高性能计算集群。Amazon FSx for Lustre 不仅可以给大地量子 PB 级数据分析的计算提供支持，而且通过与亚马逊云科技的计算和编排服务原生集成，也为要求最严苛的高性能计算工作负载提供了支持，完全满足大地量子的每4小时和24小时的模型预测更新需求。而且在Amazon S3 存储类中存储数据也能实现成本节约，丝毫不会影响性能。
亚马逊云科技全球覆盖，海外数据可以直接在亚马逊云科技上处理，这让数据传输慢的问题迎刃而解，是大地量子数据流处理的最优选择。同时，亚马逊云科技基础设施的构建遵循着计算资源向数据靠拢的原则，从全局来讲效率最优，并且用户使用公开数据场景时，亚马逊云科技还提供了强大的成本优势。
对于大地量子来说，最关键的是打通整个数据流，从数据的传输存储，到读取进入内存，再到计算训练。这整个数据流处理过程就是一个木桶效应，短板决定着这个系统的效率，中间任何一个环节都需要高性能才能实现整个系统的高性能。亚马逊云科技几乎在每个环节都能做到业界领先水平，这让大地量子在大数据处理上可以保持竞争优势。
在新能源功率预测业务上，每一个场站都有一个模型，甚至是每一个风电厂的一台风机都将是一个模型，而且每个模型还会面临频繁的更新，所以所训练的模型数量众多。因此，大地量子一直期望搭建一套完备的机器学习运维 （MLOps） 体系，从而减少人员的运维工作量，提升工作效率。
大地量子对空间数据模型的 MLOps 非常重视。因此我们需要提供在线推理服务，需要 Notebook 对模型试训练，同时还要把复杂的模型训练管理起来。另外模型在工业环境中应用出现问题后，还需要追溯问题并尽快解决，而不是查看模型所有代码或者重新训练模型。所以我们需要一套工具，而 Amazon SageMaker 很好地做到了这些。
——王驰大地量子创始人兼 CEO
通过测试，大地量子看到 Amazon SageMaker 可以帮助开发人员快速、轻松地构建和训练机器学习模型，并直接将模型部署到生产就绪的托管环境中。同时，它还提供了一个集成的 Jupyter 编写 Notebook 实例，可让使用者轻松访问数据源来探索和分析，不需要管理服务器。王驰说，“如果自己打造一套 MLOps 管理体系，需要付出的时间成本、人力成本和试错成本，还有未知成本，将会远远高于直接使用 Amazon SageMaker。”
亚马逊云科技还提供了针对初创公司的云创计划，旨在为初创公司提供起步云资源和技术服务。这让大地量子可以以更高的性价比使用更先进的技术和产品资源，从而将成本控制在预期的一半左右，同时还可获得近距离的咨询和指导服务，帮助初创企业快速成长。大地量子在第一次使用 Amazon SageMaker 时，表示自己的理解会出现偏差，完全学习透彻这个产品可能需要两周左右的时间，但通过与亚马逊云科技的解决方案架构师和产品专家团队共同探讨后，只需要花费一天时间，效率大大提升。
更重要的是，在云创计划的加持下，初创企业不仅能够以较低的成本获得对业务运行支撑充足的计算、存储、网络等资源外，亚马逊云科技全球丰富的合作伙伴生态，还可以帮助初创企业快速发掘潜在机遇，加速市场拓展。例如，亚马逊云科技上有众多的能源行业成功实践，积累了大量的能源领域知识和经验。因此，在与大地量子针对新源领域打造联合解决方案时，亚马逊云科技基于之前帮助新能源企业大幅提升气象研究与预测模型性能的实践，给大地量子提供了不少独到的见解。
目前双方构建的新能源精准功率预测的联合解决方案，已经通过亚马逊云科技的市场平台，在重点客户群体中进行了全面推广，通过测试已获得部分客户认可。未来双方还将继续深度合作，为新能源业务的发展提供更多的最佳实践。了解云创计划点击此链接
大地量子成立于2017年，是国内领先，且具备国际影响力的专业时空数据服务商，专业能力覆盖卫星遥感、大数据中台、高性能计算、AI 算法等各个技术领域。大地量子持续扩展时空数据的多行业应用，助力用户实现数据驱动的业务升级，目前已支持农业、森林碳汇、农业保险、功率预测、电力交易、生态环保、普惠金融等领域共计30余个场景功能的应用，包括地表覆盖监测、超短期气象预报、水资源及水环境监测、森林资源动态监测、城市沉降监测等，其中部分数据精度已达到世界领先。
大地量子拥有超过30项自主知识产权，是中关村高新技术企业和国家高新技术企业。先后入选2020 年、2021年毕马威中国领先金融科技50强、机器之心 Pr2021AI 趋势先锋 Insight、《亿欧智库》2021 中国农业生产数字化研究报告等行业权威榜单，并成为盖茨基金会全球 AI 遥感产业地图唯一中国企业。