亚马逊云科技中国区企业级支持服务助力聚云科技降本增效，加速生成式 AI 赋能

保持系统的及时升级是亚马逊云科技的最佳实践之一，不论是从效率还是安全考虑，都是企业必须要做的事。行业内因为升级不及时或升级策略失当而导致的运营事故屡见不鲜。但系统升级并不是件容易的事情，随着系统功能和数据量的增多，系统的升级镜像也越来越大，加上需要升级部署的终端设备规模越来越大，导致原先的升级带宽明显不足。

猎户星空是业内知名的 AI 大模型及软硬件机器人解决方案提供商，也是聚云科技的客户之一，聚云科技为猎户星空提供底层技术运维服务。猎户星空的服务型机器人升级需要在夜间进行，以确保日间的正常运行不受影响。因此，聚云科技必须在不投入新的网络带宽等基础设施的情况下，优化其现有的终端设备系统更新方案。

在生成式 AI 大潮来袭之时，许多客户希望借助生成式 AI 技术赋能其业务场景，但缺乏相关的技术和底层运维能力。为此，聚云科技率先开展了生成式 AI 相关技术探索和尝试，实现了技术服务能力的升级，为客户构建生成式 AI 扫清障碍，铺平道路。

聚云科技 CTO 丁冠宇表示：“亚马逊云科技企业级服务是我们云上不可或缺的关键服务之一，他们的专家团队往往能看到我们在云上构建的关键问题，更重要的是能够为我们如何更好地发挥云计算的潜力提供更多视野，并能够事无巨细地指导我们的云上实践。这加大了我们在云上构建的信心和决心。”

亚马逊云科技企业级支持服务团队与聚云科技团队共同调研后，决定对猎户星空运行的容器服务 Amazon EKS 系统进行点对点传输（P2P）式的大规模升级部署。原先的升级过程中，终端机器人直接从数据中心拉取升级系统镜像，终端数量多，镜像的数据量也越来越大，单独一个镜像最大可达数十 GB。新的升级过程中加入了 P2P 支持，终端不再全部直接连接中心镜像，而是一个节点拉取后分享给附近的节点。这样的做法更有效地利用了整体的网络布局，是云上部署的最佳实践之一，能够有效缓解大规模并发导致的网络堵塞问题。

大语言模型定制是许多企业利用生成式 AI 的主要方式，而 RAG 检索增强生成技术是实现定制化的最快方法之一，即将相关的知识转化为向量后，可以通过向量间的距离来更好地判断语义间的相似性，使得呈现出来的回答结果更具相关性。

聚云科技率先进行了生成式 AI 技术原形的探索，属于率先跟进生成式 AI 浪潮的国内企业之一。
最初选择了开源的向量数据库服务，经过深入测试，无法满足性能要求且维护成本较高，了解到亚马逊云科技 OpenSeach 服务已支持向量数据库服务后，选择使用该服务，经过多轮测试，目前稳定支持业务服务。亚马逊云科技企业级支持服务团队向聚云科技推荐了 Amazon OpenSearch Service，它可以提供稳定的向量计算环境。

Amazon OpenSearch Service 是一项用于交互式日志分析、实时应用监控和网站搜索等工作的托管数据分析服务，通过 kNN 插件提供词汇和向量搜索，并持续进化其功能，例如为其无服务器版本加入了向量引擎功能。亚马逊云科技的这些创新功能可以更好地帮助聚云科技以帮助客户更快地推进生成式 AI 的落地。

聚云科技自 2019 年将其 EKS 容器化系统等迁移至亚马逊云科技上之后，便在亚马逊云科技企业级支持服务团队的帮助下，利用亚马逊云科技提供的大量成本优化技术和工具以及客户最佳实践，多管齐下地开启了云上成本优化之旅。

首先，聚云科技从现有的成本优化方案入手，这种方式简单直接起效快，直接选用即可实现成本优化。在定价模式上，聚云科技根据负载需求不同择优而选。亚马逊云科技提供按需、预留以及今年在中国区新推出的 Savings Plans 定价模式，后两种模式相比按需实例能节省大量的实例成本，以 Savings Plans 为例，可以在 Amazon EC2、Amazon Fargate 和 Amazon Lambda 等服务上节省高达 84% 的费用。在存储方面，聚云科技综合利用不同价格和不同性能的存储服务，改善总体成本，例如利用成本更低的冷存储层来存储存档数据等低访问频次需求的数据，或是利用 Amazon EBS 新一代的通用型存储卷 GP3，每 GB 价格可比上一代 GP2 卷节约 20%。

其次，聚云科技根据云上容器化最佳实践从架构优化入手来节省成本。亚马逊云科技企业级支持服务团队在与聚云科技深入沟通调研后，提出了复用节点的方式来减少 EKS 集群数目，在不影响业务功能的情况下实现了成本节约。

聚云科技在亚马逊云科技企业级支持服务团队的帮助下，拥有了先进的 EKS 容器化系统运维能力。聚云科技也是亚马逊云科技 APN 合作伙伴网络体系的成员，拥有 MSP 认证，以及迁移、DevOps、数据分析和 EMR 大数据领域等能力认证。聚云科技帮助猎户星空实现利用脚本自动化 EKS 升级部署，同时在不投入更多硬件设施的情况下，改善了 EKS 系统升级慢的问题，降低了 50% 的升级耗时，确保了猎户星空终端服务机器人的业务功能不中断。

聚云科技的运维能力和创新能力为猎户星空的机器人业务发展提供了可靠保障。截止 2023 年 12 月份，猎户星空的服务机器人已经遍布全球 60 多个国家和地区，总服务人次近 5.5 亿，总出货量已超过 6 万台。

通过多管齐下的云成本优化路径，聚云科技成为了云成本优化的最佳实践之一，与最初的成本相比，优化比例高达 60%。
在系统运维之外，聚云科技也在生成式 AI 领域取得喜人进展，例如在其云成本管理平台 SavingsNow 中推出了能够生成图表和报告的 BIChat 功能，大幅提升云成本优化效率。

聚云科技 CTO 丁冠宇表示：“在云成本越来越受关注的当下，如何更经济地用好云才是企业更应该研究的课题。通过亚马逊云科技企业级支持服务，我们真正做到了降本增效，这让我们有更多精力去钻研核心业务和生成式 AI 等前沿技术。最近我们将大模型能力应用到了我们自研的云成本管理平台 SavingsNow 上，推出了 BIChat 功能，支持通过自然语言生成图表和报告，能够将云成本分析报告的制作时间从 2-3 天缩短至 30 分钟，彻底变革了企业云成本优化的实施效率。”

聚云科技是一家多云管理服务提供商，秉持“以专业成就客户”的使命，通过软件定义服务，帮助企业在数字化转型过程中，快速实现统一管理、弹性扩张、效能提升、优化成本。