在亚马逊云科技上构建大语言模型训练和推理平台，让行业客户获得具有成本效益的生成式 AI 应用

大语言模型是生成式 AI 应用的重要基石，正在为各行各业带来前所未有的技术革新。在实际应用中，大语言模型所驱动的智能对话应用，智能聊天机器人等能够针对用户提问给出高效和准确的答复，帮助行业用户提升业务效率与用户的满意度。灵境未来作为一家提供企业级大语言模型定制化解决方案的初创公司，其核心团队来自于硅谷一线科技厂商以及国内外知名高校，致力于以最低成本和符合行业需求的大语言模型来帮助行业用户实现私有数据价值的最大化。

“我们的团队优势在于为特定行业的用户提供经过微调的大语言模型方案，例如在心理咨询、智能客服、法律咨询等方向提供快速的模型训练和应用构建。但对于我们这样的初创企业来说，构建这样的训练和推理平台上离不开强大的算力支持，自建 GPU 计算集群显然是缺乏成本效益的，因此云优先就成为了我们创业的首选项。” 灵境未来创始人王森洪谈到。“另一方面，生成式 AI 热度的不断增长也加剧了市场的竞争，作为一家初创公司，我们需要在短时间内完成方案的构建并快速将其推向市场，这不仅需要云提供商具有稳定的算力支撑，我们也希望从业界获得一些构建和运维的最佳实践。”

生成式 AI 对于算力要求非常高，灵境未来致力于大语言模型的微调方案，通过技术手段降低训练成本；因此，降成本是企业的重要任务。此外，对于云优先战略的灵境未来而言，选择稳定的云服务亦是重要的考量标准。综合以上两方面，灵境未来最终选择了亚马逊云科技。

要快速把握生成式 AI 与大语言模型所带来的商业机会，并基于未来全球业务拓展的规划、客户数据隐私保护以及云上服务成熟度等多种因素，灵境未来选择在亚马逊云科技上构建面向行业用户的定制化大语言模型训练和推理平台，并加入了亚马逊云科技云创计划，借助丰富的技术和商业资源加速业务的起步。

“亚马逊云科技对初创企业非常友好，云创计划就是其中一项优质的资源，我们能够用非常低的成本在云上构建业务、验证我们的想法，并将其产品化。” 王洪森说，“亚马逊云科技通过云创计划为我们配备了架构师团队，并且非常理解我们的需求，无论是架构建议、构建和运维监控方面都给予了我们支持，让我们可以借助亚马逊云科技在生成式 AI 领域的最佳实践加速行业解决方案的构建与部署。”

在亚马逊云科技架构师团队的协助下，灵境未来于 2023 年 5 月开始定制化大语言模型训练和推理平台在云上的开发和部署。灵境未来选择了包含 GPU 的 Amazon Elastic Compute Cloud (Amazon EC2) 实例来为大语言模型的训练与推理提供算力支持，并采用了容器化的方式进行应用的部署，利用 Amazon Elastic Container Registry（Amazon ECR）全托管式容器注册表管理应用的映像和构建，结合 Amazon Elastic Kubernetes Service（Amazon EKS）实现容器编排，并结合 Amazon EC2 的 GPU 实例完成作业的训练。在为业务平台选择数据库服务时，灵境未来基于云优先和云原生的原则采用了无服务器的 Amazon Aurora Serverless 来为业务打造具有高可用性和高扩展性的数据库，以灵活的面对不断变化的工作负载，适应大语言模型训练和推理平台在当前和未来的数据管理需求。在平台前端，灵境未来的技术团队也部署了 Elastic Load Balancing (ELB) 灵活处理应用的负载，为平台提供更好的可用性。

经过一系列的概念验证与部署，灵境未来目前已经在亚马逊云科技上部署了包括 LLaMA 等在内的多款开源大语言模型，并将自身在行业领域的经验融入解决方案中，为心理咨询、法律等行业客户提供定制化的微调服务，帮助客户构建基于生成式 AI 的业务应答与对话应用。针对用户的数据安全保护需求和行业特点，灵境未来也充分应用了亚马逊云科技在安全合规性和数据保护的优势，为每一个行业客户提供独立的训练和应用环境，通过安全的隔离让用户享受生成式 AI 便利性的同时将数据保护在可控边界之内。

通过加入亚马逊云科技的云创计划，灵境未来能够借助一系列的资源实现快速的概念验证并实现快速的构建，将基于大语言模型的一站式训练和推演平台开发周期缩短一半时间，避免自建 GPU 运算集群所需的硬件采购周期，更快拥抱生成式 AI 所带来的新业务机会。“亚马逊云科技的架构师团队为我们的前期开发和部署提供了完善的支持，大大加速了我们前期针对产品所需部署得开发环境搭建时间，让原本计划 6 个月完成得产品 Beta 版本发布缩短至 3 个月完成并上线，为我们软件产品的专利和著作权申请赢得了宝贵的时间。” 王洪森谈到。

在业务中引入服务器计算，灵境未来也在运维方面释放了 30% 的人力资源，让团队能够更加专注于解决方案的研发与功能迭代。在业务中引入无服务器架构的 Amazon Aurora Serverless，灵境未来可以根据应用程序的需求自动启动、关闭以及扩展或缩减数据库的容量，尤其是在业务上线后的扩展阶段无需投入专门的运维人力进行资源的预估和日常维护。因此企业可以将技术人力资源进行更好的分配，实现业务的持续更新与优化。

此外，灵境未来的研发团队将 Amazon EKS 自动化的容器编排与服务调度与 Amazon EC2 Spot 实例在价格上的优势结合在一起，为大语言模型的训练和推理过程提供了可预测的价格，也实现了成本上的优化。“我们使用亚马逊云科技的 API 自动化的查询资源报价并选择合适的实例规格完成部署，例如我们可以把持续运行的负载部署到预留实例上，用更具成本效益的 Spot 实例处理用户的推理需求。” 王洪森谈到，“与按需实例相比，我们可以节约超过 70% 的基础设施成本，这也意味着我们能够用更低的价格让客户体验大语言模型的魅力。”

展望未来，灵境未来将继续在大语言模型与生成式 AI 领域借助亚马逊云科技所提供的技术不断创新，拓展更多行业解决方案。灵境未来的团队也在积极探索 Amazon SageMaker 托管机器学习服务在生成式 AI 领域的价值，并与亚马逊云科技在市场营销领域合作，计划加入亚马逊云科技合作伙伴网络（APN）并将一站式训练和推演平台上架亚马逊云科技 Marketplace，让更多的客户可以从生成式 AI 的应用中获益。

深圳市灵境未来信息技术有限公司（简称“灵境未来”）成立于 2023 年 1 月，是一家提供企业级大语言模型定制化解决方案的初创公司。致力于打造一站式的模型训练和推演平台，通过优化内存管理、任务调度等来降低成本和自动扩容。灵境未来的团队皆来自美国硅谷一线科技厂商，并且在机器学习、AI Infra 等领域拥有丰富经验。