了解亚马逊药房如何使用亚马逊 SageMaker 创建基于 LLM 的聊天机器人

亚马逊药房 是 亚马逊 上提供全方位服务的药房 ，提供透明的定价、临床和客户支持，并免费送货上门。客户服务代理在快速准确地实时检索与药房信息相关的信息方面起着至关重要的作用，包括处方说明和转账状态、订单和配药详细信息以及患者档案信息。亚马逊药房提供聊天界面，客户（患者和医生）可以在其中与客户服务代表（代理）在线交谈。代理商面临的一个挑战是在回答客户的问题时找到准确的信息，因为医疗保健流程（例如解释事先授权）的多样性、数量和复杂性可能令人望而生畏。找到正确的信息、对其进行总结和解释需要时间，从而减缓了为患者提供服务的速度。

为了应对这一挑战，Amazon Pharmacy 开发了一个生成式 AI 问答 (Q&A) 聊天机器人助手，使代理能够通过自然语言搜索实时检索信息，同时保持与客户的人机互动。该解决方案符合 HIPAA 标准，可确保客户隐私。此外，代理将与机器生成的答案相关的反馈提交给亚马逊药房开发团队，以便将其用于未来的模型改进。

在这篇文章中，我们描述了亚马逊药房如何使用亚马逊云科技 AI产品实施其客户服务代理助理聊天机器人解决方案，包括 亚马逊 SageMaker JumpStart中的基础模型，以加速其开发。首先，我们通过添加基于大型语言模型 (LLM) 的聊天机器人来重点介绍客户服务代理的整体体验。然后，我们将解释该解决方案如何使用检索增强生成 (RAG) 模式进行实现。最后，我们描述产品架构。这篇文章演示了如何将生成式人工智能集成到复杂且监管严格的业务中已经在运行的应用程序中，从而改善药房患者的客户服务体验。

基于 LLM 的问答聊天机器人

下图显示了患者通过聊天联系亚马逊药房客户服务的流程（步骤 1）。客服人员使用单独的内部客户服务界面向基于 LLM 的问答聊天机器人提问（步骤 2）。然后，客户服务界面将请求发送到托管在 亚马逊云科技 Fargate 上的服务后端 （步骤 3），在该服务后端通过模型和数据检索流程（统称为 RAG 流程）的组合来协调查询。此过程是基于 LLM 的聊天机器人解决方案的核心，其详细信息将在下一节中介绍。在此过程结束时，计算机生成的响应将返回给代理，代理可以先查看答案，然后再将其提供给最终客户（步骤 4）。值得注意的是，客服人员经过培训，可以行使判断力，并使用基于LLM的聊天机器人解决方案作为工具来增强他们的工作，因此他们可以将时间花在与客户的个人互动上。代理还会用他们的反馈（例如，正面或负面）来标记机器生成的响应。然后，Amazon Pharmacy 开发团队使用这些反馈来改进解决方案（通过微调或数据改进），与用户形成持续的产品开发周期（步骤 5）。

下图显示了问答聊天机器人和客服互动的示例。在这里，代理人正在询问索赔拒绝码。问答聊天机器人（Agent AI Assistant）通过明确描述拒绝代码来回答问题。如果需要，它还提供原始文档的链接，供代理跟进。

加速 ML 模型开发

在前面描述聊天机器人工作流程的图中，我们跳过了如何训练问答聊天机器人模型初始版本的细节。为此，亚马逊药房开发团队受益于使用SageMaker JumpStart。SageMaker JumpStart 允许团队快速尝试不同的模型，运行不同的基准测试和测试，但根据需要快速失败。 快速失败 是科学家和开发人员实践的概念，目的是快速构建尽可能现实的解决方案，并从他们的努力中吸取教训，在下一次迭代中做得更好。在团队确定模型并进行了任何必要的微调和自定义之后，他们使用 SageMaker 托管 来部署解决方案。在SageMaker JumpStart中重复使用基础模型使开发团队可以减少数月的工作，而这些工作本来是从头开始训练模型所需要的。

RAG 的设计模式

该解决方案的一个核心部分是使用 检索增强生成 (RAG) 设计模式来实施问答解决方案。这种模式的第一步是识别一组已知的问答对，这是解决方案的初始基本真相。下一步是将问题转换为更好的表示形式，以实现相似性和搜索目的，这称为 嵌入 （我们将更高维度的对象嵌入到维度较小的超平面中）。这是通过嵌入特定的基础模型完成的。这些嵌入被用作答案的索引，就像数据库索引如何将主键映射到行一样。现在，我们已准备好支持客户提出的新查询。如前所述，体验是客户将查询发送给代理，然后由代理与基于LLM的聊天机器人进行交互。在问答聊天机器人中，查询被转换为嵌入式，然后用作匹配索引的搜索键（从上一步开始）。匹配标准基于相似度模型，例如 FAISS 或 亚马逊开放搜索服务 （更多详情，请参阅 亚马逊 OpenSearch 服务的矢量数据库功能 说明）。 当有匹配项时，将检索出排名靠前的答案并将其用作生成模型的提示上下文。这与 RAG 模式中的第二步——生成步骤相对应。在此步骤中，提示将发送到 LLM（生成器基础模态），该模态构成了机器对原始问题生成的最终答案。此回复通过客户服务界面反馈给代理，后者验证答案，在需要时对其进行编辑，然后将其发回给患者。下图说明了这个过程。

管理知识库

正如我们在RAG模式中学到的那样，执行问答的第一步是检索数据（问答对），用作 LLM 提示的上下文。这些数据被称为聊天机器人的 知识库 。此类数据的示例包括亚马逊药房内部标准操作程序 (SOP) 和 亚马逊药房帮助中心 提供的信息。为了简化索引和检索过程（如前所述），将所有这些信息收集到一个存储库中通常很有用，这些信息可能托管在不同的解决方案中，例如在 Wiki、文件和数据库中。在亚马逊药房聊天机器人的特殊案例中，我们使用 亚马逊简单存储服务 （Amazon S3）来实现此目的，因为它既简单又灵活。

解决方案概述

下图显示了解决方案架构。客户服务应用程序和基于 LLM 的问答聊天机器人部署在自己的 VPC 中，用于网络隔离。 VPC 终端节点 之间的连接通过 亚马逊云科技 Pri vat e Link 实现，从而保证了它们的隐私。问答聊天机器人同样拥有自己的 亚马逊云科技 账户，用于角色分离、隔离和便于监控，以实现安全、成本和合规目的。问答聊天机器人编排逻辑由 亚马逊弹性容器服务 （亚马逊 ECS ）托管在 Fargate 中。要设置 PrivateLink， 网络负载均衡器 会将请求 代理到 应用程序负载均衡器 ，该负载均衡器 会停止终端客户端 TLS 连接并将请求移交给 Fargate。主要存储服务是亚马逊 S3。如前所述，相关的输入数据以所需的格式导入到问答聊天机器人账户中，并保留在 S3 存储桶中。

在机器学习 (ML) 基础设施方面， Amazon S ageMaker 处于架构的中心。如前几节所述，使用了两个模型，即嵌入模型和 LLM 模型，它们托管在两个独立的 SageMaker 端点中。通过使用 SageMaker 数据捕获 功能，我们可以记录所有推理请求和响应以进行故障排除，同时具备必要的隐私和安全限制。接下来，从代理那里获得的反馈存储在单独的 S3 存储桶中。

问答聊天机器人设计为多租户解决方案，支持亚马逊健康服务提供的其他健康产品，例如亚马逊诊所。例如，该解决方案使用适用于基础设施即代码 (IaC) 的 亚马逊云科技 CloudFormation 模板进行部署，允许使用不同的知识库。

结论

这篇文章介绍了亚马逊药房生成式人工智能客户服务改进的技术解决方案。该解决方案包括一个在SageMaker上实现RAG设计模式的问答聊天机器人和SageMaker JumpStart中的基础模型。借助此解决方案，客户服务代理可以更快地为患者提供帮助，同时提供准确、翔实和简洁的答案。

该架构使用带有独立组件的模块化微服务，用于准备和加载知识库、聊天机器人（指令）逻辑、嵌入式索引和检索、LLM 内容生成以及反馈监督。后者对于正在进行的模型改进尤其重要。SageMaker JumpStart 中的基础模型用于快速实验，模型服务是通过 SageMaker 端点完成的。最后，符合HIPAA标准的聊天机器人服务器托管在Fargate上。

总之，我们看到了亚马逊药房如何使用生成人工智能和亚马逊云科技来改善客户服务，同时优先考虑负责任的人工智能原则和实践。

您可以 立即开始在 SageMaker JumpStart 中尝试基础模型 ，为您的用例找到合适的基础模型，并开始在 SageMaker 上构建生成式 AI 应用程序。

作者简介

Burak Gozluklu 是位于马 萨诸塞州波士顿的首席人工智能/机器学习专业解决方案架构师。他帮助全球客户采用 亚马逊云科技 技术，特别是 AI/ML 解决方案来实现其业务目标。Burak 拥有麻省理工大学的航空航天工程博士学位、系统工程硕士学位和位于马萨诸塞州剑桥的麻省理工学院的系统动力学博士后。Burak 热衷于瑜伽和冥想。

Jangwon Kim 是亚马逊健康商店与科技公司的高级应用科学家。他在法学硕士、自然语言处理、语音人工智能和搜索方面拥有专业知识。在加入亚马逊健康之前，Jangwon是亚马逊 Alexa Speech 的应用科学家。他的总部设在洛杉矶。

亚历山大·阿尔维斯 是亚马逊健康服务的高级首席工程师，专门研究机器学习、优化和分布式系统。他帮助提供健康前瞻性的健康体验。

Nirvay Kumar 是亚马逊健康服务的高级软件开发工程师，在从事配送技术工作多年之后，他领导了药房运营领域的架构。凭借分布式系统方面的专业知识，他对人工智能的潜力产生了日益增长的热情。Nirvay 将他的才华运用到工程系统中，这些系统通过创造力、关怀、安全性和长期愿景来解决客户的实际需求。在不在华盛顿山区徒步旅行时，他会专注于深思熟虑的设计，以预见意想不到的情况。Nirvay 旨在构建经得起时间考验并满足客户不断变化的需求的系统。