概览
概览
该解决方案指南基于大语言模型的强大自然语言处理能力,使非技术人员也可以通过自然语言进行数据查询和分析,无需掌握 SQL 等专业技能。该指南通过大语言模型 服务生成 SQL 及分析,并且通过 Amazon OpenSearch 检索对应的历史 Q/A 提升提示词质量,形成更准确的结果。这大大降低了用户的数据分析门槛,用户无需依赖技术人员就可以自助获取数据洞察,提升决策效率。该指南充分发挥了大语言模型在自然语言处理上的优势,实现了自动业务语言理解、SQL 转换、数据提取、分析建模等功能,极大地提升了组织的自助分析和业务响应能力,是达成数据洞察的有效途径。
该解决方案指南基于大语言模型的强大自然语言处理能力,使非技术人员也可以通过自然语言进行数据查询和分析,无需掌握 SQL 等专业技能。该指南通过大语言模型 服务生成 SQL 及分析,并且通过 Amazon OpenSearch 检索对应的历史 Q/A 提升提示词质量,形成更准确的结果。这大大降低了用户的数据分析门槛,用户无需依赖技术人员就可以自助获取数据洞察,提升决策效率。该指南充分发挥了大语言模型在自然语言处理上的优势,实现了自动业务语言理解、SQL 转换、数据提取、分析建模等功能,极大地提升了组织的自助分析和业务响应能力,是达成数据洞察的有效途径。
应用场景
应用场景
该方案能够通过分析工厂生产数据,提供洞见和优化建议,从而优化生产流程,提高运营效率。
可以自动生成供应链数据报表,实现供应链数据自动化链路,提高供应链透明度和敏捷性。
对销售和服务数据进行深入分析,可为运营人员提供有价值的见解,提升其工作效率。
优势
优势
非技术人员可以独立地对多维度和多指标的复杂业务数据进行复杂的数据分析,而无需数据分析师或 BI 团队的帮助。
技术人员例如数据分析师或 BI 团队可以满足数据分析的临时需求,并及时响应不同业务角度的临时需求。
使用 LLM 自动化处理重复性数据分析工作,减少工作时间和最小化人工成本来优化和节省数据分析和数据运营团队的成本。
架构图及说明
查询被发送到 Amazon OpenSearch,根据嵌入式的现有历史记录检索前 k 个结果。
Amazon Lambda 将查询、提示和检索到的历史问答(少数样本)组合成一个提示,以调用部署在 Amazon SageMaker上 的大语言模型。
查询被发送到嵌入模型以生成用于检索的嵌入。OpenSearch 使用 KNN 检索前 k 个问答对作为生成的示例。
Amazon Lambda 从数据库中提取 DDL 信息(包括列描述和表描述),然后组合成提示。
生成的 SQL 语句在数据源上运行并提供数据结果。
历史数据和提供的示例数据定期填充到 OpenSearch 中。
数据库管理员定期将问答示例提供到 Amazon DynamoDB 中。
* 您应当依法使用服务和本解决方案并遵循相应的合规要求(包括进行算法备案、使用经过备案的大语言模型等等,如适用)
架构图及说明
用户通过前端服务(Streamlit)在 Amazon ECS 上触发搜索请求。
ECS 将请求路由到 Amazon Lambda 函数,该函数连接到不同的后端服务。
查询被发送到 Amazon OpenSearch,根据嵌入式的现有历史记录检索前 k 个结果。
Amazon Lambda 将查询、提示和检索到的历史问答(少数样本)组合成一个提示,以调用部署在 Amazon SageMaker上 的大语言模型。
查询被发送到嵌入模型以生成用于检索的嵌入。OpenSearch 使用 KNN 检索前 k 个问答对作为生成的示例。
Amazon Lambda 从数据库中提取 DDL 信息(包括列描述和表描述),然后组合成提示。
生成的 SQL 语句在数据源上运行并提供数据结果。
历史数据和提供的示例数据定期填充到 OpenSearch 中。
数据库管理员定期将问答示例提供到 Amazon DynamoDB 中。
* 您应当依法使用服务和本解决方案并遵循相应的合规要求(包括进行算法备案、使用经过备案的大语言模型等等,如适用)