灵活构建
基于 Amazon SageMaker 灵活构建 iWrite、iTest、iTranslate 等产品
降低
生成式 AI 应用门槛
概述
北京外研在线数字科技有限公司(简称 “外研在线”)作为外语教学与研究出版社(简称 “外研社”)数字化升级转型的核心载体,是中国外语数字教育的推动者与引领者。目前,外研在线产品与服务已覆盖全国 31 个省、市、自治区的 1700 余所高校,全学段用户超过 7000 万人。外研在线基于亚马逊云科技人工智能与机器学习服务 Amazon SageMaker,开展生成式 AI 在教育领域的创新实践,轻松构建了外研 AIGC 平台、iWrite 英语协作教学与评阅系统、iTEST 智能测评云平台、iTranslate 计算机辅助翻译教学与实践平台等教学系统的开发和迭代,实现 AI 创新能力的新突破。目前,外研在线使用的亚马逊云科技服务包括:Amazon SageMaker、 Amazon Simple Storage Service (Amazon S3)、Amazon Elastic Compute Cloud(Amazon EC2)、Amazon Elastic Kubernetes Service(Amazon EKS)等。
机会 | 应用生成式人工智能技术,实现外语教学的智慧化提升
数字化转型的驱动力来源于数字技术的发展,教育数字化在提升学习者参与度、提升效率和公平性以及提升个性化因材施教等方面发挥很大作用。生成式人工智能(以下简称 “生成式 AI”)开创了模型主导内容生成的时代,在语言理解、推理和记忆、创新人机交互等方面的优势,正在触发教育教学模式的深刻变革,可以作为教师教学、学生学习的辅助工具,带来数字化转型的新体验。
在这种教学新形态下,外研在线正在积极投资相关应用的研发、组建技术能力强大的生成式 AI 团队,以适应不断发展的由生成式 AI 引领的教育领域新需求。基于教材优势,在转换数字化内容的同时,为学校搭建针对个性化教学场景的各种工具,如 iWrite 英语写作教学与评阅系统、iTEST 智能测评云平台、iTranslate 计算机辅助翻译与教学平台等,并结合大语言模型对系统进行了功能升级,建立基于人工智能生成的辅助英文写作、英语口语练习场景模拟、英语学习知识问答、英语学习等全方位能力,创造交互式、自动化的学习环境,实现对外语教学的智慧化提升。此外,外研在线还结合大语言模型、扩散模型和语音技术研发了外研 AIGC 平台,提供推文创作、智能数据查询分析、图片生成、语音合成、题目生成、课标问答及知识库问答等服务。
大范围的生成式 AI 探索与测试,势必需要大规模的 IT 基础设施投资与建设,而这需要灵活、易部署、高效的底层基础设施架构提供支持。因此,外研在线的人工智能团队在其首席技术官兼技术共享中心总经理董晋鹏的带领下,首先详细评估了生成式 AI 对业务的影响与挑战;其次,希望通过与拥有强势技术沉淀的基础设施提供商合作,对市面上主流的基础大模型进行大范围的评测和试用,以选择出最匹配外研在线教学环境,并可应用于实际场景中的基础模型工具。此外,为了满足长期持续的推理需求,外研在线还需要进行数据的清洗,模型的定制化、量化、微调和压缩等优化工作,以降低大语言模型的使用成本。考虑到这些需求,以及亚马逊云科技对于以上外研社对基础设施提供商需求的全面满足,再加上双方多年的成功合作经验,最终外研在线决定与亚马逊云科技合作。
外研在线一直与亚马逊云科技通力合作,运用亚马逊云科技高性价比的基础设施、全面的生成式 AI 解决方案研发了外研 AIGC 平台,并升级了 iWrite、iTEST、iTranslate 等教学系统,推进教育数字化转型。“
董晋鹏
外研在线首席技术官兼技术共享中心总经理
解决方案 | 灵活构建自有模型,让微调更为简捷轻松
一直以来,外研在线都与亚马逊云科技深入合作,早在 2015 年,外研在线就通过亚马逊云科技丰富的基础设施产品搭建了微服务化、自动伸缩的架构,为用户了提供稳定、流畅的使用体验。更值得一提的是,外研在线也是亚马逊云科技教育与医疗行业中最早一批使用 Amazon Aurora 数据库的企业级用户之一。因此,基于双方良好的合作基础,在拓展生成式 AI 应用时,外研在线同样选择基于亚马逊云科技基础设施和产品服务进行构建。
Amazon SageMaker 快速完成模型推理服务构建
在搭建外研 AIGC 平台时,外研在线应用机器学习服务 Amazon SageMaker 为大模型进行微调,而数据处理部分由 Amazon EC2 承担工作负载,处理第三方的开源数据集,并使用 Amazon S3 保存 AI 模型的各种数据和模型文件,以此获得在大模型上更简单、更容易构建生成式 AI 应用的能力。
Amazon SageMaker 为企业提供了一整套工具和框架,包括数据标注、模型训练、模型部署、自动化建模等功能,这套基于 API 的端到端模型部署方案,可以实现基础模型的二次开发微调,为所有开发人员构建、训练和部署模型提供便利。例如,在构建 “虚拟口语教师” 功能过程中,外研在线发现,市面上适合的大模型体量巨大,相应地微调成本也相当高昂。他们希望能够对模型进行多样化测试,在不影响系统性能的前提下,降低整体微调、训练和推理成本,而 Amazon SageMaker 就成为了外研在线做概念验证的理想选择。通过多次测试和对比,外研在线最终选择了适合现有业务规模的大模型,有效降低了成本。又如,在生成相关图形时,外研在线存在图像模型选择的困难,而基于 Amazon SagaMaker Jumpstart 功能,外研在线快速完成了对 Stable Diffusion 模型的微调和相关插件功能测试,成功构建了该应用。
基于亚马逊云科技架构的外研 AIGC 平台示意图
降低门槛,专业技术支持让大模型部署更简单、高效
对于外研在线格外关注的大模型部署问题,亚马逊云科技提供了丰富的专业技术支持资源,其专业服务团队(Amazon Professional Services)与外研在线 AI 团队通力合作,协助评测了市面上几乎所有的大语言模型和生成式 AI 工具,并针对不同的应用场景完成多次 POC 测试,为外研 AIGC 平台这一创新应用提供新思路和建议。在测试过程中,亚马逊云科技的 “基于 Stable Diffusion 的生成式 AI 解决方案指南” 以及 “基于智能搜索和大语言模型打造企业下一代知识库解决方案指南” 发挥了重要作用,客户利用生成式 AI 技术自动生成图片大大提高了生产效率,同时采用 Amazon SageMaker 部署了多个大语言模型进行测试和比较,并能够以直观的方式演示实时推理,可运行批量推理任务。使繁复的测试变得更为简单、高效,确保外研 AIGC 平台按时上线运行。
在 iTranslate 平台功能升级时,亚马逊云科技专业服务团队协助外研在线构建了初始原型,从语言模型的选择到训练和迭代,为外研在线后续的优化和改造奠定了基础;开发虚拟教师应用时,从最开始大模型微调到此后的推理,对话和任务框架的搭建,也都由亚马逊云科技专业服务团队主导。
业务成果 | 生成式 AI 能力储备丰富,从容应对生成式 AI 技术变革冲击
在亚马逊云科技助力下,外研在线利用自然语言指导、激发人工智能模型完成特定任务,推出 iTEST、iWrite、iTranslate 等提供智能点评、译文润色的新服务,实现基于项目的学习、人机交互式共创学习、无限个性化学习、沉浸式学习等新学习方式,帮助学生获得更好的学习体验,同时也减轻教师的工作负担,达成提高教学效率和质量的目标。外研 AIGC 平台管理服务场景中的知识库问答,已经对内提供服务,老师们可以快速获取准确的问题答案,减少人力投入。
通过 Amazon SageMaker,外研在线能够轻松地基于基础模型,利用自身的数据构建差异化的应用程序。同时,在自然语言处理层面,外研在线还自主研发了翻译批改、语音评测等引擎,拥有了开发相关 AI 应用的基础能力。
更为重要的是,这些应用的开发、上线和迭代,不仅帮助外研在线开拓了数字化智慧教育新版图,还为其积累了丰富的技术储备跟人才经验,以便更好地应对生成式 AI 技术变革的冲击。
如今,越来越多的教育机构已经开始与亚马逊云科技在生成式 AI 领域紧密合作,基于亚马逊云科技开发各类智慧教学应用,包括课件图片生成、内容创作、语音合成、数学题目解答器、基于 AI 生成的助教内容、教学分析以及教师数字素养提升等,并在教与学两端都得到了积极的反馈。未来,外研在线还将在生成式 AI 的版图上继续开拓,为学生、教师研发更多寓教于乐的应用,助力教育数字化转型。
关于外研在线
外研在线作为外语教学与研究出版社(简称 “外研社”)数字化升级转型的核心载体,是中国外语数字教育的推动者与引领者。自 2014 年起,外研在线依托北京外国语大学和外研社的优质资源及品牌积淀,将先进科学技术深度融合优质教学资源,形成涵盖基础教育、职业教育、高等教育和成人教育的终身外语教育格局,构筑含内容、软件、硬件、服务的教学生态和含课题、联盟、协会、社区、基地、标准的服务生态,通过双生态系统赋能教学育人新模式。
使用的亚马逊云科技服务
Amazon EC2
Amazon Elastic Compute Cloud (Amazon EC2) 提供最广泛、最深入的计算平台,拥有超过 500 个实例,可选择最新的处理器、存储、网络、操作系统和购买模型,以帮助您最好地满足工作负载的需求。
开始使用
不同行业和规模的企业都在使用亚马逊云科技对其业务进行转型,以实现自身愿景。联系我们的专家,立即踏上您的亚马逊云科技之旅。