发布于: Sep 18, 2023
书接上篇，在对生成式 AI 有了基本的了解后，接下来我们继续分享由亚马逊云科技高级开发技术推广工程师 Brooke Jamieson 整理总结的生成式 AI 词汇表的 N-Z 部分内容！
神经网络是人工智能对于人类大脑处理信息过程的一种模仿，通过每层或者说“神经元”中的关联节点对数据进行学习，并随着时间推移不断提升性能。神经网络使得计算机可以处理像图像和文字解读等复杂的任务，所以它在图像识别、语音转换文本、自然语言处理、以及个性化推荐等服务的实现中至关重要。神经网络可以学习并模仿输入输出数据间复杂且非线性的关系。
如果你对神经网络感兴趣，可扫描下方二维码查看亚马逊云科技云计算概念开放平台中的“什么是神经网络（What is a Neural Network）”页面，里面有概括的介绍可用于参考。
在 AI/ML 中，优化意味着通过调整超参数对模型进行微调以提高性能。这些超参数属于外部配置变量，例如神经网络中的节点数量或学习率等超参数在模型训练开始之前就已设定。使用贝叶斯优化或网格搜索等方法寻找这些超参数的最优值称为超参数调优，此过程可以确保模型获得最优结果和精确度。欲了解更多关于超参数的信息，请扫描下方二维码访问亚马逊云科技云计算概念中心的“什么是超参数调优？”页面，或深入了解亚马逊云科技机器学习博客的“Hyperparameter optimization for fine-tuning pre-trained transformer models from Hugging Face”文章，以便获得更具操作性和技术性的概述。
提示工程（Prompt Engineering）是设计和精炼提示或输入激励以引导大型语言模型生成特定输出的过程。这涉及谨慎选择关键字，提供上下文，以及在构建输入时，对模型要有具体的引导以使其产生期望的回复。无需通过微调复杂定制，通过提示工程即可控制模型的风格，语调和专业知识。在提示工程上预先投入精力，即便在未知数据或数据有限的情况下，模型生成也能表现良好。
如需进一步了解提示工程基础，请扫描下方二维码参阅 Mike Chambers 的视频“Prompt Engineering and In Context Learning（提示工程和情境学习）”，该视频是其“Introduction to Large Language Models (LLMs)（大型语言模型简介）”系列的一部分。
通常来说，量化涉及将连续值转化为离散值。连续值是你可以测量的东西，并且可以在一定区间内取任何值（例如，温度值可以是 26.31°），离散值则是孤立的点集（例如，海滩上的可卡犬的数量）。在机器学习的背景下，量化在神经网络中发挥作用，此时它表示将权重和激活转换为低精度值。这是一个重要的转换过程，特别是如果模型需要在内存有限的设备上运行，因为它可以帮助减少神经网络的内存要求、功耗和延迟。
AI 中的责任是指在 AI 模型的开发和应用中持有的认知和道德原则，专注于公平性、有害性、真实性、隐私和知识产权等原则。生成式 AI 的复杂性（可以生成一系列内容）在定义和执行道德原则上提出了特殊的挑战。开发负责任的 AI 的策略包括谨慎输入训练数据、开发防护模型以过滤不必要的内容，以及在各个领域持续合作以确保 AI 系统对所有用户都具备创新性、可靠性并尊重隐私。
宾夕法尼亚大学的计算机和信息学教授、Amazon 学者 Michael Kearns 撰写了我今年最喜欢的文章之一，在 Amazon Science 博客中名为“Responsible AI in the generative era（生成时代的负责任 AI）”，请扫描下方二维码参阅这篇文章。
Amazon SageMaker 是亚马逊云科技提供的一项全面托管的机器学习服务，使数据科学家和开发者能够轻松构建、训练和部署 ML 模型。它提供了一个集成的 Jupyter Notebook，用于数据探索、分析和模型开发，而无需管理服务器。SageMaker 还提供优化算法，并支持自定义框架，使其成为机器学习任务的灵活且可扩展的解决方案。此外还提供一系列功能，包括前文提到的 SageMaker Jumpstart，你可以在 SageMaker 产品页面和 SageMaker 文档中了解更多信息。
Transformers 是一项在 2017 年的研究论文《注意力是你所需要的一切》（Attention Is All You Need）中提出的颠覆性技术（也在本列表的 “A 代表注意力”部分中有引用）。Transformer 架构是矩阵计算和神经网络的结合，其关键能力是将“注意力机制”应用到输入数据的相关部分。Transformers 允许语言模型并行处理数据，并考虑句子的整个语境，而不仅仅是最后几个词。这些特性使 Transformers 能有效处理大量数据，对推动生成式 AI 的发展起到了关键作用，并形成了能执行复杂任务的大型语言模型的基础。
无监督学习是一种在无标签数据上训练的算法，输出时也没有对应的标签。它可以用于自主发现数据中的隐藏模式、关系和结构，且没有给定的目标值。应用包括将类似的内容进行聚类，如将新闻文章分类，或检测网络流量中的异常，即可能存在的安全漏洞。无监督学习就像我去往一个新的城市，在没有地图指引的情况下，我会自己探索，找出地标、布局和城市中的商店模式，自主地进行探索。
相反，有监督学习是在有标记的数据上进行训练，同时提供输入和对应的输出。模型通过理解输入和期望输出之间的关系来进行预测或决策。例如，利用楼盘位置和房间数量等特征来预测房屋价格，或从标记过的数字图像中识别手写数字。有监督学习就像对着参考答案做作业一样——问题（输入数据）和答案（输出标签）都已提供，所以你可以通过看问题和答案来学习。一旦一个模型（或者说学生）经过有监督学习训练，他们可以对新的未见过的数据做出预测，就像在考试中考到类似的题目一样。
向量数据库是一种专用数据库，支持存储和检索代表各种类型数据的高维向量。它可以用于在 N 维空间中有效和快速地查找最近邻，因此对于语义搜索、向量搜索和多模态搜索等任务非常有用。向量数据库在生成式 AI 应用的背后起着关键作用，因为它们可以支持定制语言模型，提高准确性，并为对话式搜索或根据文本提示生成图像等独特的用户体验提供基础。
权重是神经网络中使用的数值，用于确定神经元之间连接的强度，特别是在像在 2017 年的研究论文《注意力是你所需要的一切》（Attention Is All You Need）中提出的 Transformer 这样的系统中。这些权重在注意力机制中起着关键作用，因为它们可以让网络专注于输入的特定部分，使模型能够生成更具上下文相关性的输出。你可以把权重看作是在训练过程中进行微调的参数，帮助模型理解和处理数据中的复杂关系和模式。
可解释的人工智能（通常简称为 XAI）对于建立对 AI 系统的信任和信心至关重要，特别是当 AI 做出的决策可能产生重大后果时。可解释性有两个关键方面：可诠释性和可解释性。可诠释性意味着理解 AI 模型的内部工作机制，如权重和特征，以理解如何生成预测及其原因。另一方面，可解释性使用与模型无关的方法来用人类的语言描述 AI 模型的行为，即使对于“黑箱”模型也是如此。一个模型注重可诠释性还是可解释性，取决于具体的使用案例、数据类型和业务需求，这可能涉及在实现高性能和保持解释模型行为的能力之间进行权衡。
为了更详细地理解这个概念以及可能的权衡，我推荐阅读 Amazon AI Fairness and Explainability Whitepaper （亚马逊 AI 公平性和可解释性白皮书）。另外，你可以扫描下方二维码查看产品页面了解 Amazon SageMaker Clarify 如何通过检测潜在偏差并帮助解释模型做出的预测来改进您的机器学习模型。
25 年以来，亚马逊一直致力于开发人工智能和机器学习技术，许多开发者选择在亚马逊云科技构建、训练和部署他们的 AI/ML 模型都不是偶然。以下是我最喜欢的（也是引用最多的）关于亚马逊云科技的人工智能、机器学习和生成式 AI 的页面：
- 亚马逊云科技上的生成式 AI：我在这里工作，这依然是我获取 亚马逊云科技上生成式 AI 最新信息以及即将推出的新事物的方式。这个页面会持续更新，以同步最新的公告及发布信息，所以值得收藏。
- 适合初创企业的生成式 AI：如果你目前（或者将来有意向）成为建立一家初创公司，那么此页面将一次性提供所有关于如何利用亚马逊云科技 将生成式 AI 的力量和潜力引入至该公司的资源和工具中。我的同事 Max 和他的团队在此页面编写了一本叫做“Generative AI for Every Startup（适合所有初创企业的生成式人工智能）”的优秀电子书。
- 使用大型语言模型的生成式 AI | DeepLearning.AI：这是我的同事 Mike 和 Antje 联合 DeepLearning.AI 的 Andrew Ng 一起推出的一门精彩的课程，在这里你将学习生成式 AI 工作原理的基础知识，以及如何将其应用到实际应用中。
- Amazon CodeWhisperer：如果你刚进入 AI/ML 领域，那么你需要一次性接收大量的新信息。Amazon CodeWhisperer（你的 AI 编程助手）会为你卸去一部分思维负担，让你可以专注于你正在创建的东西。
- Amazon Machine Learning 学院 （MLU） 教程：MLU 曾是 Amazon 内部为 AI/ML 提供的培训课程，但在几年前就已经公开，而且 MLU 教程至今依然是我有史以来最喜欢的 AI/ML 资源之一。如果你在理解 ML 中的一些重要理论概念时遇到困难，这些互动文章会帮助你直观理解背后的原理。
- AWS Certified Machine Learning - Specialty 认证：这项认证并不容易，但它绝对值得尝试！在你学习 AI/ML 的过程中，很容易出现知识空白，因为需要涵盖的内容实在太多。但这份认证（以及亚马逊云科技技能构建中相关的学习材料）会为你提供一个坚实的基础，让你具备在亚马逊云科技上持续搭建和部署模型的技能。
零样本学习是一种机器学习技术，这种技术可以让模型对在训练阶段未见过的数据进行预测或分类。这个概念利用向量将输入（例如文本或视频）映射到一个语义空间，在这个空间中，意义被聚集起来。在这里，模型可以基于接近已知概念的程度，通过分析向量之间的距离，在语义空间中进行分类或预测。零样本学习对自然语言处理（NLP）等领域非常有用，它提供了灵活性，扩展了如 Transformers 和基础模型等预训练模型的应用。
你可以通过 Amazon SageMaker 文档了解更多关于如何在零样本学习环境中实施提示工程的信息，同时，你可以扫描下方二维码，在亚马逊云科技机器学习博客上学习如何利用零样本学习构建基于 Twitter、Amazon SageMaker 和 Hugging Face 的舆情实时监测警报系统。
有关生成式 AI 词汇表的分享到这里就全部结束了。这份词汇表其实仅触及了这一领域的皮毛，实际上 AI/ML 中的技术术语数量非常庞大且还在不断扩大。亚马逊云科技一直致力于推进生成式 AI 普惠化，以降低 AI/ML 门槛，助力千行百业充分释放生成式 AI 潜力，加速数智转型与创新。