什么是注意力机制？

注意力机制的原理是基于一种权重分配的机制，它通过计算输入数据的不同部分与任务目标之间的关联程度来决定在处理过程中关注哪些部分。注意力机制由三个重要部分组成：查询、键和值。通过查询、键和值之间的关联度计算和权重分配，模型能够根据当前任务的关注点有选择性地关注输入数据的不同部分。查询表示当前模型关注的位置或目标信息，键和值则表示输入序列中的位置和对应的信息。注意力机制通过计算查询与键之间的关联度，然后对值进行加权求和，得到模型需要的信息表示。

注意力权重的计算是注意力机制中的关键步骤，使模型能够在输入序列中选择性地关注重要的部分。注意力权重的计算包括计算关联度、加权求和、归一化三个主要步骤。首先计算查询与键之间的关联度，以衡量它们之间的相似性或相关性。在关联度计算之后，将得到的关联度转换为注意力权重。通常使用 Softmax 函数对关联度进行归一化处理，以确保注意力权重的总和为 1。Softmax 函数通过概率分布表示不同位置在注意力中的重要程度。最后，将注意力权重与对应位置的值进行加权求和，得到注意力权重结果。