将一个分数向量转换为概率分布。
Softmax 对每个分数取指数,再除以总和,得到介于 0 和 1 之间且总和为 1 的值。它解决了原始分数无界且未归一化、因而无法作为权重进行比较的问题。凡是需要从分数中做出选择的地方都有它的身影,在 transformer 中就是注意力权重以及词表上的输出分布。
Softmax 如何与技术栈的其他部分相连。