GELU
用于transformer前馈层的激活函数。
概览
GELU 将输入乘以标准正态分布小于该输入的概率，从而得到一条平滑曲线，该曲线并非单调，且会略微下探至零以下。它解决了整流器在零点处存在硬拐角的问题，而事实证明，这一硬拐角在深度 transformer 中会导致训练效果略差。它已成为当前大多数模型的默认激活函数，是在经验上优于 ReLU 的选择。
技术图谱
GELU 如何与技术栈的其他部分相连。
应用于
- Deep Learning concept Algorithms GELU used for Deep Learning High ✓ source