Top-p 采样
仅从概率累计达到 p 的最小 token 集合中进行采样。
概览
Top-p，即核采样，保留最可能的 token，直到它们的累积概率达到一个阈值，然后从该集合中进行采样。它解决了这样一个问题：固定的 top-k 在分布尖锐时会纳入无意义的内容，而在分布平坦时又会排除合理的选项。它之所以存在，是因为合理延续的集合大小应当由模型自身的置信度来决定。
技术图谱
Top-p 采样 如何与技术栈的其他部分相连。
替代方案
-
Beam Search
technique
Top-p 采样 的替代方案 · source
对比
与上述替代方案的逐项对比。