约束解码
限制模型在每一步可以生成的 token。
概览
约束解码会屏蔽 logits，使只有符合语法、schema 或正则表达式的 token 仍然可能被选中。它解决了这样一个问题：要求模型输出有效结果，大多数时候确实能得到有效结果，但流水线不能建立在“大多数时候”之上。它之所以存在，是因为在生成过程中强制执行约束，就无需事后再进行重试和修复逻辑。
技术图谱
约束解码 如何与技术栈的其他部分相连。
限制模型在每一步可以生成的 token。
约束解码会屏蔽 logits，使只有符合语法、schema 或正则表达式的 token 仍然可能被选中。它解决了这样一个问题：要求模型输出有效结果，大多数时候确实能得到有效结果，但流水线不能建立在“大多数时候”之上。它之所以存在，是因为在生成过程中强制执行约束，就无需事后再进行重试和修复逻辑。
约束解码 如何与技术栈的其他部分相连。