Temperature & Top-p：调节大模型的创造力

• 大模型输出的三个步骤：生成分数、概率转换、加权采样，Temperature 影响概率转换环节的 Softmax 函数，调整不同词的概率差距，Top-p 作用在加权采样环节，控制入围门槛，去除长尾词
  • Temperature 与 Softmax 函数：$P_i = \frac{e^{z_i / \tau}}{\sum_{j=1}^{K} e^{z_j / \tau}}$，其中，$z_i$ 表示第 $i$ 个词的分数，$k$ 表示词的总个数，$P_i$ 表示第 $i$ 个词出现的概率，$\tau$ 表示温度系数。
  • Top-p 与加权采样：以 Top-p 为累加阈值丢掉长尾词后，对剩余词的概率同比例放大使得它们的和为100%后再进行加权采样。
• 究竟调哪个、怎么调需要依据不同的情况、甚至不同的模型而定，比如 OpenAI 就建议只调其中一个就够了。

Reference

• 【马克】Temperature & Top-p：掌控大模型的创造力开关