# 模型设置

下面您可以看到模型设置。让我们逐一查看每个设置。

停止序列

输入序列并按 Enter 或 Tab

此选项允许您选择用于完成的模型。目前，DreamGen 提供 2 个模型：

指定模型允许生成的最大输出令牌数。请记住，定价是基于输出令牌的数量。如果模型在句子或段落中间被截断，很可能是因为达到了最大令牌数。您可以随时点击“继续”按钮以生成更多令牌。

还要记住，模型在输入 + 输出令牌的总数上是有限制的。

在故事写作的情况下，输入令牌包括完整的故事。

在角色扮演的情况下，输入令牌包括完整的场景描述和尽可能多的消息。未标记为“固定”的较旧消息如果超过令牌限制会被自动删除。

模型的工作是试图预测序列中的下一个标记，基于到目前为止的输入。
给定输入，模型会为所有可能的标记输出一个概率。
例如，给定输入“My favorite fruit is”，模型可能输出以下概率：

• Apple: 0.3
• Banana: 0.25
• Orange: 0.15
• 等等。

在生成输出时，我们需要根据这些概率决定选择哪个标记。这就是温度、最小概率、顶部概率和顶部数量发挥作用的地方。

基础温度为1.0——这意味着我们将根据原始概率选择标记。

温度 > 1.0 意味着概率分布变得更加“平坦”/“分散”，因此最可能的标记的概率降低，而不太可能的标记的概率增加。

温度 < 1.0 意味着概率分布变得更加“尖峰”，因此最可能的标记的概率增加，而不太可能的标记的概率降低。

民间智慧认为，较高的温度可能会产生更惊人和富有创意的结果。

此选项可防止低概率的标记被抽样。 例如，如果 min_p = 0.05（5%），而最高标记概率为 0.9（90%），则所有概率 < 0.05 * 0.9 = 0.045（4.5%）的标记将被忽略。

此选项防止低概率的令牌被采样。 例如，如果 top_p = 0.9 (90%)，那么只有排名前“90%”的令牌会被考虑，例如，如果前几个令牌的概率为：

• Apple: 0.7
• Banana: 0.15
• Orange: 0.1
• 等等。

那么只有 Apple 和 Banana 会被考虑，而 Orange 及其以下的令牌将被忽略，因为 0.7 + 0.15 + 0.1 = 0.95 > 0.9。 这往往会显著降低模型的输出多样性/创造性。

此选项防止低概率的标记被采样。 例如，如果 top_k = 40，那么只会考虑前 40 个标记，所有其他标记将被忽略。

此选项的基本值为 0，此时没有影响。

值 > 0 将使模型不太可能重复输出中已经存在的标记（输入中的标记将被忽略）。

值 < 0 将使模型更可能重复输出中已经存在的标记。

模型往往会自我重复，特别是在生成长输出时。此选项可以帮助解决此问题。 同时，它也可能会影响性能，因为某些标记是自然重复的。

与存在惩罚非常相似，但它考虑的是输出文本中该标记的频率，而不仅仅是其存在。

类似于存在惩罚和频率惩罚，但它还考虑了输入中的令牌，而不仅仅是输出。

此选项的基本值为1，在这种情况下没有效果。

值大于1将使模型不太可能重复输入或输出中已经存在的令牌。

值小于1将使模型更有可能重复输入或输出中已经存在的令牌。

因为此选项也考虑了输入，所以它可以帮助避免重复到目前为止输入中已经出现的内容。

此选项允许您指定将使模型停止生成输出的序列。

例如，对于故事创作，如果您希望模型生成包括指令在内的内容，但希望在之后进行调整（因为模型通常非常准确），您可以使用 </instruction> 作为停止序列。

对于角色扮演，常见的停止序列设置已为您处理（见下文）。

防止模型生成指令。 请注意，指令有助于模型进行写作——它们将写作问题分解为两个部分：（1）应该发生什么；（2）如何写它。

因此，不让模型生成并且不提供您自己的指令可能会对输出质量产生负面影响。

此选项在将输入发送到模型之前，移除所有但最后一个 <instruction> 块。

在角色扮演的情况下，被标记为“粘性”的指令也会被保留。

这可能很有用，因为它降低了模型自行生成指令的可能性，并且还节省了一些令牌。

当选中时，如果交互超过令牌限制，将自动修剪（从发送到模型的提示中移除）交互。 非粘性交互将在粘性交互之前被移除，最旧的交互将优先被移除。

覆盖模型的最大令牌上下文窗口（输入 + 输出令牌）。 这可以是降低成本的有效方法。 例如，如果您使用的是具有12000令牌上下文窗口的模型，如果您的用例不需要超过这个值，可以将其设置为4000。

设置为0以禁用。

低于最小令牌上下文窗口（4000）的值将被忽略。

高于模型默认最大令牌上下文窗口的值将被忽略。

强制模型在达到指定长度之前不结束消息。最好将此与指令结合使用，例如：

Length: 100 words
Speaker: Aeryn
Plot: Aeryn introduces herself and provides a background on her character.

当在角色扮演的设置和上下文中将值设置得“异常”高时，模型可能会选择将多个消息“合并”为一个，从而导致不必要的模仿。

此选项确保模型在将控制权交回给您之前不会生成超过 N 次交互。

此选项确保模型不会以您的名义生成消息。

选中此选项将显示标记为“隐藏”的交互。