什么是模型温度(Temperature)
模型温度,是大语言模型里一个控制输出随机性、创造性的参数,取值一般在 0 ~ 1 之间,部分模型支持大于 1。
简单一句话:温度越低,越确定、保守;温度越高,越天马行空、容易瞎编。
核心原理
大模型在生成下一个词的时候,会算出一堆候选词的概率分布,温度的作用是在采样前对这个分布做缩放:
temperature = 0:永远选概率最高的那个词,每次提问结果几乎一模一样,没有随机。temperature < 1:压低低概率词的机会,输出稳定、逻辑严谨。temperature = 1:按原始概率采样,平衡稳定和创意。temperature > 1:放大冷门词概率,想象力爆炸,但更容易出现幻觉、前言不搭后语。
从数学上看,就是在 softmax 之前把模型的原始分数(logits)除以温度 T:
P(词ᵢ) = exp(zᵢ / T) / Σ exp(zⱼ / T)1
T 越小,差距被放大,分布更"尖锐";T 越大,差距被压平,分布更"平坦"。
常用场景参考
| 温度 | 适合场景 | 特点 |
|---|---|---|
| 0 ~ 0.2 | 代码、数学计算、事实查询、合同/专业文档 | 严谨,重复度高,尽量不编造 |
| 0.3 ~ 0.7 | 写文案、摘要、回答问题、日常对话 | 最常用区间,兼顾准确和流畅 |
| 0.8 ~ 1.2 | 写小说、诗歌、创意构思、角色扮演 | 创意强,句子更多变,可能出现不合理内容 |
| > 1.2 | 脑洞创作 | 随机性极强,容易胡编乱造 |
直观例子
提问:写一句关于大海的短句
- 温度 0.1:大海翻涌着层层浪花。(每次基本都是这句)
- 温度 0.7:大海抱着落日,晚风漫过沙滩。
- 温度 1.1:大海藏着星光,浪花会悄悄讲述深海古老的梦。
容易混淆的点
- 温度不直接控制长度,长度由
max_tokens这类参数控制; - 温度不能提升模型本身的知识能力,只是改变选词策略;知识错误(幻觉)并不会因为调低温度完全消失,只是变少;
- 温度经常和 top-p(核采样)、top-k 搭配使用,通常建议主要调整其中一个,不要同时大幅修改;
- 不同模型对温度的实现略有差异,同样 0.7 在不同模型上表现不完全一样(例如 Anthropic API 的范围是 0 ~ 1)。
面试回答参考
总结
模型温度(temperature)是大模型生成时用来控制输出随机性和创造性的超参数。本质是对 token 概率分布做缩放:温度越低,模型越倾向选择概率最高的词,结果稳定、确定性强;温度越高,会拉高低概率 token 的权重,输出更多样,但更容易产生幻觉。一般事实类、代码任务用低温;写故事、创意文案会调高温度。
温度是文本生成阶段的采样超参数,用来调节模型选词的概率分布。
- 温度趋近 0:几乎总是选概率最大的 token,输出基本固定,适合数学推理、代码、查询事实;
- 温度 = 1:使用原始概率分布采样;
- 温度大于 1:拉平概率分布,冷门 token 更容易被选中,多样性变强,但幻觉和逻辑错误概率上升。
要注意:温度不改变模型本身学到的知识,只是改变采样策略,不能根治幻觉,只是影响幻觉出现概率。经常和 top-p(核采样)搭配一起使用。
进阶
Temperature 作用于 softmax 之前的 logits:logits = logits / T
- T 越小,logits 差距被放大,softmax 后概率分布越尖锐,接近贪心采样;
- T 越大,logits 被压缩,概率分布变得更平坦,各个 token 机会更接近。