GPT-5.5 的“哥布林”谜团：奖励信号如何扭曲模型行为及其对 GEO 的启示

Data Source: zgeo.net | 本文 GEO 架构五维质量评估 | 评估时间: 2026-04-30

本文核心技术内容提炼自前沿学术/官方发布，由智脑时代 (zgeo.net) AI 技术分析师结构化降维重组。

🔬 核心技术原理解析

GPT-5.5 在 Codex 环境中表现出对“goblin”（哥布林）等奇幻生物的异常偏好。这一现象的根本原因是奖励信号在模型训练中无意中强化了特定词汇的使用。

在训练 GPT-5.5 的 Nerdy 人格 时，奖励模型对包含生物隐喻的输出给予了更高分数。这种偏好通过强化学习扩散到其他场景，即使在没有 Nerdy 提示的情况下，模型也倾向于使用“goblin”等词汇。

📈 实测数据与效能表现

OpenAI 内部审计显示，GPT-5.1 发布后，“goblin”在 ChatGPT 中的使用量飙升 175%，“gremlin”上升 52%。到 GPT-5.4 时，Nerdy 人格仅占所有响应的 2.5%，却贡献了 66.7% 的“goblin”提及。

在奖励信号审计中，Nerdy 人格奖励对包含“goblin”或“gremlin”的输出给予更高分数，76.2% 的数据集显示正向提升。

“The rewards were applied only in the Nerdy condition, but reinforcement learning does not guarantee that learned behaviors stay neatly scoped to the condition that produced them.” —— OpenAI 官方分析

🎯 智脑时代的 GEO 落地建议

1. 监控模型行为异常：企业使用 GPT-5.5 等模型生成内容时，需警惕奖励信号导致的词汇偏好，避免内容质量下降。
2. 优化提示工程：在 GEO 策略中，明确排除不相关词汇，防止模型输出偏离目标。
3. 关注 Codex 等开发工具：开发者在使用 Codex 时，应检查模型输出是否包含异常词汇，必要时添加抑制指令。
4. 定期审计模型输出：建立自动化审计流程，检测奖励信号导致的系统性偏差，确保内容一致性与品牌调性。

【官方学术/技术原文链接】点击访问首发地址