OpenAI o1

定义

OpenAI o1是OpenAI开发的一个大语言模型系列，官方将其定位为“推理模型”，即模型在给出最终答复之前先进行一段内部推理，再输出面向用户的答案^[5][6]。它并不属于此前的GPT命名序列，OpenAI以数字1重新开始编号，把这一系列与面向通用对话的GPT-4o区分开来，两者在ChatGPT中并存供不同场景选用^[1][7]。

该系列首批发布的是o1-preview与o1-mini两种规格，前者具备较广的世界知识，后者规模更小、速度更快且成本更低，主要用于编程、数学等对推理要求较高但对通识知识依赖较少的任务^[1][4]。

原理

o1的核心机制可以概括为“先思考、再作答”。模型在接收提示后先生成一段被称为思维链(chain of thought)的内部序列，把问题拆成若干步骤，权衡不同解法，并在推理中检查与修正先前的判断，最后才产出用户可见的答复^[2][8]。OpenAI研究人员表示，这是模型自身经训练获得的生成能力，该能力并非由外部外挂的提示流程拼接而成^[9]。

训练层面，o1主要借助强化学习：正确的结果获得奖励、错误的推理受到惩罚，模型由此学会调整策略、尝试不同路径并识别自身错误^[8][7]。据OpenAI研究负责人介绍，该模型使用了新的优化算法和针对推理定制的训练数据，数据中包含推理类材料与科学文献，这与GPT系列主要模仿语料分布的训练思路有根本区别^[10]。

与推理机制配套的还有一套安全训练方法。OpenAI称其直接向模型讲授安全规范文本，并训练模型在作答前对这些规范进行推理，从而在遇到诱导绕过规则的请求时更准确地适用规则^[11]。在官方公布的一项高难度越狱测试中，GPT-4o得分为22分，o1-preview为84分，满分100分^[1]。

从计算资源分配的视角看，o1把相当一部分算力从预训练阶段转移到推理阶段，模型“想得越久”，在困难题目上的正确率通常越高，这一关系在测试阶段尤为明显^[7]。为控制开销，推理过程中产生的推理令牌(reasoning tokens)虽然对用户不可见，却计入输出令牌并参与计费，API因此引入了max_completion_tokens参数，用于同时约束推理与可见输出^[12][13]。

flowchart LR

A[用户提示与图片] --> B[生成内部推理序列]

B --> C{检查与修正}

C -->|发现错误| B

C -->|推理收敛| D[生成最终答复]

D --> E[同时给出推理摘要]

发展历程

2024年9月12日，OpenAI发布o1系列的首批版本o1-preview与o1-mini，并在ChatGPT与API中同步上线，该系列此前在业界长期以“草莓”的代号流传^[4][14]。初始阶段限额较紧，Plus与Team用户每周可发的o1-preview消息为30条、o1-mini为50条，9月17日后分别调整为每周50条与每天50条^[1]。

发布时公布的评测显示，在2024年美国数学邀请赛(AIME)中，GPT-4o平均解出约12%的题目，o1单样本平均为74%，64个样本取共识时为83%^[2]。在博士级科学问答基准GPQA Diamond上，o1的准确率超过参与对照的人类博士专家；在Codeforces竞赛评估中，其排名达到第89百分位^[1]。

2024年12月5日，OpenAI在“12天”直播活动首日推出完整版o1，取代o1-preview，并向Plus与Team用户开放，企业与教育版用户于次周获得访问权限^[3][15]。OpenAI称完整版比预览版快约50%，在现实难题上出现重大错误的频率低约34%，并首次支持图像输入。同日推出的ChatGPT Pro订阅还包含o1 pro模式，该模式调用更多算力以处理最困难的问题^[16]。

此后o1被纳入微软Azure的模型目录，以有限访问方式对外提供，并标注了o1(2024-12-17)等快照版本^[17]。OpenAI的模型文档将o1记为o系列中较早的完整推理模型，其后续版本已由更新的o系列型号接替^[5]。

应用

o1的设计目标是处理需要长链条推导的任务。OpenAI列举的用途包括医疗研究人员对细胞测序数据进行标注、物理学者生成量子光学所需的复杂数学公式，以及开发者构建并执行多步骤工作流程^[1][4]。在软件工程方向，其能力被用于生成复杂代码、排查缺陷与辅助代码审查^[7]。

数学与竞赛类题目是另一类典型场景，o1在AIME、Codeforces等基准上的表现被用来展示其多步推理水平^[18]。在通用问答上，完整版o1可同时接收文字与图片，用户可上传图片辅助提问^[19]。

访问方式上，o1可通过ChatGPT的模型选择器调用，也可经API集成到应用之中，Azure用户则需在获授权后创建部署^[7][17]。OpenAI给出的提示建议是保持指令简洁直接，不必再额外要求模型“逐步思考”，因为推理过程已内置于模型^[7]。

局限

推理能力的提升并不等于全面超越。OpenAI明确指出o1并非用来在所有场合替代GPT-4o，对响应速度要求高的应用仍更适合使用GPT-4o一类模型^[7]。o1作答前需要较长时间思考，在实时对话、翻译等低延迟场景中体验不佳^[7]。

初代o1-preview的功能也相当受限：不支持联网浏览、文件上传与图片输入，这些是当时ChatGPT的常用能力^[4]。API侧限制同样明显，系统消息、流式输出、函数调用等能力在早期版本中不可用，temperature、top_p等采样参数被固定为1^[20][7]。

关于思维链的可见性，OpenAI表示出于用户体验、竞争与思维链监控等因素的权衡，不向用户展示原始推理序列，只提供由另一模型生成的摘要，摘要内容不保证与原始过程完全一致^[21][9]。这一做法被部分研究者视为降低了模型决策过程的可观察性，也使外部研究者难以基于原始推理轨迹开展复现实验^[21]。

在准确性方面，OpenAI承认收到关于o1-preview和o1-mini比GPT-4o更易产生幻觉的反馈，并表示尚未解决幻觉问题，只能说明该模型幻觉有所减少^[22][23]。此外，推理令牌带来的是隐性成本，用户看不到这部分内容却需为其付费，实际费用可能明显高于可见输出对应的开销^[12]。

参见

• 思维链 —— o1在作答前生成的内部推理序列，是其推理能力的核心机制。

• 强化学习 —— o1的主要训练方式，通过奖励与惩罚塑造模型的推理策略。

• GPT-4o —— OpenAI此前的通用多模态模型，与o1在ChatGPT中并列提供。

• 大语言模型 —— o1所属的模型类别。

• 幻觉 —— 语言模型生成看似合理却不正确内容的现象，o1同样未能完全避免。