百川2

定义

百川2指百川智能推出的第二代开源大语言模型系列，官方名称为 Baichuan 2^[2]。按技术报告的定义，它是一组从零开始训练的多语言大规模语言模型，参数量分为 70 亿(7B)和 130 亿(13B)两档，训练语料规模为 2.6 万亿词元^[1]。

百川2与百川智能此前发布的 Baichuan-7B、Baichuan-13B 属于前后代关系，官方将其定位为新一代模型^[4]。同一系列还包含闭源版本 Baichuan2-53B，该版本参数量约 530 亿，通过接口方式对外提供服务^[5]。

原理

百川2以标准的Transformer解码器结构为基础，整体设计沿用了与 LLaMA 相近的思路。激活函数使用 SwiGLU，归一化采用 RMSNorm 的 Pre-Normalization 形式，注意力层借助 xFormers 实现内存高效计算^[6]。由于 SwiGLU 的前馈层含三个参数矩阵，隐藏层维度由通常的 4 倍调整为约 8/3 倍并取整^[6]。

两个尺寸在位置编码上采取了不同方案：7B 版本使用旋转位置编码(RoPE)，13B 版本使用带线性偏置的 ALiBi 编码。技术报告称，两者按同尺寸设置对照，位置编码方式的选择对最终效果影响不大，此举同时用于比较基于乘法与基于偏置的两类注意力实现^[6]。两个版本的上下文窗口均为 4096 个词元，词表规模由上一代的 64000 扩展至 125696，以提升压缩率并覆盖代码与数字类文本^[7][6]。

训练在大规模加速卡集群上完成，技术报告给出的配置为 1024 块 NVIDIA A800，计算效率超过 180 TFLOPS^[8]。基座模型经预训练得到，对话版本则在此之上做监督微调与基于人类反馈的强化学习两阶段对齐，再额外发布 4 比特量化版本^[8][2]。

发展历程

2023 年 9 月 6 日，百川智能召开主题为「百川汇海，开源共赢」的发布会，正式开源 Baichuan2-7B、Baichuan2-13B、Baichuan2-13B-Chat 及其 4 比特量化版本，并宣布这些版本均可免费商用^[9]。发布会由北京市科学技术委员会、中关村科技园区管理委员会与海淀区政府指导，张钹院士到场致辞^[3]。

同次发布会上，百川智能公开了训练过程中由 2200 亿词元到 2.64 万亿词元的全部检查点，并宣布发布技术报告，披露数据处理、结构优化、缩放规律与过程指标等内容^[3]。模型仓库中另提供 11 个中间过程版本，分别对应约 0.2 万亿至 2.4 万亿词元的训练阶段，供研究使用^[10]。同名技术报告于 2023 年 9 月 19 日提交至预印本平台 arXiv^[1]。

2023 年 9 月 25 日，闭源版本 Baichuan2-53B 发布，同时开放接口，供企业和开发者集成调用^[5]。当年 12 月 29 日，官方更新了 Baichuan2-13B-Chat 的第 2 版及其 4 比特量化版本，重点改善数学与逻辑推理、复杂指令跟随能力^[2]。

应用

百川2按基座模型与对话模型两类形态发布，各含 7B、13B 两个尺寸，其中对话模型附有 4 比特量化版本，便于在显存受限的环境中部署。官方评测覆盖通用、法律、医疗、数学、代码与多语言翻译六个领域的中英文数据集，医疗与法律部分使用 JEC-QA、MedQA、MedMCQA 等专业题库^[11]。

闭源版本 Baichuan2-53B 面向企业场景，提供接口供集成到智能客服、智能写作与智能推荐等应用中，接口与 OpenAI 的规范高度兼容，便于迁移^[5]。该版本在数学与逻辑推理上做了专门强化，并引入指令意图理解、智能搜索与结果增强等模块，以降低生成内容与事实不符的比例^[5]。

在研究与教学层面，开放权重和中间检查点使高校与开发者在有限算力条件下也能复现和观察大模型的训练过程^[3]。模型也被用于中文自然语言处理任务的评测研究，例如作为中文生成式摘要能力的比较对象之一^[7]。

局限

上下文窗口为 4096 个词元，与同期部分模型的更长窗口相比，处理长文档时需分段输入^[7]。在中文摘要任务的实证评估中，Baichuan2-7B 零样本生成的摘要语句通顺、叙述较详，但凝练程度不足；改用少样本提示后摘要更精简，对重点信息的把握反而下降^[7]。

同一评估还指出，该模型存在内容重复、生成幻觉以及与事实矛盾等问题^[7]。针对问答场景的测试同样发现，当上下文中出现不完整或相互冲突的信息时，Baichuan2-13B-Chat 容易给出错误回答，说明其在辨别矛盾信息方面存在薄弱环节^[12]。

参数规模上，百川2的开源部分为 7B 与 13B 两档，其公开评测报告中的性能对比也以同尺寸开源模型为主，与更大规模模型在综合能力上仍有差距，官方基准表中与 GPT-4 的分数差距即是参照之一。

参见

• 百川智能 —— 百川2 的研发与发布机构。

• Transformer —— 百川2 所采用的基础网络结构。

• 旋转位置编码 —— 百川2-7B 使用的位置编码方式。

• 大语言模型 —— 百川2 所属的模型类别。

• Baichuan2-53B —— 与百川2 同代发布、参数规模更大的闭源版本。