InternLM2.5

定义

InternLM2.5是书生·浦语系列大语言模型的第2.5代版本，由上海人工智能实验室研发，包含基础模型与面向指令跟随、对话场景优化的对话模型（InternLM2.5-Chat）两条产品线^[2][5]。该系列在沿用InternLM2整体架构的前提下，重点加强了复杂推理与超长上下文两类能力^[6]。

按参数规模划分，InternLM2.5公开了1.8B、7B和20B三个尺寸，分别面向超轻量部署、常规研究和复杂实用场景^[3][4]。其中7B版本另有一个专门扩展上下文长度的分支InternLM2.5-7B-Chat-1M，用于处理百万词元级别的输入。

原理

InternLM2.5仍属基于概率生成的自回归语言模型，其能力提升主要来自数据和训练流程的改造，而非推翻原有模型结构^[6]。研发团队采用“合成数据+模型飞轮”的组合方式：一方面按不同数据特点设计规则构造、模型扩增与反馈生成等多类合成方案以保证数据质量，另一方面让模型参与自身数据的筛选和修正，形成随训练推进反复迭代的循环^[1][3]。

在上下文扩展上，预训练阶段使用了长度达256K词元的语料，并补充合成数据以缓解语料类型单一带来的领域偏移，从而在拉长窗口的同时尽量保留原有的语言处理能力^[1]。工程侧依赖LMDeploy等推理框架提供长序列服务，例如开启动态NTK特性并设置较长会话长度，官方说明1M上下文推理需要4块A100-80G显卡^[7]。

面向信息检索类任务，InternLM2.5在微调阶段学习了人类的思维过程，可接入团队提出的MindSearch多智能体框架，把复杂问题拆解为任务规划、网页搜索与多源信息归纳等环节，从而对上百个网页的内容进行筛选与整合^[3][2]。

发展历程

2024年6月30日，团队先行发布了InternLM2.5-7B、InternLM2.5-7B-Chat以及支持1M上下文的InternLM2.5-7B-Chat-1M^[8]。2024年7月4日，在上海举行的世界人工智能大会科学前沿主论坛上，上海人工智能实验室正式发布书生·浦语2.5，并将其与书生·万象2.0一同作为通专融合系列成果对外介绍^[1][9]。

此后，团队相继开源1.8B与20B参数版本，使该系列覆盖从超轻量到较高参数量的多种规格^[3][4]。根据实验室公布的信息，书生·浦语系列自首次开源以来已衍生出超过1000个创新项目，2.5代及配套工具体系继续以开源方式提供^[1]。

应用

长文档处理是InternLM2.5被明确指向的场景之一。实验室以约35万字的文言文版《新唐书节选》为输入，要求模型说明唐代文学风格的变化，模型给出了相应回答；在1M词元长度文档的“大海捞针”测试中，模型也能定位关键信息^[1]。配套的文档对话示例支持PDF、TXT与Markdown三类文件，其中PDF可借助轻量工具转换为Markdown后处理。

在智能体方向，该模型可承担多轮工具调用，支持指令理解、工具筛选与结果反思，用于搭建较复杂的智能体流程^[2]。生态适配方面，模型可与XTuner微调框架、LMDeploy推理框架对接，也兼容vLLM、Ollama、llama.cpp以及魔搭社区的SWIFT工具，便于开发者完成微调、部署和服务搭建^[10][4]。

局限

官方模型说明指出，受参数规模与概率生成范式的限制，模型仍可能输出偏离预期、包含偏见或歧视等有害内容^[11]。这意味着其回答不具备事实层面的保证，尤其在长文档摘要与多源网页整合任务中，错误可能与正文信息混杂出现。

百万级上下文并非无成本。官方文档标明1M上下文推理需要4块A100-80G显卡，硬件门槛较高，普通环境下难以直接复现^[7]。同时，公开评测数值会随评测框架版本迭代而变化，官方也提示应以最新评测结果为准，跨时间比较不同批次成绩需谨慎^[11]。

参见

• 上海人工智能实验室 —— 研发并发布InternLM2.5的机构

• MindSearch —— 与该模型配合使用的多智能体搜索框架

• LMDeploy —— 支持其长上下文推理的部署工具

• OpenCompass —— 用于评测该系列模型能力的开源评测体系

• 书生·万象 —— 同期发布的同系列多模态大模型