LongWriter
定义
LongWriter 指一套面向大语言模型超长文本生成的研究成果，涵盖问题分析、数据构造方法、训练数据集、评测基准和若干开源模型；它也可以特指其中经过训练、能够单次输出万字以上文本的模型[1][4]。项目名称同时对应论文《LongWriter: Unleashing 10,000+ Word Generation from Long Context LLMs》与代码仓库[2]。
该研究区分两种能力：长上下文输入指模型能读入并理解多长的文本，长输出指模型一次能生成多长的文本。LongWriter 处理的是后者，其核心结论是：当时的长上下文模型已能接收约 10 万个标记的输入，却往往在输出超过 2000 词时出现截断或质量下降[1]。
原理
研究团队先构建了名为 LongWrite-Ruler 的探测工具，用中英文各若干条指令改变要求输出的长度，测量模型的最大可生成长度。对照实验表明，模型实际能写多长，与监督微调阶段所用数据里的最长样本长度呈明显正相关；只在短样本上微调时，输出上限随之降低[5][1]。作者据此认为，输出长度的限制源于微调数据中长输出样例稀缺，而非模型的位置编码或上下文窗口不足[1]。
针对这一判断，团队提出智能体式写作流程 AgentWrite，采用先规划再写作的分治思路：第一步让模型依据写作要求制定大纲，列出各段落的内容要点与目标字数；第二步串行调用模型逐段生成，在写第 n 段时把前面已完成的段落一并作为输入，使上下文延续[5]。由于把一次超长生成拆成若干短任务，现成的模型即可拼接出连贯的长篇输出，论文报告其长度可达 2 万词以上[1]。
数据构造完成后，研究团队用这些长输出样本对基座模型做监督微调，并对 9B 参数版本进一步施加直接偏好优化(Direct Preference Optimization，DPO)，使输出在长度之外也更贴近用户的写作要求[4]。开源模型基于 GLM-4-9B 与 Llama-3.1-8B 两个基座分别训练，均把单次输出窗口扩展到 1 万词以上[6]。
发展历程
2024 年 8 月 13 日，论文《LongWriter: Unleashing 10,000+ Word Generation from Long Context LLMs》提交至预印本平台 arXiv，作者包括 Bai Yushi、张佳杰、吕鑫、郑林芝、朱思奇、侯磊、董宇晓、唐杰、李涓子等 9 人[1][3]。论文公开了 AgentWrite 流程、LongWriter-6k 数据集与 LongBench-Write 评测基准，并同期开源代码与模型权重[2]。
2024 年下半年，基于 GLM-4-9B 和 Llama-3.1-8B 的 LongWriter 模型开放下载，官方文档给出了部署与推理示例，并说明这一能力适用于论文、公文等需要长篇连续输出的写作场景[7][8]。
相关工作在 2025 年发表于 ICLR 会议[3]。后续研究一方面把检索增强生成引入 AgentWrite 的各个环节，以改善超长输出的 factual 准确性与深度[9]；另一方面出现 LongWriter-Zero，改用强化学习从基座模型直接训练，不再依赖合成的长文本微调数据[10]。
应用
LongWriter 的模型面向需要一次生成大量连续文字的写作任务，官方说明其适用于长篇小说、论文、公文等体裁，用户可在指令中直接给出字数要求[7]。其开源权重基于 8B 至 9B 量级的基座模型，可在单机或消费级硬件上部署推理[8][11]。
除模型本身，该项目产出的组件也被单独使用：LongWriter-6k 作为长输出监督微调数据集开放下载，LongBench-Write 则提供 120 条中英文写作指令，按 0 至 500 词、500 至 2000 词、2000 至 4000 词、4000 词以上分组，用于分别衡量输出长度是否符合要求以及文本质量[6][5]。
AgentWrite 的思路也被当作可复用的工程方案，后续研究在其规划与写作步骤中接入检索模块，用于需要外部事实支撑的长篇生成[9]。
局限
LongWriter 的路线依赖合成的长输出微调数据。LongWriter-6k 中的样本由 GPT-4o 依照 AgentWrite 流程生成，构造过程耗时且代价较高，所得文本存在连贯性与一致性不足、结构较为单一的问题，这是后续研究提出替代方案的主要动因[10][11]。
由分段拼接得到的长文也带来质量层面的弱点。有评测指出，AgentWrite 这类先规划后写作的流程在事实准确性与内容深度上仍有欠缺，需要借助外部知识加以补足[9]。用户实测反馈显示，模型生成的文本结构较为公式化，不同题目的行文节奏与组织方式相近[11]。
此外，长输出并不等于长上下文理解能力的同步提升，输出长度的扩展是在既有长上下文基座之上通过数据对齐实现的，其上限仍受基座模型规模与训练数据分布的制约[1]。论文作者亦表示，后续还需在扩展输出长度与质量的同时，研究如何在不牺牲生成质量的前提下提高效率[11]。
参见
参考资料
- arxiv.org 上的网页 [引用日期2026-10-29]
- LongWriter [引用日期2026-10-29]
- 59f278de1619bdb6b53fd04e8e0976e0-Abstract-Conference [引用日期2026-10-29]
- LongWriter 技术文档 [引用日期2026-10-29]
- LongWriter：基于LLM代理可以将输出窗口大小扩展到10,000+个单词 [引用日期2026-10-29]
- README [引用日期2026-10-29]
- 快速使用 [引用日期2026-10-29]
- LongWriter-glm4-9b [引用日期2026-10-29]
- ieee.org 上的网页 [引用日期2026-10-29]
- arxiv.org 上的网页 [引用日期2026-10-29]
- 清华唐杰团队新作：一口气生成2万字，大模型开卷长输出 [引用日期2026-10-29]