ChatDLM

技术路线

区块扩散

传统自回归模型逐个词元往下生成，前一个不出来后一个就动不了。 区块扩散（Block Diffusion）把输入按语义单元切成若干块， 每块独立做扩散计算，再通过跨块注意力交换全局信息。 官方称这一改动把复杂度从 O(n²) 降到 O(n log n)。

专家混合

模型配置了数十个专家模块，每次推理只激活其中两个， 由门控网络动态分派任务。这是 MoE 的常规做法： 参数总量大而单次计算量小，从而在精度与开销之间取得平衡。

长上下文支持

为支撑十万量级的上下文，模型在位置编码上做了 RoPE 相关优化， 并采用分层缓存。推理侧则用到动态早停、BF16 混合精度等手段。

特点

扩散式生成天然支持局部修改——要改一段文字中间的某处， 不必把后面全部重新生成一遍，这是自回归模型做不到的。 在公开的基准测试中，官方给出 HumanEval 约 92.0 的成绩。

说明

上述性能数据来自研发方公开发布的资料，尚未见独立第三方复现。

参见

• Mamba —— 另一种非 Transformer 路线