LoRA Rank
定义
LoRA Rank 是 LoRA 方法中低秩分解矩阵所采用的秩，记作 $r$。原始 LoRA 在冻结预训练权重 $W_0 \in \mathbb{R}^{d\times k}$ 的前提下，向网络层注入一对可训练矩阵 $A \in \mathbb{R}^{r\times k}$ 与 $B \in \mathbb{R}^{d\times r}$，使前向计算变为 $x \mapsto W_0 x + B(Ax)$[1]。由矩阵秩的性质可知，增量 $\Delta W = BA$ 的秩不会超过 $r$，因此 $r$ 同时是可训练参数的规模上限与更新表达能力的上限[1][4]。
一个适配器的可训练参数量可近似写作 $2 \times r \times d$，其中 $d$ 是被适配层的输入或输出维度，具体取决于被适配矩阵的形状[1]。在多数实现中，$r$ 与缩放系数 $\alpha$ 一同作为接口参数暴露给使用者，例如 $\alpha/r$ 会作为增量矩阵的统一缩放因子参与计算[5][6]。
原理
LoRA 假设下游任务所需的权重变化本身具有低秩性，因而无须更新整个权重矩阵，只需在一个低维子空间内学习偏移量。这一假设在原始论文中得到经验性检验，作者专门考察了语言模型适配过程中的秩亏现象[7]。$r$ 越大，$A$ 与 $B$ 张成的子空间维度越高，可实现的更新越复杂；$r$ 越小，适配器越轻，对原模型行为的扰动也越受限制[2]。
关于 $r$ 与效果的关系，理论分析给出了一些明确结论。在梯度流下，学习到的更新矩阵 $M(t)=A(t)B(t)$ 的奇异值约按 $\sigma_i(M(t)) \approx \lambda_i \tanh^2(\lambda_i t/\sqrt{2})$ 演化，其中 $\lambda_i$ 是理想更新的奇异值[4]。由此可推出，当所设秩超过最优秩 $r^*$ 时，多出的奇异值会收敛至零，这种过参数化是可容忍的；基于微调前的梯度谱还可以给出秩的选择规则 $\hat{r} = \max\{r : \sigma_r(G_0)^2 \geq C/n\}$[4]。
在实践层面，$r$ 的取值普遍带有经验色彩。扩散模型个性化生成的研究指出，为每个组件单独挑选合适秩的成本是组合级的，因此常用做法是对所有组件固定同一秩[2]。视觉 Transformer 与存算一体硬件的协同研究也显示，提高 LoRA 秩能改善推理精度，但同时会增加训练参数量，二者需要折中[8]。
发展历程
2021 年 6 月，微软的研究者 Edward J. Hu 等人公开了 LoRA 方法，把可训练的秩分解矩阵注入 Transformer 各层，并将秩 $r$ 作为该方法的核心里超参数[7][9]。该工作报告称，相对于用 Adam 全参数微调的 GPT-3 175B，LoRA 可把可训练参数量降低约 1 万倍、GPU 显存需求降低约 3 倍[7]。
2023 年 3 月，AdaLoRA 提出按重要性分数在权重矩阵之间自适应分配参数预算，用奇异值分解形式参数化增量并裁剪不重要的奇异值，改变了过去对所有矩阵平均分配固定秩的做法[3]。同年，QLoRA 将 4 位量化基座与低秩适配器结合，使 65B 参数模型可在单张 48GB GPU 上微调[10]。
此后的研究继续把秩从固定常数推向可学习与可解释。2024 年的 SalientLoRA 通过显著性度量在多个时间步上分析奇异值变化，自适应调整内在秩[11]；LoRA² 则让每层的秩在微调中自由增减，仅在确有必要时才提高秩[2]。
应用
在大语言模型微调中，$r$ 是最常被调整的超参数之一。开源工具链通常把秩直接写进适配器配置，例如 TorchTune 为 Llama 2 70B 提供的 LoRA 变体默认 $r=8$，并与缩放因子 $\alpha$ 一并暴露[5]。在量化微调场景下，秩与量化精度共同决定显存开销，已有工作以 $r=16$ 或 $r=8$ 配置 QLoRA 完成监督微调与偏好对齐[12]。
在文生图与个性化图像生成中，秩的选取同样关键。相关研究以 DINO、CLIP-I、CLIP-T 等指标衡量对象保真度与提示词对齐度，并比较不同秩下的表现[2]。在 3D 生成与反演任务上，有实验把秩从 1 提高到 16，结果表明身份保持指标并未明显改善，但对背景的拟合变好，因此多数实验最终采用 $r=1$[13]。
在硬件受限的边缘场景中，LoRA 秩被用于精度与参数的联合优化。基于 ReRAM 存算一体的视觉 Transformer 研究把秩与推理精度一同寻优，以较少训练参数换取较高精度[8]。
局限
$r$ 的选择没有通用最优值，任务复杂度、数据规模与模型结构都会改变合适取值，实践中往往依赖社区共识或反复试跑[2]。逐层单独选秩的搜索空间随层数呈组合式增长，这也是固定统一秩长期流行的现实原因[2]。
提高秩并不必然带来等比例的收益，甚至会挤占其他方面的表现。扩散模型研究指出，秩过低时难以捕捉对象的独特特征，秩过高则浪费内存并削弱提示词对齐[14]。在 3D 个性化实验中，秩增大带来的收益主要体现在背景拟合而非身份保持，说明不同指标对秩的敏感度并不一致[13]。
低秩分解本身也带来统计上的可辨识性问题。相关分析指出，LoRA 的低秩因子分解本质上是不可辨识的，使其成为不能用参数维度单独刻画学习复杂度的奇异统计模型[15]。此外，秩只在增量矩阵的意义上受限，它约束的是更新所能张成的子空间维度，而不能保证适配后的模型完整保留预训练知识[16]。
参见
参考资料
- arxiv.org 上的网页 [引用日期2026-10-29]
- arxiv.org 上的网页 [引用日期2026-10-29]
- arxiv.org 上的网页 [引用日期2026-10-29]
- icml.cc 上的网页 [引用日期2026-10-29]
- lora_code_llama2_70b [引用日期2026-10-29]
- citations [引用日期2026-10-29]
- hugo.lv 上的网页 [引用日期2026-10-29]
- researchmap.jp 上的网页 [引用日期2026-10-29]
- bibtex [引用日期2026-10-29]
- QLoRA: Efficient Finetuning of Quantized LLMs [引用日期2026-10-29]
- Unveiling LoRA Intrinsic Ranks via Salience Analysis [引用日期2026-10-29]
- 2024.findings-acl.102(PDF) [引用日期2026-10-29]
- Effect of Rank in LoRA [引用日期2026-10-29]
- 并非所有层都生而平等：用于个性化图像生成的自适应 LoRA 秩 [引用日期2026-10-29]
- Singular Geometry of Low-Rank Adaptation [引用日期2026-10-29]
- MiLoRA (Wang et al [引用日期2026-10-29]