玻尔兹曼机
定义
玻尔兹曼机是随机神经网络与递归神经网络的一种,可以看作在霍普菲尔德网络中引入随机性之后形成的模型[1]。网络中每个单元取二值状态,单元状态的翻转由概率决定,而不像早期的确定性网络那样由阈值直接决定,因此整张网络的状态按一定分布随机变化[4]。常见的结构把单元分为可见单元与隐藏单元:前者承载输入输出,后者用于表达输入与输出之间的内部联系[4]。其中隐藏单元的存在,使它成为较早能够学习内部表示的神经网络之一[2]。
名称来源与物理类比也属于定义的一部分:网络各状态的概率写成与能量有关的指数形式,和统计力学家玻尔兹曼提出的分布形式一致,模型因此得名[1]。
原理
玻尔兹曼机用能量函数刻画整个网络状态的优劣。可见单元向量记为 $v$,隐藏单元向量记为 $h$,连接权重矩阵为 $W$,两者的偏置分别为 $a$ 和 $b$,则一种常见写法是 $E(v,h)=-a^{\mathrm{T}}v-b^{\mathrm{T}}h-v^{\mathrm{T}}Wh$[5]。状态出现的概率由能量决定:$P(v,h)=\frac{1}{Z}e^{-E(v,h)}$,其中 $Z$ 是对所有状态求和得到的归一化因子[5]。能量越低的状态出现得越频繁,学习过程就是把能量分布调整到与数据分布相近[6]。
单元的状态更新采用随机规则,类似模拟退火:每个单元取 1 的概率由净输入与温度参数共同决定的一条 S 形函数给出,净输入为 0 时两种状态各占一半[7]。温度逐步降低,网络从大范围随机探索过渡到在低能量状态附近稳定下来,从而有机会跳出局部极小[4]。
训练通常以最大化训练样本的对数似然为目标,梯度可以分解成两部分:一部分由数据固定可见单元时的统计量给出,称为正相;另一部分由网络自由运行时采样的统计量给出,称为负相,两者之差用于修正权重[8]。负相需要对模型分布进行采样,实践中借助吉布斯采样逐步逼近热平衡,这也是计算量的主要来源[3]。
受限玻尔兹曼机在结构上作了简化:可见单元之间、隐藏单元之间都不相连,只保留可见层与隐藏层之间的对称连接[5]。由于图是二部图,已知一层后另一层各单元相互独立,激活概率可写成 $P(h_j=1 \mid v)=\sigma\left(b_j+\sum_i w_{i,j}v_i\right)$,一步就能完成整层采样[5]。
发展历程
1985 年,戴维·阿克利、杰弗里·辛顿与特里·泽诺斯基在《认知科学》上发表论文,给出了玻尔兹曼机的学习算法,把统计力学中的并行搜索方法引入连接主义网络[9]。此后,可视为随机生成版霍普菲尔德网络的玻尔兹曼机成为一类独立的随机神经网络模型[1]。
1986 年,保罗·斯莫伦斯基以 Harmonium 之名提出受限玻尔兹曼机,即去掉同层连接的玻尔兹曼机[5]。2002 年前后,辛顿及其学生发现简化结构后训练可以大幅简化,并给出对比散度算法,使这类模型真正具备可训练性[3]。
2006 年,辛顿与鲁斯兰·萨拉赫丁诺夫在《科学》上发表工作,把多个受限玻尔兹曼机逐层堆叠,提出深度信念网络的逐层无监督预训练方法[10]。萨拉赫丁诺夫与辛顿随后又提出多层隐藏变量的深度玻尔兹曼机及其学习程序[11]。2017 年,苏黎世联邦理工学院的研究者用受限玻尔兹曼机构造神经网络量子态,求解复杂自旋模型的基态波函数[3]。
应用
在组合优化与联想记忆方面,随机化的状态更新使它能够避开局部最优,被用于求解旅行商一类问题,并与霍普菲尔德网络、模拟退火算法做过对比研究[12]。受限玻尔兹曼机则更常用于从数据中估计概率分布,可用于降维、分类、特征学习与主题建模,按任务既可监督也可无监督训练[5]。
在推荐系统中,受限玻尔兹曼机被用于协同过滤,以二值可见单元表示用户对物品的偏好,对未观测评分作出预测[5]。在语音识别上,辛顿研究组把玻尔兹曼机相关模型引入声学建模,效果超过了此前的算法[3]。此外,由其启发的逐层预训练做法后来在深度网络的训练中得到广泛采用[6]。
局限
通用玻尔兹曼机最突出的困难是配分函数难以计算。$Z$ 需要对所有可能的单元构型求和,规模随单元数迅速增长,这使得模型无法严格给出某个样本的概率与似然,梯度中的负相统计量也只能近似估计[6]。
训练代价高是另一个限制。网络达到热平衡所需的采样步数随神经元数量快速增加,参数较多的玻尔兹曼机几乎无法训练,辛顿本人也曾判断这类模型难以付诸实用[3]。受限玻尔兹曼机的对比散度训练虽然在实践中有效,但并不系统地提高训练数据的真实似然,对于需要长链马尔可夫链采样的应用尤其不足[13]。
在表达能力与通用性上,未加连接限制的玻尔兹曼机是否对机器学习的实际问题有用并未得到证明,因此长期被认为主要具有理论意义[1]。其后这一路线逐渐被其他网络架构取代,相关设计思想则以预训练、生成模型等形式保留下来[3]。
参见
参考资料
- 玻尔兹曼机 [引用日期2026-10-29]
- [科普中国]-随机神经网络 [引用日期2026-10-29]
- 虽然框架简洁优美，且表达能力强大，但玻尔兹曼机的实用仍面临巨大挑战，这一挑战来源便是训练的消耗 [引用日期2026-10-29]
- 随机神经网络| 学习笔记 [引用日期2026-10-29]
- Restricted Boltzmann machine [引用日期2026-10-29]
- wl20250102(PDF) [引用日期2026-10-29]
- 随机神经网络|学习笔记 [引用日期2026-10-29]
- Machine de Boltzmann restreinte — Wikipédia [引用日期2026-10-29]
- dblp: Search for "toc:db/journals/cogsci/cogsci9.bht:" [引用日期2026-10-29]
- 专题 康文斌等 深度神经网络的结构基础：自动编码器与限制玻尔兹曼机 [引用日期2026-10-29]
- Salakhutdinov: An efficient learning procedure for [引用日期2026-10-29]
- 第21卷第6期 [引用日期2026-10-29]
- arxiv.org 上的网页 [引用日期2026-10-29]