广义线性模型

定义

广义线性模型是普通线性回归的扩展,其基本想法是:因变量的条件分布可以取自指数族中的任一种分布,而因变量的期望值经某个函数变换后,等于自变量的线性组合^[2]。普通线性模型只处理误差独立且方差固定的正态情形,而广义线性模型把关照范围扩展到计数、比例、阳性连续值等数据^[3]。

广义线性模型通常被拆成三个组成部分:随机成分给出因变量所服从的分布,系统成分是自变量的线性预测项,联系函数则把因变量的均值与线性预测项对应起来^[4][3]。按这一定义,逻辑回归、泊松回归、概率单位模型都属于它的特例^[5]。需要注意,它与「一般线性模型」不是同一概念,后者是把多个多元回归方程合并书写的紧凑形式^[6]。

原理

设第 $i$ 个观测的因变量为 $y_i$,其均值为 $\mu_i$,自变量的线性预测项为 $\eta_i = \beta_0 + \beta_1 x_{i1} + \cdots + \beta_p x_{ip}$。联系函数 $g(\cdot)$ 是单调且可微的,满足 $g(\mu_i) = \eta_i$,其反函数把线性预测项还原为均值 $\mu_i = g^{-1}(\eta_i)$^[3]。模型对每个观测的预测流程可表示为:$x_i \mapsto \eta_i \mapsto \mu_i \mapsto y_i$,最后一步由 $\mu_i$ 决定的分布生成^[7]。

常见的组合各有固定搭配:正态分布配恒等联系函数,即普通线性回归;二项分布配 logit 联系函数,即 逻辑回归;泊松分布配对数联系函数,用于计数数据^[2]。当联系函数取使指数族参数与线性预测项相等的形式时,称为经典联系函数,例如 Gamma 分布的倒数联系和逆高斯分布的平方倒数联系^[4]。

在指数族假设下,因变量的条件方差也可写成均值的已知函数 $V(\mu_i)$,并附带一个散度参数 $\phi$;正态族的方差恒为 $\phi$,泊松族为 $\mu_i$,二项族为 $\mu_i(1-\mu_i)/n_i$^[3]。参数 $\beta$ 一般用最大似然法估计,计算上依靠迭代加权最小二乘,该算法可通用于所有联系函数与分布族的组合^[8]。拟合优度常用偏差(deviance)衡量,它等于饱和模型与当前模型对数似然之差的两倍^[8]。

发展历程

广义线性模型这一名称与统一框架出自约翰·内尔德和罗伯特·韦德伯恩 1972 年发表于《皇家统计学会杂志 A 辑》的论文,文中用迭代加权线性回归求得指数族观测下的最大似然估计,并以正态、二项、泊松、Gamma 四种分布加以示例^[1][9]。在此之前,逻辑模型、计数数据模型等已在 20 世纪 40 至 60 年代陆续出现,1972 年的工作把这些分散模型整合到一个理论框架中^[10]。

1974 年,韦德伯恩提出拟似然方法,指出只要给出均值与方差之间的关系,不必假定完整的指数族分布也能进行估计,这使模型适用范围进一步放宽^[11]。1989 年,彼得·麦卡拉与内尔德出版《广义线性模型》一书,系统整理了原理、最大似然估计与实务应用,被视作该领域的代表性文献^[2]。此后在固定效应之外引入随机效应的 广义线性混合模型,以及把线性预测项换成平滑函数的广义可加模型,都由此衍生^[6]。

应用

在非寿险精算中,广义线性模型自 20 世纪 80 年代起被引入,涉及生命表修匀、损失分布、信度理论、准备金评估和费率估计等方面^[12]。车险的分类费率厘定尤其依赖这一工具,索赔频率常用泊松或负二项分布建模,索赔金额则用 Gamma 等分布,从而把从人、从车、从地域等风险因子纳入同一模型^[13][14]。

在生物医学与社会科学中,二值结果如患病与否、购买与否适合用逻辑回归处理,计数结果如事故次数、就诊次数适合用泊松回归处理^[3]。流行病学中的概率单位模型同样属于这一族^[5]。

在软件层面,R 语言的 glm 函数以分布族与联系函数为参数拟合此类模型,可选高斯、二项、泊松、Gamma、逆高斯及自定义的拟似然族;商业软件与大数据平台也提供对应实现^[8][7]。

局限

广义线性模型把自变量的作用限定为线性预测项中的线性叠加,难以直接表达非线性效应;若变量关系存在弯曲或阈值,需要在模型中人为构造项或改用广义可加模型^[15]。分布假设本身也是一种约束,实际数据偏离假定分布时会带来偏误,因而出现了零膨胀模型等扩展^[15]。

对计数与比例数据,常见的问题是过离散,即实际方差大于二项或泊松分布所规定的方差,通常源于观测之间的相关性、聚类或成功概率不恒定,处理办法包括估计散度参数、改用拟泊松族或负二项族^[3]。联系函数若选择不当也会影响结论,检验联系函数是否误设并不容易,替换为非经典联系还会加大计算量并抬高参数估计的方差^[16]。

此外,标准框架假定散度参数为常数,双重广义线性模型则对均值与散度同时建模以放宽这一限制^[17]。除经典联系函数外,参数估计一般没有精确的分布理论,通常依赖大样本近似与迭代算法^[18]。当数据存在分组结构时,还需引入随机效应,即广义线性混合模型^[19]。

参见

• 线性回归 —— 广义线性模型在正态分布与恒等联系函数下的特例。

• 逻辑回归 —— 二项分布配 logit 联系函数时得到的广义线性模型。

• 泊松回归 —— 用于计数数据的广义线性模型,采用对数联系函数。

• 指数族分布 —— 广义线性模型随机成分所依据的分布族。

• 广义线性混合模型 —— 在广义线性模型中加入随机效应的扩展。

• 广义可加模型 —— 把线性预测项替换为平滑函数的推广形式。