瑞丽商 (Rayleigh quotient) 两种启发式证明

瑞丽商定义如下:

R(A,x)=xAxxx R(A, x)=\frac{x^{*} A x}{x^{*} x}
其中矩阵AAn×nn \times n的对称矩阵(Hermitian)。

有:
maxx0xHAxxHx=maxxHx=1xHAxxHx=λmaxminx0xHAxxHx=minxHx=1xHAxxHx=λmin \begin{aligned} &\max _{\boldsymbol{x} \neq 0} \frac{\boldsymbol{x}^{\mathrm{H}} \boldsymbol{A} \boldsymbol{x}}{\boldsymbol{x}^{\mathrm{H}} \boldsymbol{x}}=\max _{\boldsymbol{x}^{\mathrm{H}} \boldsymbol{x}=1} \frac{\boldsymbol{x}^{\mathrm{H}} \boldsymbol{A} \boldsymbol{x}}{\boldsymbol{x}^{\mathrm{H}} \boldsymbol{x}}=\boldsymbol{\lambda}_{\mathrm{max}}\\ &\min _{\boldsymbol{x} \neq 0} \frac{\boldsymbol{x}^{\mathrm{H}} \boldsymbol{A} \boldsymbol{x}}{\boldsymbol{x}^{\mathrm{H}} \boldsymbol{x}}=\min _{\boldsymbol{x}^{\mathrm{H}} \boldsymbol{x}=1} \frac{\boldsymbol{x}^{\mathrm{H}} \boldsymbol{A} \boldsymbol{x}}{\boldsymbol{x}^{\mathrm{H}} \boldsymbol{x}}=\lambda_{\mathrm{min}} \end{aligned}

证明1:

因为AA为对称矩阵,可特征分解为 A=VTΣVA= V^T\Sigma VV=[v1,...,vn]V = [v_1,..., v_n], Σ=diag(λ1,...,λn)\Sigma=\mathrm{diag}(\lambda_1,...,\lambda_n)。不妨设λ1λ2...λn\lambda1 \ge \lambda_2 \ge ...\ge \lambda_n

对原式进行如下展开。可得

R(A,x)=xAxxx=i=1nλiyi2i=1nyi2 R(A, x)=\frac{x^{*} A x}{x^{*} x}=\frac{\sum_{i=1}^{n} \lambda_{i} y_{i}^{2}}{\sum_{i=1}^{n} y_{i}^{2}}

显然有:
λ1=i=1nλ1yi2i=1nyi2i=1nλiyi2i=1nyi2i=1nλnyi2i=1nyi2=λn\lambda_1 = \frac{\sum_{i=1}^{n} \lambda_{1} y_{i}^{2}}{\sum_{i=1}^{n} y_{i}^{2}}\le\frac{\sum_{i=1}^{n} \lambda_{i} y_{i}^{2}}{\sum_{i=1}^{n} y_{i}^{2}}\le\frac{\sum_{i=1}^{n} \lambda_{n} y_{i}^{2}}{\sum_{i=1}^{n} y_{i}^{2}}=\lambda_n

得证。
同时: 当且仅当y1=0,...yn1=0y_1=0,...y_{n-1}=0成立时,等号成立,取到最大值。 因此,当xxAA的最大特征向量时,瑞丽商最大,为最大特征值。

证明2:

易见,我们可以引入一个限制条件而不影响瑞丽商的结果:xTx=1x^Tx=1

将这个限制条件用拉格朗日乘子法加入目标函数,有:

L=R(A,x)+λ(xTx1)=xTAx+λ(xTx1)L = R(A, x) + \lambda (x^{T}x-1) = x^{T} A x+ \lambda (x^{T}x-1) .

xx求导,有Ax+λx=0Ax+\lambda x=0时取到极值。 那么显然,xxAA的特征向量(特征分解的定义)。注意这里的λ\lambda是拉格朗日乘子,而不是特征值。

由此,可知xxAA的特征向量后,xTAxx^{T} A x的结果就是对应的特征值。
证毕。

拓展

X\mathrm{X}为矩阵时
求解R的最值:
R(A,X=tr(XTAX(XTX)1)R(A, \mathrm{X})=\mathrm{tr}({\mathrm{X}^{T} A \mathrm{X}}({\mathrm{X}^{T} \mathrm{X}})^{-1})

X=UΣVT\mathbf{X}=U\Sigma V^T为特征值分解。

R=tr(VTUAUTVT(VΣTΣVT)1)=tr(TUAUTΣ(ΣTΣ)1)=tr(UAUT[I0][I0])=tr(QTAQ)Q=UT[I0] \begin{aligned} &R=\operatorname{tr}\left(\mathrm{V} \sum^{T} U A U^{T} \sum V^{T}\left(V \Sigma^{T} \Sigma V^{T}\right)^{-1}\right)\\ &=\operatorname{tr}\left(\sum^{T} U A U^{T} \Sigma\left(\Sigma^{T} \Sigma\right)^{-1}\right)\\ &=\operatorname{tr}\left(U A U^{T}\left[\begin{array}{l} {I} \\ {0} \end{array}\right]\left[\begin{array}{ll} {I} & {0} \end{array}\right]\right)\\ &=\operatorname{tr}\left(Q^{T} A Q\right)\\ &Q=U^{T}\left[\begin{array}{l} {I} \\ {0} \end{array}\right] \end{aligned}

这说明,我们可以直接最后的式子tr(QTAQ)\operatorname{tr}\left(Q^{T} A Q\right)。显然QTQ=IQ^TQ=I。因此,对比R的原始式子,我们可以从一开始就增加限制条件, XTX=IX^TX=I

进一步使用拉格朗日方法可知,XX是由特征向量构成的矩阵。

发布了47 篇原创文章 · 获赞 116 · 访问量 73万+
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 大白 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览