一种解可分凸优化问题的外梯度并行分裂算法

作者:程鹏; 刊名:重庆工商大学学报(自然科学版) 上传者:喻峰

【摘要】并行分裂法是求解两个可分离变量线性约束凸优化问题的重要方法,该方法通常要求两个凸函数有邻近映射,对于其中一个函数具有邻近映射,另一个函数光滑但不具有邻近映射的情况,此处提出了一种基于并行分裂的外梯度算法,并在假设光滑函数梯度Lipschitz连续条件下证明了该算法的O(1/ε)迭代复杂度。

全文阅读

可分离变量的线性约束可分凸优化问题,是研究数学、工程科学和管理科学的一个重要工具,其目标函数是可分离函数的和,且约束是线性约束。HeBS[1]给出了求解含两个可分离变量的凸优化问题的并行分裂增广拉格朗日算法,这个算法能够很好地利用问题的可分离结构,因此在应用领域得到了大家的广泛认可。在此基础上许多读者提出了各种改进算法,如邻近点并行分裂算法[2]、非精确并行分裂算法[3]、预测校正并行分裂算法[4]等。GabayD及MercierB[5]提出的交替方向分裂法也是求解可分凸优化问题的一种有效方法,根据交替方向法的求解优势,ChenG和TeboulM等人[6-8]通过求解一系列凸极小化问题得出了一种改进的交替方向法,MaSQ,etal[9]对于只有一个目标函数有邻近映射的优化问题提出了基于外梯度的交替方向分裂法。受HeBS[1]和MaSQ[9]的启发,此处提出基于外梯度的并行分裂算法。1预备知识这篇文章中考虑以下凸规划约束模型:minf(x)+g(y)s.t.Ax+By=bxX,yY(1)其中f和g是凸函数,XRn,YRp,ARmn,BRmp,bRm,X和Y是凸集且在它们上的投影很容易求得。求解问题(1)通常采用经典的增广拉格朗日法(ALM),产生的迭代格式如下:(xk+1,yk+1)=argmin{L(x,y,k)|xX,yY}k+1=k-(Axk+1+Byk+1-b){其中L(x,y,)是问题(1)的增广拉格朗日函数,定义为L(x,y,)=f(x)+g(y)-T(Ax+By-b)+2Ax+By-b是与线性约束Ax+By=b有关的拉格朗日乘子,是罚参数。2009年,HeBS[1]等人提出关于两个可分离凸优化问题的并行分裂算法迭代如下:xk+1=argminxXL(x,yk,k)yk+1=argminyYL(xk,y,k)k+1=k-(Axk+1+Byk+1-b){(2)受文献[9]的启发,此处提出了外梯度并行分裂法并在假设函数梯度满足lipschitz连续的条件下证明了最优解的迭代复杂度。2外梯度并行分裂算法若f,g均容易求得邻近映射,则问题(1)用迭代步骤(2)可以求得。这部分考虑函数f有邻近映射,函数g光滑但不容易得到邻近映射的情况,提出以下的基于外梯度的并行分裂增广拉格朗日法解决问题(1)。以任意初始点y0Y,0Rm开始,迭代形式如下:xk+1=argminxXL(x,yk,k)+12x-xkH2yk+1=[yk-"yL(xk,yk,k)]Y-k+1=k-(Axk+Byk-b)yk+1=[yk-"yL(xk,yk+1,-k+1]Yk+1=k-(Axk+1+Byk+1-b)?(3)其中,[y]Y表示y在Y上的投影,L(x,y,)是问题(1)的增广拉格朗日函数,向量x在矩阵H意义下的范数为xH=(xTHx)12,L(x,y,)是拉格朗日函数,定义如下:L(x,y,)=f(x)+g(y)-T(Ax+By-b)所以式子(3)中第一个子问题可以表示为xk+1=argminxXf(x)-T(Ax+By-b)+2Ax+By-b+12x-xkH2因为光滑凸函数g不容易求解,所以优化问题minyYL(x,y,)对于给定的x和也不容易求解,因此在外梯度并行分裂增广拉格朗日法中不能直接求解minyYL(x,y,)。采用的方法是固定x和,用拉格朗日函数投影步去校正y。关于,拉格朗日函数L(x,y,)的梯度为"L(x,y,)=-(Ax+By-b)关于的两个迭代步为-k+1=k+"L(xk,yk,k)k+1=k+"L(xk+1,yk+1,-k+1)因此式(3)等价于:x

参考文献

引证文献

问答

我要提问