对非凸问题的二次增量算法

作者:郭亚宁; 刊名:科学咨询(科技·管理) 上传者:廉坤

【摘要】我们提出了一种名为二次增量算法并针对光滑(可能是非凸的)函数之和的极小化问题。我们所提出的联合了增量方法的新颖算法能使所有子系统在一个强凸逼近函数作用下迭代并且保证收敛到函数的稳定点。之后我们应用所提出的算法框架去解决一个特殊的问题。

全文阅读

0引言我们考虑下面的无约束优化问题,其中目标函数是一系列可微子函数(可能是非凸函数)的和。(1)其中X是一个非空闭凸集,并且每一个是二次可微(可能非凸的)函数。是强制的。当是非凸函数时,求解问题(1)是非常困难的。本文对形如(1)的非凸二次可微问题提出了一种新颖的带有二阶信息的替代函数的增量算法。算法的关键特征包括:1)替代函数都是二次的强凸函数,对这个强凸函数求极小值能得到唯一的解;2)由增量算法的思想。本文的基本结构如下:第二部分提出稳定点的定义并且介绍相关的引理,给出原函数的合理假设;我们在第三部分给出二次强凸逼近函数的基本形式;第四部分我们给出带有二阶信息的替代函数的增量算法,并且证明我们的方法可以收敛到原函数的一个稳定解。1预备知识在这部分我们将介绍一些基本的概念和定义,而这些概念及定义将作为我们的最后证明的重要理论依据。基于[10]和[11]的介绍,我们给出稳定点的定义。定义1[1] 一个点x是问题(1)的稳定点,如果(2)不等式(2)是对优化问题的局部最优的必要条件。对于非凸优化问题,由于其全局最优条件很难得到,则我们要求得到原问题的一个较好的稳定点即可。2强凸性质的替代函数现在目标函数有更特殊的二次连续可微的性质,所以我们采用一种更新颖的带有二阶信息的替代函数,其形式如下:(3)使得有唯一解,即。3问题的算法在这部分我们提出一种新颖算法。给出了一种带有二阶信息的增量算法,算法具体步骤如下:算法1:带有二阶信息的增量算法 InputStep1:初始,选择一些在x0的替代函数对所有的;For tStep2:随机选择一个指标j并选择一个的关于xt的替代函数。令所有的i≠j,;Step3:计算;Step4:找到X的一个点,使得;Step5:选择;Step6:判断xt+1是否是问题(1)的稳定解,如果是,转Step7,如果不是,转Step2。在算法1中的步长我们有以下三个性质:(1);(2);(3)。通过文献[3]我们可以知道,一个非精确线搜索的下降步长即能满足以上三种性质。定理1通过算法1得到的序列,序列要么有限不收敛到一个值,要么收敛到原问题的一个稳定解。证明:根据文献[6]中的性质8的第c)部分,当g(x)=0。其中。由下降引理我们可以得到:(4)现在我们计算期望指标,在这里我们可以找到一些合理的参数且有充分的大的迭代次数k使得。我们令,,,根据文献[6]的引理我们可以得到收敛到一个非负且(5)另外,由假设(A9)是强制的,即有,则是收敛的。再利用文献[6]的性质8的b)部分我们有满足原问题的稳定解的定义且,证毕。4结论本文讨论了一类二次连续可微问题。该问题的特点是变量的维数和数据规模大,用经典的优化方法极小化目标函数十分困难的。因此我们利用了带有原函数的一阶和二阶信息的替代函数,以增连算法框架为基本,并在此基础上设计了一种新的 算法,并能证明我们所提出的方法是可行且有效的。对非凸问题的二次增量算法@郭亚宁$重庆师范大学数学科学学院我们提出了一种名为二次增量算法并针对光滑(可能是非凸的)函数之和的极小化问题。我们所提出的联合了增量方法的新颖算法能使所有子系统在一个强凸逼近函数作用下迭代并且保证收敛到函数的稳定点。之后我们应用所提出的算法框架去解决一个特殊的问题。非凸函数;;增量算法;;稳定点[1]BERTSEKAS D P.Incremental proximal methods for large scale convex optimization[M].Springer-Verlag New York,Inc.2011. [

参考文献

引证文献

问答

我要提问