关于零模正则化逻辑回归问题的研究

作者:吕佩雯; 刊名:时代金融 上传者:张贺

【摘要】逻辑回归是一种著名的分类方法,已经广泛应用于文档分类、数据挖掘、机器学习、计算机视觉和生物信息学等领域。但是在训练样本数有限且特征过多的情况下,逻辑回归很容易出现过拟合,正则化正是用来减少过拟合以获得一个具有鲁棒性的分类器。近来,更多的人对零模正则化逻辑回归问题感兴趣。这是由于在高维数据中,零模正则化被看作一种有效的策略来获得一个稀疏模型,它可以同时进行特征选择和分类。零模正则化在统计、机器学习、信号与图像处理、稀疏模型选择和误差修正、金融工程及量子计算等领域中有着广泛的应用。设计求解这类优化问题的有效快速算法在近几年成为了国内外优化领域中的热点。

全文阅读

时 代 金 融 Times Finance NO. 09,2018 (CumulativetyNO. 708) 2018 年第 09 期中旬刊(总第 708 期) 关于零模正则化逻辑回归问题的研究 吕佩雯 (华南理工大学,广东 广州 510640) 【摘要】逻辑回归是一种著名的分类方法,已经广泛应用于文档分类、数据挖掘、机器学习、计算机视觉和生物信息学等领域。但是在训练样本数有限且特征过多的情况下,逻辑回归很容易出现过拟合,正则化正是用来减少过拟合以获得一个具有鲁棒性的分类器。近来,更多的人对零模正则化逻辑回归问题感兴趣。这是由于在高维数据中,零模正则化被看作一种有效的策略来获得一个稀疏模型,它可以同时进行特征选择和分类。零模正则化在统计、机器学习、信号与图像处理、稀疏模型选择和误差修正、金融工程及量子计算等领域中有着广泛的应用。设计求解这类优化问题的有效快速算法在近几年成为了国内外优化领域中的热点。 【关键词】逻辑回归 零模正则化 MPEC 问题 精确罚 多阶段凸松弛 一、引言 设 Rn 是赋予了内积 及诱导范数 的有限维向量空间,考虑稀疏逻辑回归问题:令 为样本, 为类别标签,则逻辑回归模型为: 其中 Prob(y=1/ β)是在给定样本观测值 β 后,类别标签为 l 的条件概率,x 为特征向量。 假设给定一个含有 m 个独立同分布样本的训练集 (其中 为第i个样本观测值,且向量βi 的元素是次高斯的,yi 为第i 个类别标签),则由这m 个样本得到的似然函数为 。负的对数似然函数称为逻辑损失,逻辑损失的均值定义为: 这是一个光滑的凸函数[1,3],可以通过最小化逻辑损失的均值来求解特征向量 x。 二、零模正则化 当训练集里的样本数 m 小于维数 n 时,直接求解容易出现过拟合,一般使用正则化来避免过拟合问题的出现。本文将使用零模正则,即求解零模正则极小化问题: 其中 λ> 0 是正则参数, 是向量 χ 中非零元素个数。首先,考虑零模正则问题: (1)其中 为适当的下半连续函数, v> 0 是正则化参数, 是为保证该模型有解而施加的约束。无特殊说明,本文总是假设 且集合 Ω 具有如下形式: 由于 ,根据文献[2]中的定理 10. 4 可知,函数 f 在集合上全局 Lipschitz 连续,记其在集合 Ω 上的 Lipschitz 常数为Lf。 零模优化问题是一类带有组合性质的向量优化问题,(1)这种问题在计算上通常是 NP 难的,难以求得其全局最优解。而且,源于实际应用的零模优化问题通常具有较高的维数,根本不适合采用全局优化方法去寻求全局最优解。一个常用的处理方法是使用凸松弛技术, 这种方法通过解一个或一系列易于处理的凸优化问题来产生一个 理想的可行解或局部最优解。 三、零模正则化问题的等价模型 首先,从零模函数的变分刻画入手,可以得到零模正则问题的等价全局 Lipschitz 连续优化模型。对任意的 ,容易得到: 因此,问题的等价问题为: (2) 问题的可行集中包含着如下互补约束条件: 这说明零模正则化问题也是一个带有互补约束的数学规划问题(MPEC)。需要注意的是,MPEC 在优化中也是一类很难的问题。虽然问题(2)的目标函数比原问题(1)简单,但却含有非凸互补约束 ,这比非凸目标函数更难处理。为解决这个非凸约束,考虑问题(2)的罚问题: (3)其中 ρ> 0 是罚参数。下面的定理 1 将说明问题(3)是问题(2)的全局精确罚,即他们有相同的全局最优解集[5]。在此之前,先建立定理证明需要用到的引理。 引理 1. 对任意给定的向量 和参数

参考文献

引证文献

问答

我要提问