L2约束与L2正则项优化问题的关系 - Breezedeus | 算法优化世界

所谓的L2约束问题，就是带L2约束的优化问题，见下式：

min J(θ)s.t.‖θ‖2≤R 。

而带L2正则项的优化问题则为：

minθ[J(θ)+λ2‖θ‖2] 。

带L2约束的优化问题可以近似转化为L2正则项的优化问题。

上面的L2约束优化问题等价于：

minθmaxλ≥0[J(θ)+λ2(‖θ‖2−R)] 。

而与它等价的对偶问题为：

maxλ≥0minθ[J(θ)+λ2(‖θ‖2−R)]=maxλ≥0{minθ[J(θ)+λ2‖θ‖2]−12λR}≜maxλ≥0g(λ; R)≜g(λ∗; R) ，

其中λ∗为这个优化问题的最优解，显然λ∗是依赖于R的。所以上面的对偶问题变为：

minθ[J(θ)+λ∗2‖θ‖2]−12λ∗R 。

如果我们不求解最优的λ∗，而是直接指定某个值λ0，那对偶问题的求解就等价于带L2正则项的最小化优化问题了：

minθ[J(θ)+λ02‖θ‖2] 。

更详细的资料可见参考文献1。

上面的推导不仅适用于L2约束，它其实适用于所有的Lp约束（p≥1），因为上面的推导过程只用到了Lp是凸函数的条件。

References

L2约束与L2正则项优化问题的关系