优化 | 不再Heuristic！面向非凸反问题的可学习迭代方法的收敛性

病态反问题在计算机视觉任务的建模中随处可见，其求解往往由于模型高度非凸等原因异常困难。近年来，随着深度学习的蓬勃发展，可学习迭代算法在解决病态反问题中崭露头角。这类方法将深度网络和数值优化相结合，利用可学习的深度网络代替模型中求解困难或复杂的部分，在视觉问题上取得了成功。然而，将可学习结构整合到迭代算法中并非易事，大部分方法都是通过特定问题的经验知识进行指导来达到优越的效果，而不是像数值优化方法那样，通过严格的理论分析来保障求解的稳定性和可靠性。因此，目前的可学习方法更像是墙头草，不知道下一刻它会随着哪个方向的风飘荡，当然也不知道它飘向的方向对问题而言是否是“最优解”。为了解决该疑惑，本文试图深入分析可学习迭代方法“优越性能”表象下的本质，即通过理论分析解释这类方法能够取得成功的深入原因。基于该目标，本文首先为可学习方法提供了一个灵活的模块化可学习迭代框架，并给出收敛性分析来表明融入可学习结构的迭代算法是可以收敛到某个指定非凸问题的一个最优解的。

作者：刘日升、程世超、何意、樊鑫、林宙辰、罗钟铉
责任编辑：乌鸦
文章发表于微信公众号【运筹OR帷幄】：优化 | 不再Heuristic！面向非凸反问题的可学习迭代方法的收敛性
欢迎原链接转发，转载请私信@运筹OR帷幄获取信息，盗版必究。
敬请关注和扩散本专栏及同名公众号，会邀请全球知名学者发布运筹学、人工智能中优化理论等相关干货、知乎Live及行业动态：『运筹OR帷幄』大数据人工智能时代的运筹学

更多精彩文章，欢迎关注【运筹OR帷幄】机构号

本文On the Convergence of Learning-based Iterative Methods for Nonconvex Inverse Problems近期被机器学习与模式识别顶级期刊IEEE TPAMI接收。

引言

病态反问题在计算机视觉任务的建模中随处可见，其求解往往由于模型高度非凸等原因异常困难。近年来，随着深度学习的蓬勃发展，可学习迭代算法在解决病态反问题中崭露头角。这类方法将深度网络和数值优化相结合，利用可学习的深度网络代替模型中求解困难或复杂的部分，在视觉问题上取得了成功。然而，将可学习结构整合到迭代算法中并非易事，大部分方法都是通过特定问题的经验知识进行指导来达到优越的效果，而不是像数值优化方法那样，通过严格的理论分析来保障求解的稳定性和可靠性。因此，目前的可学习方法更像是墙头草，不知道下一刻它会随着哪个方向的风飘荡，当然也不知道它飘向的方向对问题而言是否是“最优解”。为了解决该疑惑，本文试图深入分析可学习迭代方法“优越性能”表象下的本质，即通过理论分析解释这类方法能够取得成功的深入原因。基于该目标，本文首先为可学习方法提供了一个灵活的模块化可学习迭代框架，并给出收敛性分析来表明融入可学习结构的迭代算法是可以收敛到某个指定非凸问题的一个最优解的。

可学习迭代算法的一般框架及理论分析

实验结果

作者在非盲去卷积、盲去模糊和去雨三个视觉问题上验证提出方法有效性。

收敛行为对比：

该实验在去卷积问题上和现有流行的非凸优化算法进行迭代性能的对比。如图2所示，我们对比了不同的噪声强度下的迭代误差和重构误差，发现由于加入了自主设计的网络结构，本文提出的方法比其他非凸优化方法收敛更快。特别是在解决实际问题时，当噪声强度过大时（图2（d）），传统的非凸优化方法重构误差会呈现先下降后上升、避开“最优”图像的倾向；而本文方法却能始终保持向重构误差更小的方向迭代。此外，通过在BSDS68数据库上进行迭代次数和运行时间的对比，也会发现本文方法可以做到迭代更少、效率更高的双优结果。

非盲去卷积定性定量分析：

为了验证本文方法在解决实际问题上的有效性，首先在单变量问题非盲去卷积上进行了定性和定量的实验分析。如图3所示，将本文提出的eFIMA 和 iFIMA 与受欢迎的可学习迭代方法PPADMM 和IRCNN 进行对比，会发现本文方法可以复原出更多的细节。比如窗户上的栏杆和枝干上的花朵。为了进一步验证本文方法的有效性，还在BSDS68数据库中的图像上增加不同强度的噪声和更多的方法进行对比。如表1所示，无论是和目前较流行的去卷积方法对比，还是和经典的非凸优化方法进行对比，本文方法在PSNR、SSIM和运行时间（TIME）上都更有优势。

图像盲复原定性定量分析：

本文还在多变量情况下的图像盲复原问题上进行验证。图4提供了可视化的定性结果，可以发现本文方法估计的模糊核更准确，复原的结果震铃现象也不像其他方法那么明显。表2给出了Levin数据库上定量结果，本文方法在平均PSNR、SSIM、ER、KS和Time这些指标上都达到最优。

图像去雨定性定量分析：

为了更加充分地验证本文方法在视觉问题上的有效性，这里还在图像去雨问题上进行了对比。图5的结果表明本文方法能更好地去除雨线。表3的定量结果也验证了本文方法在去雨问题上有明显的优势。

总结

本文提出了针对非凸反问题的具有收敛性保证的可学习迭代方法框架，并提供了显式动量和隐式动量两种情况下的收敛性分析。该框架具有极高的灵活性，可以把大部分现有的可学习优化方法囊括进来并进行带有收敛性分析的改进。同时，该框架的理论结果也解释了可学习的深度网络能够学习到某一指定函数的下降方向，为网络的可解释性提供了一些可能性。在视觉问题上的实验也验证了本文方法的有效性。

相关论文：

1. Risheng Liu, Shichao Cheng, Yi He, Xin Fan, Zhouchen Lin, and Zhongxuan Luo, On the Convergence of Learning-based Iterative Methods for Nonconvex Inverse Problems, IEEE TPAMI, accepted.

扫二维码关注『运筹OR帷幄』公众号：

更多精彩文章欢迎关注我们的『运筹OR帷幄』机构号