mixup数据
source link: https://blog.kamino.link/2022/04/02/mixup/
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
mixup数据增强方式
参考文献：
在PyTorch中用Mixup增强神经网络 - 知乎 (zhihu.com)
mixup: Beyond Empirical Risk Minimization (Paper Explained) - YouTube
一般的深度学习模型训练的方式是这样的：fθ(x)=y^，其中x是输入，θ是参数，y^是预测结果；然后计算lossloss(y,y^)，其中y是Ground Truth。而x的分布和真实分布是不一样的，所以最小化的不是真实风险，而是经验风险。所以，论文mixup:BEYOND EMPIRICAL RISK MINIMIZATION中提出了一种方式来增强模型拟合能力。
论文mixup的基本思想是将数据混合构建虚拟样本，如下图所示，有两个数据点A、B，其中A是class 0，而B是class 1，他们的ground truth对应就是一个one hot向量。mixup就是通过混合AB来构建虚拟数据点，同时标签也进行混合得到概率分布，这样就得到了新的样本。
具体效果如下图所示，用公式表示的话：设xi,xj是原始输入向量、x~是新数据，则x~=λxi+(1−λ)xj；设yi,yj是原始one-hot标签，y~是新标签，则y~=λyi+(1−λ)yj。
对于λ的取值，论文使用α=β=0.5的beta分布，也就是说，λ大概率靠近0或者1，少数情况是将两张图片进行混合。
这张图展示了使用mixup的效果，左边的图在没使用时，可以发现蓝色的边界非常尖锐，而使用mixup之后蓝色边界更平缓。也就是说，模型对于不确定的图片更加不确定。
AlignMix
最开始的mixup方法只使用简单的插值来混合两张图片，然而这个效果可能并不是很好，所以cvpr2022上有一篇新的论文来更好地混合两张图片。
AlignMixup: Improving Representations By Interpolating Aligned Features
论文效果如左图（论文原图像素有点低看着也看不出啥……），他们的贡献点1. 提出AlignMixup，能在特征空间中进行局部结构差值 2. 可以用自编码器来提升效果 3. SOTA
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK