在系列(一)中我们提到,应对域偏移的方法在近两年产生了众多变体。根据应用假设的不同,传统的域自适应(DA)衍生出多源域域自适应(Multi-Source DA)、开放复合域自适应(Open Compound DA)、域泛化(DG)等多种形态。在本次系列(二)的文章中,我们将首先介绍“域泛化”这一方法领域,对其最新的相关工作进行介绍和一定总结。
“域泛化”旨于应对如下问题:相比于域自适应,域泛化注重于在训练阶段,目标域数据完全不可获取的情况下,如何使得模型仅依靠源域数据获得强大的鲁棒表征能力,在无法提前观测的部署环境下保持较高的模型性能。
在图像分类任务中,域泛化的工作常常基于多源域的数据设置,利用“leave-one-out”的评估方式进行实验验证。方法分类大致可以分为基于模型结构的域泛化[1-2]、基于域对齐的域泛化[3-4]和基于数据增强的域泛化[5-6]。
接下来,笔者主要针对自身更为熟悉的语义分割任务,进行域泛化工作的探讨。域泛化在语义分割上的起步晚于图像分类任务,也因此存在一些新的特点:① 可能是受限于数据集的问题,域泛化语义分割往往采用单源域数据集的设置;② 另外,域泛化语义分割往往在Sim2Real的场景下进行验证,即在训练阶段利用虚拟数据集(如GTA、SYNTHIA),在测试阶段利用真实数据集(Cityscapes、ACDC)等,或Real2Sim(反之)、Real2Real、Sim2Sim设置。而域泛化语义分割方法大致又可以分为两种:基于去除domain-specific特征的模型结构设计,例如采用Instance Normalization、Instance Whitening让模型在训练阶段学到尽量domain-invariant特征,从而保证在未知测试域的泛化性;基于域随机化,即通过将单源域数据利用各种数据增强方式拓展至多个伪源域,使得模型在训练阶段尽量学到domain-invariant特征。以上所述的部分文章总结如下:
方法 | 简介 | 数据集设置 | 开源 | 类型 |
IBN-Net[7] | 基于Instance Normalization去除domain-specific特征 | GTA5 → Cityscapes Cityscapes → GTA5 | 开源 | 基于去除domain-specific特征的模型结构设计 |
SW[8] | 基于Instance Whitening去除domain-specific特征 | GTA5 → Cityscapes Cityscapes → GTA5 | 开源 | 基于去除domain-specific特征的模型结构设计 |
RobustNet[9] | 基于Instance Whitening/Normalization组合的去除domain-specific特征 | Cityscapes → BDD 100k / Mapillary / GTA5 / SYNTHIA; GTA5 → Cityscapes / BDD100k / Mapillary | 开源 | 基于去除domain-specific特征的模型结构设计 |
DRPS[10] | 基于利用额外数据集ImageNet的域随机化和域对齐的方法 | GTA 5 → Cityscapes / BDD 100K / Mapillary | 未开源 | 基于域随机化 |
WildNet[11] | 利用ImageNet进行数据增强,提供了四部分训练步骤/机制 —— FE、CEL、SEL、SCR,将源模型扩展到Wild Contents和Wild Styles | GTA5 → Cityscapes / BDD100k / Mapillary / SYNTHIA | 开源 | 基于域随机化 |
SADG[12] | 利用细粒度的域对齐,尽量减少传统方法(Instance Whitenning/Normalization)去风格时同时造成的语义信息丢失,提升模型泛化性同时尽量保持了模型在源域的性能 | GTA5 → Cityscapes / BDD100k / Mapillary / STNTHIA; SYNTHIA → Cityscapes / BDD100k / Mapillary / GTA5; Cityscapes → GTA5 / BDD100k / Mapillary / STNTHIA | 开源 | 基于去除domain-specific特征的模型结构设计 |
本文系列(二)我们简要地介绍了域泛化的相关工作,当前这一领域依然还有不少的提升空间,如向其它任务(如目标检测)进行拓展等(更多细节内容可阅读参考文献中的相关综述)。如果说域泛化是在训练阶段完全不使用测试目标域的任何先验知识,那有没有可能存在一种方法使得模型能够在测试目标域部署时利用真实的目标部署数据进一步提升部署性能呢?本系列的下一篇文章(三)将介绍体现刚刚所述内容的方法,它们叫作在线域自适应(Online DA)或者叫测试时适应(Test-Time Adaptation),这一领域的部分方法能和域泛化方法相辅相成,相互兼容地提升在训练阶段完全无法预知测试目标域情况下的模型部署性能。
参考文献:
[1] D’Innocente A, Caputo B. Domain generalization with domain-specific aggregation modules[C]//German Conference on Pattern Recognition. Springer, Cham, 2018: 187-198.
[2] Zhou K, Yang Y, Qiao Y, et al. Domain adaptive ensemble learning[J]. IEEE Transactions on Image Processing, 2021, 30: 8008-8018.
[3] Wang J, Lan C, Liu C, et al. Generalizing to unseen domains: A survey on domain generalization[J]. IEEE Transactions on Knowledge and Data Engineering, 2022.
[4] Gulrajani I, Lopez-Paz D. In search of lost domain generalization[J]. arXiv preprint arXiv:2007.01434, 2020.
[5] Carlucci F M, D'Innocente A, Bucci S, et al. Domain generalization by solving jigsaw puzzles[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2019: 2229-2238.
[6] Zhou K, Yang Y, Qiao Y, et al. Domain generalization with mixstyle[J]. arXiv preprint arXiv:2104.02008, 2021.
[7] Pan X, Luo P, Shi J, et al. Two at once: Enhancing learning and generalization capacities via ibn-net[C]//Proceedings of the European Conference on Computer Vision (ECCV). 2018: 464-479.
[8] Pan X, Zhan X, Shi J, et al. Switchable whitening for deep representation learning[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. 2019: 1863-1871.
[9] Choi S, Jung S, Yun H, et al. Robustnet: Improving domain generalization in urban-scene segmentation via instance selective whitening[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021: 11580-11590.
[10] Yue X, Zhang Y, Zhao S, et al. Domain randomization and pyramid consistency: Simulation-to-real generalization without accessing target domain data[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. 2019: 2100-2110.
[11] Lee S, Seong H, Lee S, et al. WildNet: Learning Domain Generalized Semantic Segmentation from the Wild[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2022: 9936-9946.
[12] Peng D, Lei Y, Hayat M, et al. Semantic-aware domain generalized segmentation[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2022: 2594-2605.
如果觉得我的文章对您有用,请随意打赏。你的支持将鼓励我继续创作!