北京
分享至
去雾一个模型、去雨一个模型、去噪再一个模型——这套流程做图像复原的人都不陌生。西南交通大学等机构提出的 DACG-IR，想用一套框架把这些活全干了。
它的做法是从输入图像里直接生成退化感知的上下文提示，再拿这些提示去动态调制注意力、频域特征和跳跃连接。换句话说，模型先判断这张图坏在哪，再决定往哪个方向修。
按这套思路，DACG-IR 在单任务、All-in-One、恶劣天气和复合退化几类设定下，都拿到了 SOTA 或具备竞争力的结果。一个框架覆盖去雾、去雨、去噪、去模糊、低光照，测试场景从单一退化一路铺到多种退化叠加。
对做图像复原的人来说，值得盯的点有两个：
- 退化感知提示是直接从输入图生成的，不依赖额外的退化类型标签；
- 注意力、频域特征、跳跃连接三处同时被动态调制，而不是只改其中一处。
复合退化一直是这类统一模型最容易翻车的地方——雨雾噪同时出现时，单任务模型要串行调用好几次，误差会一层层叠上去。DACG-IR 把这一步收进同一个框架里，测试设定也覆盖到了复合退化。
代码和更多细节，等作者放出后再看。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
