浮游生物是海洋生态系统的基础,是现代海洋生态管理不可或缺的手段。由于先前的研究表明浮游动物对长波长(即红色)光不敏感,因此这种光通常用于制作浮游生物的图像,作为生态管理过程的一部分。不幸的是,红光只能产生浮游生物的灰度图像,因此会丢失有关其真实颜色的信息。
针对这一问题,中科院深圳先进技术研究院(SIAT)李建平博士领导的研究团队近日开发了一种基于深度卷积的浮游生物自动着色算法IsPlanktonCLR网络。神经网络。
该算法经过训练,可以将在红色光照下获取的灰度图像转换为高保真彩色图像。它可以自动、真实地将水下拍摄的海洋浮游生物灰度图像“染色”成自然色彩,着色效果非常接近人眼感知。
该研究于10月23日至27日在以色列举行的欧洲计算机视觉会议(ECCV)上发布。
厦门大学和哈尔滨工业大学(深圳)的研究人员也参与了这项研究。
IsPlanktonCLR网络采用具有自引导功能、自定义调色板和逐步聚焦损失功能的双路径结构来实现浮游生物灰度图像的自动着色。对稀有物种和常见物种的关键部位进行色彩还原,表现出极佳的准确性和保真度。
为了训练和开发IsPlanktonCLR算法,该团队构建了一个包含数千个彩色-灰色浮游生物图像对的数据集。使用该数据集,该团队不仅训练了着色算法,还将其性能与最先进的着色算法进行了比较。实验结果表明,IsPlanktonCLR算法不仅在人类视觉感知方面,而且在峰值信噪比(PSNR)、结构相似度(SSIM)、Fréchet初始距离(FID)等经典指标方面都提供了最好的结果常用于机器视觉。
此外,现有的着色算法普遍缺乏客观和定量的评价指标。现有的评价指标不仅难以模拟人类视觉的颜色感知能力,而且难以客观评价彩色图像与真实图像之间的颜色相似度。
因此,研究人员提出了一种颜色相似度评价指标——颜色不相似度(CDSIM),它结合了颜色直方图、颜色聚合向量、颜色相关图和颜色梯度。通过对海洋浮游生物和自然场景图像的测试,研究人员验证了CDSIM不仅可以有效评估着色算法的效果,而且比其他现有指标更适合科学成像领域的图像着色评估。
“IsPlanktonCLR的开发为海洋成像仪器提供了一种新的人工智能解决方案,以获得准确、真实的观测结果,”李博士说。“这为我们了解海洋提供了新的技术手段。”