结合残差学习和双模态CAE的图像描述方法

您当前的位置：

首页 >

文章列表页 >

光学图像处理与识别 | 更新时间：2025-09-01

- 结合残差学习和双模态CAE的图像描述方法
- Image description method based on residual learning and dual-mode CAE
- 光学技术 2021年47卷第1期页码：93-100
- 作者机构：
  
  1. 1:郑州经贸学院计算机与人工智能学院
  2. 2:河南理工大学计算机科学与技术学院
- 作者简介：
- 基金信息：
  
  国家自然科学基金项目(61872126);河南省科技厅基金项目(182102210229)
- DOI：10.13741/j.cnki.11-1879/o4.2021.01.017
  中图分类号：
- 纸质出版：2021
- 稿件说明：
移动端阅览
邱一城, 杨立身. 结合残差学习和双模态CAE的图像描述方法[J]. 光学技术, 2021,47(1):93-100.

Image description method based on residual learning and dual-mode CAE[J]. 2021, 47(1): 93-100.
邱一城, 杨立身. 结合残差学习和双模态CAE的图像描述方法[J]. 光学技术, 2021,47(1):93-100. DOI： 10.13741/j.cnki.11-1879/o4.2021.01.017.

Image description method based on residual learning and dual-mode CAE[J]. 2021, 47(1): 93-100. DOI： 10.13741/j.cnki.11-1879/o4.2021.01.017.

针对传统图像描述方法存在提取图像关键信息精度不高、描述不准确等问题

提出了一种结合残差学习和双模态CAE的图像描述方法。提出一种新型双模态卷积自动编码器(CAE)结构

包括图像和文本两个输入

以及编码、隐藏层交互、解码等处理环节

完成对输入图像的文本描述;在经典CAE中加入残差学习

与CAE的卷积层构成深度残差网络(DRN)

增加了学习深度

以提高方法的准确率;将文本和图像的隐藏层进行交叉重构

以最小化损失函数为目的

训练得到图像-文本的关系

从而实现图像的描述。利用COCO和Flickr30k数据集对所提方法进行定性和定量的仿真实验

其结果论证了所提方法的有效性

与其他方法相比

评价指标Med r最低

且R@K(K=1

10)最高

运算时间仅为0.183s

能够更为精准地描述图像。

浏览量

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

结合残差U-Net神经网络和DIP的PET图像降噪

基于多尺度并行残差网络的图像去雾算法