基于全局交互的图像语义理解方法

库涛^1,2，熊艳彬^1,2,3，杨楠^1,2,3，林乐新^1,2，朱珠⁴

1. 中国科学院沈阳自动化研究所2. 中国科学院机器人与智能制造创新研究院3. 中国科学院大学4. 辽宁大学信息学院

摘 要：针对图像语义生成过程中图像信息易模糊的问题,提出基于双向门控循环单元(GRU)和图像信息全局交互相结合的图像语义生成模型,通过图像和文本数据进行正则化处理和文本向量映射方法,实现模型驱动的图像语义生成.实验结果表明,所提出模型能较好地解决数据稀疏和偏态问题,采用GUR单元可以进一步降低模型参数规模,加快算法收敛速度,有效抑制模型过拟合,提高图像内容的丰富度、准确性和逻辑性.

关键词：卷积神经网络;循环神经网络;图像语义理解;全局交互机制;数据正则化;门控循环单元;