随着图像翻译在医学、安防、娱乐等领域的需求日益增加,图像翻译已经越来越被人们所重视。虽然现阶段的图像翻译工作在各个领域均取得了很多的优秀的成果,但是依然有很多问题未被关注或者未被有效解决。一方面,在图像翻译工作中,支持多模态多类别的图像翻译工作较少,且往往需要用户提供大量的成对标签;另一方面,图像翻译任务往往只需要翻译出特定场景目标而不需要整体变化,但是满足这一要求的工作极少。本文针对图像翻译工作中存在的上述问题进行了深入研究,引入对抗学习机制,提出基于对抗学习的图像翻译的研究,主要工作有如下3点:(1)提出了一种基于半监督的多模态多类别图像翻译工作,以平衡样本标签和多类别多模态翻译之间的关系。该工作中提出了一种跨域对抗自编码器,以学习解耦潜在域不变的内容编码和特定域的风格编码。风格编码与先验分布相匹配,以便我们可以从先验分布空间中随机采样并生成一系列有意义的样本。通过在域分类器和类别分类器之间的对抗学习,将内容代码嵌入到多类别联合数据分布空间中,从而可以同时生成多类别数据。因此,通过联合解码潜在内容编码和采样的风格编码,生成多模态多类别跨域图像。最后,对网络进行了设计和测试。半监督实验与目前最好的方法比较表明,所提出的网络框架有能力在较少的标签样本的情况下产生高质量和多样化的翻译结果。在无监督条件下的进一步实验表明该网络在学习解耦表示和域自适应方面也具有优越性。(2)提出了一种基于上下文感知的图像翻译工作,以解决目前图像翻译工作中不能完成特定区域翻译而对与翻译目标无关的区域保持不变的问题。该工作中提出了一种新的特征注意力模块用于捕获上下文中的各种特征的相互关系,以便在无监督的图像翻译中自动地只关注特定的场景对象。该模块可以集成到不同的图像翻译网络中,以提高它们的上下文感知翻译能力。此外,该模块的计算成本与图像大小之间存在线性关系,在白天转黑夜的数据集上的实验也表明,该模块对图像分辨率的增长不敏感。
基本信息
| 题目 | 基于对抗学习的图像翻译研究与实现 |
| 文献类型 | 硕士论文 |
| 作者 | 陈冉 |
| 作者单位 | 北方民族大学 |
| 导师 | 白静,郭伟 |
| 文献来源 | 北方民族大学 |
| 发表年份 | 2020 |
| 学科分类 | 信息科技 |
| 专业分类 | 计算机软件及计算机应用 |
| 基金 | 国家自然科学基金项目“基于深度学习的非刚性三维模型多模态检索研究”(61762003),宁夏自然科学基金项目“面向多模态信息源的三维数据识别技术研究”(2018AAC03124),宁夏高等学校一流学科建设(电子科学与技术学科)(NXYLXK2017A07) |
| 分类号 | TP391.41 |
| 关键词 | 图像翻译,半监督,无监督,对抗学习,注意力 |
| 总页数： | 66 |
| 文件大小： | 4248K |
论文目录
| 摘要 |
| abstract |
| 第一章 绪论 |
| 1.1 研究背景 |
| 1.2 国内外研究现状 |
| 1.3 论文研究内容 |
| 1.4 论文组织结构 |
| 第二章 相关理论和技术 |
| 2.1 深度学习 |
| 2.1.1 深度前馈网络 |
| 2.1.2 深度卷积神经网络 |
| 2.1.3 深度残差网络 |
| 2.1.4 Unet神经网络 |
| 2.1.5 生成对抗网络 |
| 2.1.6 自动编码器 |
| 2.2 图像翻译 |
| 2.2.1 单模态图像翻译 |
| 2.2.2 多模态图像翻译 |
| 2.2.3 多模态多类别的图像翻译 |
| 2.3 本章小结 |
| 第三章 基于半监督的图像翻译 |
| 3.1 引言 |
| 3.2 基于半监督的图像翻译算法框架 |
| 3.2.1 基于半监督的图像翻译算法的阐述 |
| 3.2.2 基于半监督的图像翻译整体框架 |
| 3.3 基于半监督图像翻译网络设计 |
| 3.3.1 解耦表征学习模块的详细设计 |
| 3.3.2 风格对抗自编码模块的详细设计 |
| 3.3.3 内容对抗学习模块的详细设计 |
| 3.3.4 解码器模块详细设计 |
| 3.4 半监督图像翻译的实验结果与分析 |
| 3.4.1 半监督图像翻译实验 |
| 3.4.2 权值共享对半监督图像翻译的影响 |
| 3.4.3 样本标签对半监督图像翻译的影响 |
| 3.5 本章小结 |
| 第四章 基于上下文感知的图像翻译 |
| 4.1 引言 |
| 4.2 注意力机制 |
| 4.2.1 通道注意力机制 |
| 4.2.2 空间注意力机制 |
| 4.2.3 自注意力机制 |
| 4.3 特征注意力机制 |
| 4.3.1 特征注意力模块 |
| 4.3.2 特征注意力机制在网络中的具体应用 |
| 4.4 基于上下文感知的图像翻译实验结果与分析 |
| 4.4.1 实验说明 |
| 4.4.2 定性实验及分析 |
| 4.4.3 定量实验及分析 |
| 4.4.4 计算效率及分析 |
| 4.4.5 更多测试及分析 |
| 4.5 本章小结 |
| 第五章 基于对抗学习的图像翻译系统设计与实现 |
| 5.1 功能性分析 |
| 5.2 软硬件要求 |
| 5.3 系统整体架构 |
| 5.4 系统详细设计与实现 |
| 5.4.1 系统界面设计 |
| 5.4.2 半监督翻译子模块 |
| 5.4.3 无监督翻译子模块 |
| 5.5 系统及性能测试 |
| 5.5.1 系统测试 |
| 5.5.2 性能测试 |
| 5.6 本章小结 |
| 第六章 总结和展望 |
| 6.1 总结 |
| 6.2 展望 |
| 参考文献 |
| 致谢 |
| 个人简介 |
| 附件 |
参考文献
| [1] 利用地面靶标的超分辨率重建图像分辨率评价[J]. 测绘科学 2019(12) |
| [2] 关于图像分辨率的教学思考[J]. 印刷世界 2011(05) |
| [3] 人脸识别率与图像分辨率关系的比较分析[J]. 计算机工程 2009(11) |
| [4] 数字图像分辨率定义与其计量方法——对“数字电影技术术语普及读本”有关条目的商榷意见[J]. 现代电影技术 2013(07) |
| [5] 教你详细了解各种分辨率[J]. 计算机与网络 2011(24) |
| [6] 机载SAR图像的动态金字塔实时显示技术[J]. 中国图象图形学报 2018(12) |
| [7] 多进制小波变换的图像分辨率定量降低方法[J]. 地球信息科学学报 2012(03) |
| [8] 基于特定深度内部学习网络提高“不理想”图像分辨率[J]. 科学技术与工程 2019(10) |
| [9] 基于航拍图像的道路提取算法[J]. 山东理工大学学报(自然科学版) 2018(01) |
| [10] 基于图像分辨率增强算法的场景生成技术[J]. 液晶与显示 2011(06) |
| [11] 基于谱残差显著区域检测的图像分辨率归一化方法[J]. 西北工业大学学报 2014(06) |
| [12] 本刊对形态学图片的质量和制作要求[J]. 中国肿瘤临床与康复 2019(08) |
| [13] 水果识别中图像特征综述[J]. 河南科技 2017(21) |
| [14] 基于卷积神经网络的小样本图像分辨率改进方法[J]. 电子技术与软件工程 2020(14) |
| [15] 本刊对形态学图片的质量和制作要求[J]. 中国肿瘤临床与康复 2019(02) |
| [16] 本刊对形态学图片的质量和制作要求[J]. 中国肿瘤临床与康复 2019(06) |
| [17] 本刊对形态学图片的质量和制作要求[J]. 中国肿瘤临床与康复 2019(09) |
| [18] 本刊对形态学图片的质量和制作要求[J]. 中国肿瘤临床与康复 2019(10) |
| [19] 本刊对形态学图片的质量和制作要求[J]. 中国肿瘤临床与康复 2018(03) |
| [20] 本刊对形态学图片的质量和制作要求[J]. 中国肿瘤临床与康复 2018(05) |
| [21] 本刊对形态学图片的质量和制作要求[J]. 中国肿瘤临床与康复 2018(06) |
| [22] 本刊对形态学图片的质量和制作要求[J]. 中国肿瘤临床与康复 2018(08) |
| [23] 本刊对形态学图片的质量和制作要求[J]. 中国肿瘤临床与康复 2018(11) |
| [24] 本刊对形态学图片的质量和制作要求[J]. 中国肿瘤临床与康复 2017(12) |
| [25] 改进双线性插值医用图像分辨率提升算法[J]. 铜陵职业技术学院学报 2020(02) |
| [26] 本刊对形态学图片的质量和制作要求[J]. 中国肿瘤临床与康复 2017(10) |
| [27] 德国不对出售的对地观测图像分辨率作严格限制[J]. 航天返回与遥感 2013(05) |
| [28] 图片的制作要求[J]. 中国临床护理 2017(02) |
| [29] 国内外重大创新科技集锦[J]. 中国科技产业 2017(07) |
| [30] 基于生成对抗网络的人脸图像翻译[J]. 天津大学学报(自然科学与工程技术版) 2019(03) |
相似文献
| [1]基于GDGIF滤波器的图像去雾算法研究[D]. 周婷.湖南大学2019 |
| [2]基于深度学习的图像场景识别方法研究[D]. 郑熠.湖南大学2019 |
| [3]基于图像高层语义的颜色恒常计算[D]. 范珮.武汉大学2019 |
| [4]离散小波域的图像混沌加密和隐藏方法研究[D]. 唐义嫄.重庆邮电大学2018 |
| [5]基于深度学习的全心肌分割算法研究[D]. 杜一凡.北京交通大学2019 |
| [6]基于摄像机网络拓扑结构的行人再识别研究[D]. 韦永来.合肥工业大学2019 |
| [7]基于优化极限学习机算法对焊点的质量识别[D]. 闫峰.云南大学2018 |
| [8]基于MR数据生成伪CT数据的研究[D]. 朱冠菲.中国计量大学2018 |
| [9]基于深度学习的行人再识别研究[D]. 孙志琳.山西大学2019 |
| [10]基于视觉感知和数据紧凑表达的图像美感质量评估方法[D]. 邓芮.华南理工大学2019 |
