近期,我院李彦胜老师指导的2019级本科生邓又铭第一作者研究论文《Hierarchical Memory Learning for Fine-Grained Scene Graph Generation》被国际顶级会议ECCV(计算机视觉领域三大顶会之一,2022年论文录用率低于20%)录用。该成果同时得到遥感学院张永军教授、蚂蚁集团公司陈景东研究员等专家的指导。
该成果瞄准图像场景图生成(SGG)这一计算机视觉领域国际前沿学术问题。图像场景图生成(SGG)旨在让计算机自动解析图像并生成一个面向特定图像的知识图谱,是打通图像信号与自然语言联系的关键技术,在领域知识建模、图像视觉问答、图像自然语言描述等任务中都有重要用途。为了更好推动下游图像高层语义服务,图像场景图生成(SGG)的核心目标是生成具有细粒度关系谓词的知识图结构(由若干三元组<头实体,关系谓词,尾实体>构成)。由于众源数据标注的原因,图像场景图生成(SGG)除了面临普遍存在的长尾问题之外,当前场景图生成(SGG)数据集存在粗粒度和细粒度关系谓词同时出现的情况。图像场景图生成(SGG)训练过程中关系谓词粒度混杂以及长尾效应使低频关系谓词学习十分困难。为了克服上述挑战,本工作提出了一种新的分级记忆学习(HML)训练框架,仿照人类记忆学习过程进行深度网络模型优化,可以有效缓解粒度混合导致的学习偏差。此外,本工作创新性提出概念重构(CR)和模型重构(MR)两种在欧式空间和黎曼空间中添加的优化约束项,可以更高效、更稳定的完成深度网络模型增量学习。本工作在公开Visual Genome数据集上进行了测试与评估,相比现有SOTA方法,整体性能获得了显著提升。
该成果指导教师李彦胜主要从事耦合知识图谱和深度学习的遥感大数据智能挖掘技术研究,长期指导本科生从事学术研究与科研竞赛。近5年来,李彦胜老师指导本科生在中科院一区Top期刊或国际顶级会议发表多篇研究论文,在“中科星图杯”高分遥感图像解译软件大赛、全国大学生测绘科技论文竞赛、美国大学生数学建模竞赛等国内外重要学科竞赛中斩获冠军、特等奖、Meritorious Winner等多项荣誉。
我院始终坚持“以本为本”,以“三全育人”综合改革、教与学革命、科研竞赛等为抓手,打造一流本科教育。学院老师指导的多项本科生科研成果获得顶级会议和期刊的认可,是我院人才培养质量不断提升的一个缩影。