近日,我院陈震中教授指导的三年级本科生陶镭天第一作者论文“Predicate correlation learning for scene graph generation” 被国际顶级期刊IEEETransactions on Image Processing (SCI一区,CCF A类期刊,影响因子:10.856)录用。
图像场景图生成(Scene Graph Generation,SGG)目的是让计算机自动生成一种语义化的图结构,是图像理解领域的一项重要的研究课题。对于传统的场景图生成(SGG)方法,谓词的头类和尾类的性能通常存在较大差距。这种现象主要是由于不同谓词之间的语义重叠以及数据分布的长尾性造成的。本工作提出了一种用于SGG的谓词相关学习(PCL)方法,通过考虑谓词之间的相关性来解决上述两个问题。为了度量高度相关谓词类之间的语义重叠,定义了谓词相关矩阵(PCM)来量化谓词对之间的关系,并对其进行动态更新以消除矩阵的长尾偏差。此外,PCM被集成到谓词相关损失函数(LPC)中,以减少未注释类的抑制梯度。本工作在基准数据集上进行了实验评估,结果表明基于本方法的尾部类数据的场景图生成准确性得到了显著提升。
图1:基于谓词相关学习(PCL)的图像场景图生成方法
陈震中教授课题组长期指导本科生从事学术研究,近年来多名本科生以第一作者在人工智能与计算机视觉领域CCF A类国际期刊或会议上发表论文。我院在本科生培养中持续推进教与学革命、秉持以学生为中心的培养理念,通过多种形式的创新创业竞赛、学科竞赛,鼓励更多本科生参与到学院科研团队中,较好地提升了本科生的科研创新与实践能力。