|
重磅干货，第一时间送达 跨模式人员再识别(Re-ID)是现代视频监控系统的关键。关键的挑战是根据为一个人呈现的语义信息来对齐通道间表示，而忽略背景信息。在这项工作中，作者提出了一种新的基于CNN的结构AXM-Net，旨在学习语义对齐的视觉和文本表示。底层的构建块由多个来自视觉和文本形式的特征地图流和一个新的可学习的上下文共享语义对齐网络组成。作者还提出了互补的模内注意学习机制，以关注特征中更细粒度的局部细节，以及用于鲁棒特征匹配的跨模态亲和损失。作者的设计在从数据中隐式学习特征对齐的能力上是独一无二的。整个AXM-Net可以以端到端的方式进行培训。作者报告人员搜索和跨模式重新识别任务的结果。广泛的实验验证了所提出的框架，并通过显著地优于当前最先进的方法来证明其优越性。 这篇论文的主要思想是将人的视觉和文本特征结合起来，以实现无缝的跨模式或多模式搜索。为了实现这一点，作者提出了AXM-Net，一种基于卷积神经网络(CNN)的新型架构，旨在应对上述挑战，并能够学习语义对齐的跨模态特征表示。该模型的基础构件包括从视觉和文本网络中获取可变数量的局部上下文的特征地图流和基于两种模式的关键线索学习的新的上下文共享语义对齐网络。因此，根据融合的信息参与输出特征映射。上下文共享语义对齐网络利用多尺度、多上下文的模内和模间语义信息，对信息通道进行提升，抑制含有噪声/背景信息的通道。 作者的主要贡献如下：
自适应跨模态上下文共享语义对齐(AXM)块 作者的跨模态AXM-Net的图示，它生成全局视觉特征VG，基于局部空间部分的视觉特征VP和文本特征T。用每个视觉特征的文本特征对匹配损失进行成对训练。 注意对视觉特征的局部特征学习 对文本特征的非局部注意 AXM-Net的注意力地图可视化。所提出的网络聚焦于歧视信息和拒绝背景。 在这篇论文中，作者提出了一个新的AXM-Net模型来解决跨模式的人员再识别和搜索问题。作者的创新涉及到来自视觉和文本模式和局部模态内关注的特征的上下文对齐。与现有的方法相比，本文提出的AXM-Net是第一个基于卷积特征学习块、axm -块和跨模态特征的隐语义对齐的框架。语境注意力是通过AXM-block内的共享可学习网络来学习的。实验结果表明，作者的网络在香港中文大学- pedes基准测试中定义了新的SOTA性能，同时也证明了作者所提出的网络在跨模式的重新身份识别应用中的潜力 论文链接：https:///pdf/2101.08238.pdf
|
|
|
