【原】京东发布FastReID：目前最强悍的目标重识别开源库！

我爱计算机视觉 2020-12-23

展开全文

京东AI研究院近日发布了基于PyTorch的目标重识别（ReID）开源库 FastReID ，其不仅对相关领域的研究有帮助，而且对工程部署有优化，在各大数据集上的评测结果惊人，其今天公布的论文 FastReID: A Pytorch Toolbox for Real-world Person Re-identification 中详细介绍了该库。

论文作者信息：

官方称该库在京东内部已经获得广泛应用，所以它不是一个实验室项目，而是产品级标准的开源库，值得参考！下面我们就一探究竟。

什么是目标重识别（ReID）？

简单理解就是对于一个特定的目标（可能是行人、车辆、人脸或者其他特定物体），在候选图像集中检索到它。或称图像中目标的实例级检索。

如在视频监控领域，行人重识别是各大厂商重点研发的技术。

FastReID 特点

提供了针对ReID任务的完整的工具箱，包括训练、评估、微调和模型部署，另外实现了在多个任务中的最先进的模型。

1）模块化和灵活的设计，方便研究者快速将新的模块插入和替换现有流程中，帮助学界快速验证新思路；

2）易于管理的系统配置，FastReID用PyTorch实现，可提供在多GPU服务器的快速训练，模型结构、训练和测试可以用YAML文件方便定义，并对每一块提供了众多可定义选项（主干网、训练策略、聚合策略、损失函数等）。

3）丰富的评估系统，不仅实现了CMC评估指标，还包括ROC、mINP等，可以更好的反应模型性能。

4）易于工程部署，FastReID不仅提供了有效的知识蒸馏模块以得到精确且高效的轻量级模型，而且提供了PyTorch->Caffe和PyTorch->TensorRT模型转换工具。

5）众多的State-of-the-art预训练模型，官方计划发布人员重识别（person re-id）,部分可见的人员重识别（ partial re-id）, 跨域人员重识别（cross-domain re-id）和车辆重识别（vehicle re-id）等众多模型。

FastReID 架构

好了，说了这么多，让我们来看看FastReID的整体架构：

上图已经完整列出了FastReID各个模块，上下分别为训练和推理。

训练阶段包括模块：

1）预处理Pre-processing，其实就是各种数据增广方法，如 Resize,Flipping,Random erasing,Auto-augment,Random patch,Cutout等；

2）骨干网（Backbone），包括主干网的选择（如ResNet,ResNest,ResNeXt等）和可以增强主干网表达能力的特殊模块（如non-local、instance batch normalization (IBN)模块等）；

3）聚合模块（Aggregation），用于将骨干网生成的特征聚合成一个全局特征，如max pooling, average pooling, GeM pooling ， attention pooling等方法；

4）Head 模块，用于对生成的全局特征进行归一化、纬度约减等。

5）训练策略，包含Learning rate，warm-up,Backbone freeze等。

6）特别值得一提的是其损失函数，不仅包括常见的Cross-entropy loss， Triplet loss，Arcface loss，还实现了今年上半年刚出的旷视CVPR 2020 Oral 论文中的Circle loss！（被认为是目前在各种度量学习任务中表现最好的）可见FastReID开发团队紧跟前沿。

在推断阶段，包含模块：

1）度量部分，除支持常见的余弦和欧式距离，还添加了局部匹配方法 deep spatial reconstruction (DSR)；

2）后处理部分，指对检索结果的处理，包括K-reciprocal coding 和 Query Expansion (QE) 两种重排序方法。

重点来了！实验结果

作者在ReID的几种任务的常见数据集上测试了FastReID的精度。

1）在人员重识别任务中三大数据集的结果（配置略）：