一.总体说明
行人重识别,可以简化为这样的过程:将原始图片数据进行特征提取,之后送入目标函数并对其进行优化。这个过程涉及三个重要部分:数据、特征、目标函数。因此将REID方法,根据研究的关注点,分为三类。分别别是基于数据的研究、基于特征的研究和基于目标函数的研究。
我们定义:行人重识别的目的是在某个数据集上进行测试时,使得性能尽量的好。(rank 1 , mAP)
分类如下:
1 数据:指真实意义上的图片images,分类依据是研究侧重点在数据的准备上
2 特征:指经过CNN后产生的深度特征,分类依据是研究侧重点在特征的表达上
3 目标函数:指的是为更新网络参数提供反馈信息的部分,分类依据是研究侧重点放在反馈信息上。
二.分类说明
1数据:
1.1 生成数据:
1.1.1 在已有数据集内扩充 [1,2,3]
1.1.2 利用其它数据集扩充目标数据集 [4,5,6]
1.2 辅助数据
1.2.1 挑选部分数据 [7]
1.2.2 全部使用 [8,9]
2.特征
2.1 局部特征提取
2.1.1 硬对齐 [10]
2.1.2 适应性对齐 [11,12,13]
2.2 全局特征提取
2.2.1 单样本的全局特征 [14,15,16]
2.2.2 多样本的全局特征 [17,18,19]
3.目标函数:
3.1 传统的目标函数
3.1.1 目标函数的选取 [20]
3.1.2 目标函数的权值动态变化 [21]
3.2 新定义的目标函数
3.2.1 从形式上改进 [22]
3.2.2 从输入数据的比对上改进 [23,24,25]
1数据:
1.1 生成数据:
1.1.1 在已有数据集内扩充
1.1.2 利用其它数据集扩充目标数据集
1.2 辅助数据
1.2.1 挑选部分数据
1.2.2 全部使用
依据数据进行分类,根据研究重点是否放在数据的准备上。我们的REID,目的是训练一个网络,使得训练好的网络在测试集上有好的表现。训练数据集会在很大程度上影响结果,为了在某个目标数据集上达到好的测试效果,我们可以利用GAN网络生成更多的人造图片数据,也可以利用其他数据集中的数据辅助提高目标数据集上的测试效果。因此将数据的子类分为两个类别,分别是生成数据(生成不存在的图片)和辅助数据(利用已有的真实数据)。
在1.1生成数据内,有两个分支,分别是在已有数据集内扩充,和利用其它数据集扩充目标数据集:
1.1.1 在已有数据集内扩充,是将自身数据集内的样本变多,生成的都是标签明确的数据
1.1.2 利用其他数据扩充自己,是将其他数据集中的数据,迁移生成到目标数据集中,生成的也是标签明确的数据。
在1.2辅助数据内,有两个分支,分别是挑选某个数据集中的部分数据和全部使用某个数据集内的所有数据。
1.2.1 挑选部分数据,是指在目标数据集上进行训练的过程,需要其他数据集上的部分数据,作为参考代理图片。
1.2.2 全部使用,是指在目标数据集上进行训练时,利用其它数据集中的图片,其他辅助数据越多,则效果越好
2.特征
2.1 局部特征提取
2.1.1 硬对齐
2.1.2 适应性对齐
2.2 全局特征提取
2.2.1 单样本的全局特征
2.2.2 多样本的全局特征
REID本质上是分类问题,分类问题则需要将图片的深度特征作为分类的依据。设计CNN网络提取图片的深度特征时,可以从整张图片角度提取全局特征作为表征;也可以在图片的局部位置提取局部特征作为表征。所以将特征分为了两个分支,分别是局部特征提取和全局特征提取。
在2.1 局部特征特征提取内,又分为了两个分支,分别是硬对齐和适应性对齐。
2.1.1 硬对齐,是指在提取图片的局部特征时,局部区域的选择是固定的,直接从长宽的角度固定了
2.1.2 适应性对齐,是指根据不同的条件定位不同的局部,然后提取该位置上的特征。
在2.2 全局特征提取内,又分了两个分支,分别是只考虑单样本的全局特征,和多样本的全局特征。
2.2.1 单样本的全局特征,是指特征提取的过程,对某张图片进行提取的时候,只关注本张图片即可。
2.2.2 多样本的全局特征,是指在提取某个图片的特征时,不单单要关注于本身的特征,还需要与其他的已有特征进行比对和匹配。出现了多篇memory bank的文章,都是以此为研究侧重点的。
3.目标函数:
3.1 传统的目标函数
3.1.1 目标函数的选取
3.1.2 目标函数的权值动态变化
3.2 新定义的目标函数
3.2.1 从形式上改进
3.2.2 从输入数据的比对上改进
说明:目标函数,为网络训练提供反馈信息。在目标函数的角度研究REID问题,相当于将侧重点放在如何利用已有信息上。目标函数的研究,分为两个分支,分别是传统目标函数和新定义的目标函数。
3.1 传统的目标函数,指常被使用的分类问题目标函数,包括交叉熵等。这个部分又分为了两个分支,分别是目标函数的选取和目标函数的权值动态变化上。
3.1.1 目标函数的选取,在REID训练上,经常使用交叉熵计算分类误差,然后优化网络,除了这个交叉熵之外,经常会选择加入一些其他的目标函数来共同训练,提升效果。
3.1.2 目标函数的权值动态变化,是指目标函数在确定的情况下,函数的权值会随着训练轮数和某些数值的变化而变化。
3.2 定义新的目标函数,指在训练过程,为提高特征的表达能力,加入一些新奇的目标函数。无监督学习中,使用的较多。
- 对应文献
- Joint Discriminative and Generative Learning for Person Re-identification
- Progressive Pose Attention Transfer for Person Image Generation
- Unsupervised Person Image Generation with Semantic Parsing Transformation
- Image-Image Domain Adaptation with Preserved Self-Similarity and Domain-Dissimilarity for Person Re-identification
- Person Transfer GAN to Bridge Domain Gap for Person Re-Identification
- SBSGAN: Suppression of Inter-Domain Background Shift for Person Re-Identification source
- Unsupervised Person Re-identification by Soft Multilabel Learning
- Distilled Person Re-identification: Towards a More Scalable System
- Self-Similarity Grouping: A Simple Unsupervised Cross Domain Adaptation Approach for Person Re-Identification
- Beyond Part Models: Person Retrieval with Refined Part Pooling (and A Strong Convolutional Baseline)
- Densely Semantically Aligned Person Re-Identification
- Attention Towards Rich Feature Discovery with Class Activation Maps Augmentation for Person Re-Identification
- AANet: Attribute Attentio Network for Person Re-Identification
- Spectral Feature Transformation for Person Re-Identification
- Adaptive Transfer Network for Cross-Domain Person Re-Identification
- View Confusion Feature Learning for Person Re-Identification
- Invariance Matters: Exemplar Memory for Domain Adaptive Person Re-identification
- Generalizable Person Re-identification by Domain-Invariant Mapping Network
- Unsupervised Person Re-identification by Soft Multilabel Learning
- In Defense of the Triplet Loss for Person Re-Identification
- Pyramidal Person Re-IDentification via Multi-Loss Dynamic Training
- Unsupervised Person Re-identification by Soft Multilabel Learning
- self-Similarity Grouping: A Simple Unsupervised Cross Domain Adaptation Approach for Person Re-Identification
- Maximum-value Perfect Matching for Mining Hard Sample
- A Novel Unsupervised Camera-Aware Domain Adaptation Framework for Person Re-Identification