文章目录
在开放环境的步态识别：一个基准AbstractIntroduction在开放环境的步态识别：一个基准
论文题目：Gait Recognition in the Wild: A Benchmark
paper是清华大学发表在ICCV 的工作
论文地址：链接
Abstract
\quad \quad 步态基准使研究界能够训练和评估高性能的步态识别系统。尽管越来越多的人致力于跨视角的识别，但学术界目前受限于在受控环境下捕获的数据库。在本文中，作者为开放环境的步态识别（GREW）贡献了一个新的基准。GREW数据集是由自然视频构建的，其中包含了开放系统中的数百个摄像头和数千小时的数据流。通过大量的人工注释，GREW包括26K个身份和128K个序列，具有丰富的属性，可用于无约束的步态识别。此外，作者还增加了一个超过23.3万个序列的干扰物集，使其更适合于现实世界的应用。（我理解的适合于现实世界应用，算法要有健壮性，加入噪声，是为了抗干扰，增强算法健壮性）与流行的的预定义跨视角数据集相比，GREW具有多样性和实用性的视角变化，以及更自然的挑战因素。据作者所知，这是第一个在野外进行步态识别的大规模数据集。有了这个基准，作者剖析了无约束的步态识别问题。探讨了有代表性的基于外观和基于模型的方法，并建立了全面的基线。实验结果表明：（1）提出的GREW基准对于训练和评估野外的步态识别器是必要的。(2) 对于最先进的步态识别方法，还有很大的改进空间。(3) GREW基准可以作为受控步态识别的有效预训练。基准网站是链接。
Introduction
\quad \quad 步态识别的目的是根据视频中人的行走方式来识别一个人。与人脸、指纹、虹膜和掌纹相比，步态难以伪装，可以在很远的距离内工作，这使得它在犯罪预防、法医鉴定和社会安全方面具有独特的潜力。
\quad \quad 由于深度学习的蓬勃发展，在受控环境下识别步态已经取得了重大进展。最近步态识别的基本引擎包括网络架构的演变、损失函数的设计和不断增长的步态基准。尽管步态识别在过去几年中取得了令人印象深刻的进展，而且它具有长距离识别的独特优势，但这种技术尚未在现实世界的应用中得到广泛部署。一个值得注意的障碍是，几乎没有公共基准来训练和评估野外的步态识别器。
\quad \quad 据作者所知，大多数步态数据集都是在相对固定和受限的环境中采集的，如实验室或静态室外环境。如图1所示，CASIA-B和OU-MVLP是近期步态识别研究中最常用的数据集。CASIA-B包含124个对象和13,640个序列，它建于。OU-MVLP由10,307个身份ID和288,596个行走视频组成，就对象数量而言，它是一个大步态数据集。更多数据集的统计数据见表1，这些数据集主要是在受控环境下构建的，是为预定义的跨视角步态识别而设计的。然而，在真实场景中，步态识别会遇到完全不受约束的挑战，如不同的视角、遮挡、各种携带和穿戴条件、复杂和动态的背景干扰、照明、行走方式、表面影响等。现有的基准远远落后于实际步态识别的要求。考虑到人脸识别和行人重识别（ReID）的显著成功，现在是时候在野外进行基准步态识别了。
\quad \quad 在本文中，作者提出了 “野外步态识别”（GREW）基准。就作者所知，这是第一个深入研究这个开放性问题的工作。如图1所示，GREW数据集由具有多个摄像头的自然流构建而成。来自原始视频的身份信息被手动注释，从而产生 26K 个对象、128K 个序列和 14M个 框，用于无约束步态识别。此外，丰富的人类属性，包括性别、年龄组、携带和穿着风格都被标记出来，以便进行精细的性能分析。实际上，gallery规模是识别准确性的关键问题。为此，作者增加了一个超过23.3万个序列的干扰物集，使其更适合于现实世界的应用。由于有一系列使用不同输入数据类型的步态识别框架，GREW 通过自动处理提供轮廓、步态能量图像 (GEI)、光流图、2D 和 3D 姿势图。与CASIA-B和OU-MVLP等受控步态数据集相比，作者的GREW是完全不受约束的，并且有更多不同的、实用的视角变化，而不是预定义的。同时，如表1和图2所示，GREW中存在各种挑战因素，如干扰物集、复杂背景、遮挡、携带、穿戴等。
\quad \quad 利用所提出的GREW，对无约束的步态识别问题进行了深入研究。第一，在GREW上实验了代表性的基于外观和基于模型的基线，这表明有很大的改进空间。例如，表现最好的GaitSet在GREW测试集上获得了46.28%的Rank-1准确性，而它在CASIA-B和OUMVLP上的准确性超过了80%。有了干扰物集，野外的步态识别将变得更有挑战性，而最佳模型的得分只有41.97%的Rank-1。第二，探讨了数据规模的影响，包括训练身份的数量和gallery的大小。增加训练对象可以持续提高性能，而大规模的测试集和干扰物对基于CNN的识别器来说仍然非常困难。第三，报告了不同属性（性别、年龄组、携带和穿着）的表现，给出了深入的分析结果。最后，作者验证了GREW在预训练中的有效性。在GREW上预训练的微调模型在跨数据集的步态识别中显示出卓越的性能。
本文主要贡献可归纳为以下几点：
作者为研究界构建了一个大规模的基准，以便在野外进行步态识别。提出的GREW包括26K个受试者和128K个序列，具有来自灵活数据流的丰富属性，就作者所知，这使它成为第一个用于无约束步态识别的数据集。为了构成GREW基准，作者从开放系统的多个摄像机中收集了数千小时的数据流。通过自动预处理和大量的人工身份注释，有超过1400万个框同时提供轮廓和人体姿势。此外，作者用23.3万个序列的分心集来丰富GREW，使其更适合于现实世界的应用。在新基准的支持下，作者进行了广泛的步态识别实验，并建立了全面的基线，包括代表方法、尺度影响、属性分析和预训练。结果表明，GREW对于野外的步态识别是必要和有效的。此外，对于目前的SOTA方法来说，识别无约束的步态是一项非常具有挑战性的任务。最后，所提出的数据集可以作为有效的预训练数据用于受控步态识别，以达到更高的性能。
