【深度学习智能手机步态识别】Deep Learning-Based Gait Recognition Using Smartphones in the Wild 论文理解
解决什么问题本文创新点/贡献方法方法概述数据准备数据采集步态-非步态数据分割数据集神经网络设计Identificationauthentication实验ExtractionIdentificationauthentication总结文章信息：
Q. Zou, Y. Wang, Q. Wang, Y. Zhao, Q. Li, Deep learning-based gait recognition using smartphones in the wild, IEEE Transactions on Information Forensics and Security, vol. 15, no. 1, pp. 3197-3212, .
文章链接：
/abstract/document/9056812
或
/pdf/1811.00338.pdf
代码链接：
/qinnzou/Gait-Recognition-Using-Smartphones
解决什么问题
这篇文章是用智能手机做步态识别。现有的生物识别方法（指纹，人脸识别等）容易被伪造，所以步态是一个合适的身份特征（可以在人不受干扰的情况下检测人的步态、步态特征难以被伪造）。惯性传感器（例如加速度计和陀螺仪）通常用于捕获步态动态。并且加速度计、陀螺仪这之类的惯性传感器现在已经集成在了智能手机里。这篇文章研究了在无约束条件下使用智能手机进行的步态识别。与通常需要人沿着指定的道路或以正常的步行速度行走的传统方法相反，这篇是在不受约束的条件下收集的惯性步态数据，并不知道用户何时，何地以及如何行走。此外，为了获得良好的身份识别和认证性能，这篇paper设计了一种混合的深度神经网络，用于鲁棒的步态特征表示，其中时间域和空间域中的特征通过CNN和RNN来提取。在实验中，对使用智能手机收集的总共118个对象的两个数据集进行评估。实验表明，该方法在身份识别和认证方面的准确率分别高于93.5％和93.7％。
本文创新点/贡献
首先，为了解决传统方法无法在基于惯性的步态识别中实现高性能以及DCNN和DRNN通常在不同领域中单独起作用的问题，这篇paper设计了组合深度学习架构来无缝集成两个网络，以实现步态特征的有效提取。具体地，DCNN具有一系列精心设计的一维内核，可确保输出的卷积特征保持其原有的时间序列的属性；然后，一个长短期记忆神经网络（LSTM）将处理由此产生的特征以进行步态识别。其次，为了评估在无约束的条件下基于智能手机的步态识别的性能，他们收集了两个主要数据集。一个数据集来自20个人，每个人有数千samples；另一个数据集来自118个人，每个人有数百个样本。基于这两个数据集，他们构建了六个子数据集，用于定量评估和性能比较。方法
方法概述
首先是数据的采集与分割。采集是用手机APP采集，分割采用的是观察部分数据然后得出经验数值的方法，此外还尝试了用神经网络分割数据。
然后将分割后的数据构成了6个基础数据集，4个用于做身份识别，2个用于做身份认证。
之后用CNN和RNN结合的神经网络花式训练数据集、做对比实验等。
数据准备
数据采集
这篇文章是写了一个数据采集的APP，人安装APP后把手机放在裤子口袋里就可以进行数据采集。此时人可以做任意行动。采集了20个人每个人数千samples的数据；和另外98人，每个人数百samples的数据。
数据采集的频率是50Hz。
步态-非步态数据分割
人工分割
首先为了消除手机放置方向对单个轴的影响，把X,Y,Z轴做了平方和再开方的处理。
通过人工观测部分数据，得到数据分割的准则：局部最大值且大于10m/s^2；间隔在0.8-1.6s。
神经网络分割
用于步态分割的神经网络。其特点是在两个地方进行了不同卷积层的特征合并。
数据集
他们总共构建了6个实验数据集，其中1-4用于身份识别，5-6用于身份认证。
数据集1-4中，两个是20人的数据集，两个是118人的数据集。这里“Interpolation”指的是插值数据集，即按前面的方法分割出步态数据后提取出两步，然后将其插值到128个时间戳的长度，即为2.56s的数据。“Time-fixed”指的是直接取连续的2.56s的数据。
数据集5和6是做身份认证的，所以每个sample都是一对数据，其中数据集5里每对数据是横向拼接的；数据集6里每对数据是纵向拼接的。
神经网络设计
Identification
用作身份识别的组合神经网络。在进行试验的时候做了全部参数都不固定、固定CNN的参数、固定LSTM的参数的尝试。
authentication
用作身份识别的神经网络。此处CNN是一个特征提取器。
先用98人的数据输入CNN做分类，然后固定CNN的参数，再训练组合神经网络，CNN最后一个卷积层的输出对接到LSTM的输入。
实验
Extraction
步态提取神经网络的实验结果。118人（数据集8）的准确率是85%。
图里蓝色是正确分类的步态数据，绿色是正确分类的非步态数据，红色是被错误分类的数据。
Identification
将两个118人的数据集（数据集1和3）分成了12个子数据集，并用三种LSTM进行了对比，发现在六轴数据+双层LSTM的情况下正确率最高。
这里可以看出在步态特征的识别上，加速度计数据是优于陀螺仪数据的。并且当二者结合之后效果更好。
Idnet：另一篇用传感器和神经网络做步态识别的paper
（IDNet: Smartphone-based gait recognition with convolutional neural networks）
OU-ISIR：迄今为止人数最多的步态数据集
（The largest inertial sensor-based gait database and performance evaluation of gait-based personal authentication）
DeepConvLSTM：一篇用深度学习做行为分类的paper
（Deep convolutional and LSTM recurrent neural networks for multimodal wearable activity recognition）
实验对比表明，本文设计的神经网络的LSTMfix的方法是最好的（即固定LSTM的参数，只训练CNN和全连接层）
authentication
验证部分也是用这篇paper自己的数据集和OU-ISIR数据集做了实验，证明了CNN作为特征提取器的方法是可行的。
ROC图。其中CNNfix、数据纵向拼接的方法表现最好。
在验证实验里，纵向拼接的数据表现整体优于横向拼接的数据。
总结
这篇paper研究了在无约束条件下使用智能手机进行的步态识别。在收集步态数据期间，智能手机是在不受约束的条件下使用的，关于用户何时何地行走以及如何行走的信息是完全未知的。
他们提出了一种将DCNN和DRNN无缝结合的鲁棒惯性步态特征表示方法。然后还提出了一个全卷积神经网络将惯性数据划分为步行和非步行部分，并融合了层次卷积特征以进行准确的语义分割。
他们提出了一种用CNN将输入时间序列转换为卷积特征的组合神经网络。使用专门设计的一维卷积核，使其卷积输出仍然保留了时间序列的属性。使用LSTM进一步处理用于步态识别的时间序列特征。
并且，他们收集了两个主要数据集以进行性能评估。这些数据集可以方便之后的步态识别研究工作。
根据实验结果，得出了以下结论：
基于加速度计数据的性能通常要优于基于陀螺仪数据的性能，并且加速度计数据和陀螺仪数据可以互补，从而进一步提高性能；CNN和LSTM都能非常有效地从惯性时间序列中提取步态特征；在身份识别中，与在固定时间范围内分割的数据相比，按完整的步子分割的数据为LSTM提供了更好的性能；在身份认证中，对于DCNN和LSTM，垂直对齐的数据对比水平对齐的数据对的表现要好得多；所提出的混合网络获得了比独立网络明显更好的性能。
代码链接：
/qinnzou/Gait-Recognition-Using-Smartphones
【深度学习智能手机步态识别】Deep Learning-Based Gait Recognition Using Smartphones in the Wild 论文理解
