银河水滴步态识别100问:步态识别能识别双胞胎吗?

我们一样不一样?

这个问题天然的排除比较容易识别的双胞胎们,比如龙凤胎、肤色明显不同、体型身高差别明显等。那么其他长的非常相似,甚至亲妈有时候都不能直接认出谁是谁的该如何识别呢?

人类的办法:面对这样的难题,眼睛不够用的时候就用脑,人为给安上点识别标志,比如有的父母让双胞胎带不同的脚链、穿不同的衣服、剪不同的发型等等,只要不是太糟践孩子的方法都可以招呼上。否则这孩子也真是没法带了,明明一个跑远了,还大声叫站在身边的这个名字,大喊:别跑了,快回来!被叫名字的孩子也迷糊啊,我这不在这站着呢么。

AI的办法:AI没法像人一样给双胞胎安明显标识,再说了如果人一眼都能看出来,还有AI什么事啊。事实上,大家想一想,我们提到双胞胎的时候,自然而然想到的必然都是长的像,哪里像,脸、身高、体型、发型、肤色等这些静止的信息,不会有多少人去观察他们的运动信息,而这正是步态识别关注的,也正是能够发现差别的所在。

虽然把一只脚放到另一只脚的前面看似是一种简单的行为,但是我们每个人都有独特的踢腿、跳跃和摆腿的动作。这些动作最终体现出人体骨骼结构、肌肉和平衡感的细微差别。对大多数人来说,这些细微差别肉眼很难发现,但是经过训练的计算机则能辨别出来,它能够把运动分解成一系列的节点,将不同人的特征点标注出来,之后通过比对即可识别身份。

识别四胞胎:在2018年的央视第二季《机智过人》栏目中,来了四位云南曲靖的四胞胎——“四小龙”,他们从小一起长大,一起学习拉丁舞,从样貌体态到行为举止都极为相似,以至于大龙有一次顶替弟弟们给爷爷背乘法口诀,背了四遍爷爷都没分出自己检查的其实是一个人,可见在没有明显识别标记的情况下,人眼难以识别过于相似的人,但银河水滴的步态识别系统却成功从八位蒙面舞者中识别出了四胞胎。

节目网址:

央视网:http://tv.cctv.com/2018/09/28/VIDEm5xaZSsNMUcZqJH56UI2180928.shtml

爱奇艺:https://www.iqiyi.com/v_19rr2vwe98.html?vfm=2008_aldbd

银河水滴步态识别100问:步态识别能识别动物吗?

面对这个问题的小编 让我冷静冷静

业内人士看到这个问题后应该会摇头不解,因为他其实不是个问题。要知道无论是人脸识别、指纹识别还是步态识别其实都是以人为研究对象的,给计算机喂食大量的人的各种特征数据来训练其识别能力,但为何还是要把这个问题拿出来呢?

这需要从为什么会有“步态识别100问”这个系列谈起,银河水滴成立三年来,社会各界众多朋友给予了我们广泛的关注,同时也对步态识别技术提出了很多疑问,提问多的问题普遍性就强,所以我们觉得应该对大家经常提到的问题进行解释,形成文本的答案通过银河水滴公众号发出,对我们感兴趣并带着疑问的朋友就可以自助式的直接查阅,消解疑虑。

步态识别是否可以识别动物就是经常被提起的问题。

答案是:既不能识别也能识别

不能识别的原因就像开头说的,我们目前的步态识别算法模型是以人为中心的,计算机就没见过其他其他动物,所以不可能识别,这类似于人认识世界的过程,如果你从来没见过大象,那就不可能认识大象。

可以识别是因为人工智能技术无限可能,我们可以根据要识别的动物对其建立专门的算法模型,采集这种动物的各种特征数据,对计算机进行训练,从而达到可以识别的能力。

在2017年的央视《机智过人》栏目中,银河水滴的步态识别系统成功从21只体型毛色相似的金毛犬及剪影中识别出目标金毛犬。俗话说台上十分钟台下十年功,在接到节目组给出的挑战课题后,银河水滴算法团队就建立了针对狗狗的专门模型,对机器进行了长达一个多月的高强度训练,最后成功完成挑战。

 

《机智过人》告诉你步态识别有多强:http://www.watrix.ai/2018/05/11/jizhiguoren/

银河水滴步态识别100问:装瘸能识别吗?

广而告之:为何要装瘸 很容易摔倒的

装瘸或刻意不正常行走等情况下,步态识别技术是否可以识别,这个问题被N多怀着各种心情的人问过,在此小编要大声的宣告:可以识别

之后我们从识别原理和装瘸的动机这两个方面再详细聊聊:

装瘸等不正常步态为何能够被识别

又要不得不说步态识别在识别过程中要提取的特征点:既有动态的步幅、步频、手臂摆动情况、运动神经敏感度等等特征;又有静态的身高、体型、头型、高矮、胖瘦等等特征。

从提取的这些特征点可以看出,步态识别其实是一种全身识别技术,综合多种特征点进行身份识别,并非只盯着别人的两条腿,所以不正常步态也能识别。

装瘸的动机

1、  考验步态识别技术能力:从科学研究角度而言,精益求精、穷天人之际的精神是值得称道的,也是我们要推崇的,但从实践角度出发,这是小概率事件,并非普遍现象,所以从应用角度而言并没有非常大的意义,否则就会出现装瘸识别技术。

2、  心怀不轨者:这种是心先瘸而后腿瘸,设想一下,如若有人为了躲避步态识别而装瘸去做坏事,这种人疑心必重、防范之心必强,那势必也要把脸档上,一瘸一拐蒙着脸,东张西望,本就有掩耳盗铃之嫌,更别说干了坏事的都想着尽快溜走,难道还要一瘸一拐的慢慢踱回去,如果如此,那肯定是缺心眼的,啥技术手段不用也能被识破逮到。

3、  就为了好玩:那和步态识别有啥关系。

银河水滴步态识别100问:晚上或光线很暗能识别吗?

这么黑也可以识别

步态识别优势包括:识别距离远(普通高清摄像头下可识别距离达50米)、全方位(360度)、无感知(不需要识别对象配合)、对光照不敏感等。重要的事情重复三遍:对光照不敏感、对光照不敏感、对光照不敏感!

在计算机视觉领域,对光照不敏感主要是指,对光照强弱不过敏,无论是在光照过于强烈的情况下,还是在光照微弱的情况下依然可以识别出被识别对象。

步态识别分为人形检测、人形分割、身份识别、人形跟踪四个步骤,上面两图表现的是对原始视频进行人形分割的情况。我们看到,人形分割出的信息是动态人形剪影,这是步态识别的识别依据,它不依赖人体某个部分的清晰图像,只需要有完整的身体信息和运动信息即可,所以即使在晚上只要有了这两个信息要素就足够了,除非你和黑暗融为一体,但这个世界上还没有绝对的黑暗,它是相对的。

银河水滴步态识别100问:戴口罩、穿大衣还能识别吗?

我“看”到你潇洒走过

我们先把这个问题切成两半,分别是“戴口罩”和“穿大衣”两种情况。

戴口罩必然遮挡住了脸,但是步态识别“不(xu)要脸”,从背后也能知道你是谁,所以不要和步态识别讲“面子”,它识别的过程不需要面部信息。

穿大衣相对于不穿大衣遮住了大腿或腿的大部分,遮住大腿的情况下,步态信息依然存在和穿短衣区别不大;遮住腿的大部分怎么办?步态信息也被部分屏蔽了,没事,咱有招。我们再来重温一下步态识别如何提取特征点,包括但不限于身高、头型、腿骨、关节等静态信息,以及走路姿态、手臂摆幅、运动神经敏感度等动态信息。也就是说,步态识别实际上是全身识别,诸多特征点共同作用使得步态识别难以因伪装而逃避。所以心存侥幸的人只能哭吧?

银河水滴步态识别100问:步态识别与ReID/行人再识别/跨镜追踪有什么不同?

ReID/行人再识别/跨镜追踪:靠不变的黑衣服识别人

步态识别:靠身体体型和走路姿态识别人

行人再识别:用英文说就是Person re-identification,简称ReID,有时也被称作“跨镜追踪”,顾名思义就是跨越摄像机镜头追寻你,具体来说,就是通过你的衣服、帽子、手套、鞋子、发型、背包等外在“蛛丝马迹”来跨着镜头“追踪”你。什么?都脱光了就不会被ReID追踪了?No,No,No, 浑身赤裸的肉色就是你最明显的特征,跨多少个镜头,都能被找出来!那不断地换衣服,ReID就不好使了吧?好吧,算你狠。

再来看步态识别:通过身体体型行走姿态分析人的身份,其物理基础是每个人不同的生理结构:身高、头型、腿骨、臂展、肌肉、重心、神经灵敏度等。步态识别最不“势利眼”,它看人,就看“最纯粹的人”,无论外在衣着、饰品、背包多豪华、多艳丽,它都“不放在眼里”。所以换不换衣服,步态识别都能在不同镜头里找到人。

行人再识别与步态识别的区别

首先,特征点提取不同,行人再识别主要提取静态的外部特征,比如穿着、背包、发型、雨伞等,静态的外部特征很容易消失,穿的衣服可以脱、可以换样式,发型可以换、还可以带假发。

步态识别一方面要提取静态的内部特征(身高、头型、腿骨、关节等),这些特征相对比较稳定,很长一段时间,都不会发生大的变化;除此以外,步态识别还需提取动态特征,比如走路姿态、手臂摆幅、运动神经敏感度等,这些动态特征与身体属性密不可分,很长一段时间内也会相对比较稳定,当然,这些动态特征的提取与处理难度也更大。

其次,算法模型训练维度不同,由于行人再识别主要提取静态特征,所以模型训练还停留在二维图像上;步态识别除静态特征外,还要提取动态特征,所以需要进行三维的视频训练,训练难度更大,门槛相对较高。读过《三体》的读者都明白,降维打击的威力,高维度的存在状态不是低维度可以想象得到的。

银河水滴步态识别100问:步态识别和姿态识别有什么区别?

步态识别要回答的是:这人谁啊?

步态识别可以告诉你:步态识别是主要基于人的走路姿态(提取的特征点还包括体型特征、肌肉力量特点、头型等上百个识别要素)进行身份识别的一种生物识别技术。步态识别与身份紧密关联,可以通过步态识别目标人物身份,可应用于刑侦破案、嫌疑人检索等场景。

姿态识别要回答的是:这人咋了?

姿态识别可以告诉你:姿态识别可以实现人体动作、手指运动等姿态的估计,对于描述人体姿态、预测人体行为至关重要。主要基于对人体关键节点的观察,比如骨骼、关节等。姿态识别无关身份,可通过研究人的姿态应用于跌倒检测、虚拟试衣、体感游戏等场景。

案例演示,请看下面两个场景:

此场景中,脑袋大脖子粗这位从正常人变成瘸子就是姿态识别需要研究的,告诉人家他是怎么一步一步变瘸的,他的姿态是如何从正常演变成不正常的,至于是谁让他变瘸的,姿态识别不负责。

这时步态识别该要登场了,我们设想一下,受害人拄着拐回到家,被媳妇一顿臭骂,还要离婚,必然憋气窝火,马上报警,警方必然要调取他变成瘸子这个案发现场的监控视频,但由于作案人带着帽子、作案时还经常把脸部扭曲起来,光线也不太好等等原因,脸部信息无法辨别,只能提取到步态信息。

有一天,作案人扮成农村大叔正在《相亲》,肆无忌惮的在大妈面前走来走去,嘴里念念叨叨“我寻思这两年日子得好了,回乡下去,种点地儿,养点儿小鸡儿,收点儿鸡子儿,老两口闲得没事儿,抽袋旱烟儿,喝点茶水儿,扯个闲皮儿,嗑点儿瓜子儿,有说有笑,那有多得儿!”。岂不知,步态识别系统已经开始工作,通过将上面提取的步态信息与这位相亲大叔的步态做比对,步态相似度极高 ,警方从而确定了他的身份。(注:本故事纯属虚构,与两个小品没有可见或不可见的联想关系,请不要臆测)

这就是步态识别与姿态识别的不同。

Human Identification at a Distance by Gait and Face Analysis —— A tutorial for ECCV2018

The outline of the half-day tutorial:

i. Introduction and overview of the tutorial: Motivations, challenges, available gait and face datasets. (15~20 minutes)

ii. A comprehensive survey on the whole pipeline of gait- and face-based human identification. (50~60 minutes)

1. Traditional approaches for gait- and face- based human identification at a distance
a) Image representation.
b) Feature dimensionality reduction.
c) Classification.

2. Advanced deep learning approaches for gait- and face- based human identification at a distance.
a) The network architecture design for gait and face recognition
b) The influencing factors to the performance such as input features, input resolution, temporal information, data augmentation, etc.
c) State-of-the-art gait and face recognition results on common benchmarks

iii. Applications of gait and face recognition in different kinds of visual tasks. (30~40 minutes)

iv. Suggestions in practice and discussion on potential directions. (10~15 minutes)

v. Experience the newest gait recognition system. (15~30 minutes)

vi. Open questions and discussion. (15~30minutes)

A Comprehensive Study on Cross-View Gait Based Human Identification with Deep CNNs

Introduction

This paper studies an approach to gait based human identification via similarity learning by deep convolutional neural networks (CNNs). With a pretty small group of labeled multi-view human walking videos, we can train deep networks to recognize the most discriminative changes of gait patterns which suggest the change of human identity. To the best of our knowledge, this is the first work based on deep CNNs for gait recognition in the literature. Here, we provide an extensive empirical evaluation in terms of various scenarios, namely, cross-view and cross-walking-condition, with different preprocessing approaches and network architectures. The method is first evaluated on the challenging CASIA-B dataset in terms of cross-view gait recognition. Experimental results show that it outperforms the previous state-of-the-art methods by a significant margin. In particular, our method shows advantages when the cross-view angle is large, i.e., no less than 36 degree. And the average recognition rate can reach 94 percent, much better than the previous best result (less than 65 percent). The method is further evaluated on the OU-ISIR gait dataset to test its generalization ability to larger data. OU-ISIR is currently the largest dataset available in the literature for gait recognition, with 4,007 subjects. On this dataset, the average accuracy of our method under identical view conditions is above 98 percent, and the one for cross-view scenarios is above 91 percent. Finally, the method also performs the best on the USF gait dataset, whose gait sequences are imaged in a real outdoor scene. These results show great potential of this method for practical applications.

Keywords

Deep learning, CNN, human identification, gait, cross-view

Authors

ZifengWu, Yongzhen Huang, Liang Wang, Xiaogang Wang and Tieniu Tan