无论从建设成本还是从实际功用而言,银河水滴步态识别解决方案都是非常经济实用的。

建设成本低:银河水滴为客户打造的步态识别产品与解决方案,包括步态检索一体机“水滴神鉴”、步态识别互联系统“水滴慧眼”、步态数据库建设方案等,都是基于用户现有IT架构及硬件设备进行系统功能搭建的,在大家比较关心的摄像头方面,目前各个城市安装的普通高清摄像头足够满足步态识别的应用要求。所以,部署步态识别技术不但无需大量新增硬件设备,而且可以有效提升现有软硬件系统和摄像机的应用效率。

实战效果好:步态识别由于其识别距离远、无感知、全视角、防伪装等其他识别方式不具备的特点,使其在应用方面具有不可替代性,尤其在公共安防领域。

我们模拟一个案件的步态识别应用:犯罪现场的监控摄像头只捕捉到了犯罪嫌疑人的作案过程,视频比较模糊,看不清人脸,或人脸被刻意遮挡,但是嫌疑人的步态信息是清晰的,那么就可以将嫌疑人案发现场的步态信息进行注册,产生步态底库,之后再调取相关的视频,系统对相关视频中的人物步态信息进行快速分析,并与底库进行快速的步态信息比对,从而检索到与嫌疑人相似的目标人物,并通过多种手段进一步确认嫌疑人信息。

通过银河水滴步态检索智能一体机——水滴神鉴,这样的案件可以通过步态识别技术迅速找到疑似的犯罪嫌疑人,一小时普通监控视频,水滴神鉴最快可在1分钟内检索完毕。

而另一种更厉害的解决方案是银河水滴步态识别互联系统——水滴慧眼,基于海量普通监控摄像头数据,可以实时进行检索、布控、追踪等操作,协助警方高效破案。这款产品集步态建库、步态识别、步态检索、步态比对、大范围追踪等功能于一体,支持海量历史视频与实时视频瞬间检索与定位,支持事前预警、事中报警和事后追踪,支持地图布控及地图轨迹追踪。

随着中国正进入老龄化社会,老年人健康及养护工作正受到越来越多的关注,据统计,中国每年约有4000万65岁以上的老人跌倒,每万人中有8位老人因跌倒死亡,是65岁以上老人伤害死亡的“头号杀手”。

而事实上老年人跌倒的发生并不是一种意外,而是存在潜在的危险因素,老年人跌倒是可以预防和控制的。所有运动学与动力学指标,均反映了老年人行走能力随年龄增长趋向降低的事实,这尤其在运动学各指标上反映明显。而步态的稳定性下降和平衡功能受损是引发老年人跌倒的主要原因。

由此可见,一个人进入老年后,步态会因为多种原因变得和从前不同,要进行跌倒干预的第一步,就是对老人进行跌倒危险的筛查评估。而目前的状态是,多数医疗结构高度依赖理疗师或医生的介入,面对面的观察或指导患者进行康复训练或疾病诊断,诊断和训练效果直接取决于理疗师或医生的技能和经验。

步态识别是一种基于人体生物特征的新型识别方式,融合了计算机视觉、模式识别和图像处理等多种计算机与信号处理领域的技术,利用步态识别技术对老年人长期的步行姿态进行监测、分析、整理和评估,对比多时间、多状态下外界因素对步态产生的影响,计算出跌倒风险的阈值,对风险等级进行划分,真正建立常态化的老年人步态信息监测管理体系,实现跌倒提前预警需要,有效降低老人跌倒真实发生的概率。

防外部侵入:顾名思义,即为防止非本单位人员在没有经过允许的情况下进入。

步态识别拥有识别距离远、无感知、全视角、难以伪装等特点,这使得这项技术可以在防外部侵入方面拥有独特优势。

野外石油钻井平台作为国家重要基础设施,防止无关人员从外部侵入,对于反恐和防偷盗有着特殊意义。

从上图我们可以看到,这些石油钻井野外,难以24小时轮值看守,空间极其开阔、光线不稳定,希望被识别对象主动配合更无从谈起,对于计算机视觉而言,属于特殊场景,所以传统的识别方式如人脸识别、虹膜识别等无法进行有效监控识别。

因此,目前很多野外油井的安防还通常是通过人的巡检、观测来完成,油田内的安全防范也不例外,提高安全效果的方式只能是增加安保人员,这将大大提高运营费用。

步态识别防侵入应用则可以有效解决上述难题,其解决方案也非常简单,首先把油田工作人员的“步态”预先录入数据库,设为白名单,标定为可进入,没有录入数据的外部人员只要进入监控范围,由于系统底库无匹配步态数据,系统会判定为“黑名单”,就会及时报警。

目前,银河水滴已经推出了专业的步态数据库建设方案,可完成对目标对象步态数据的规范化采集和存储管理。目标对象只需要在自然状态走过规定线路,摄像头即会进行实时抓拍,采集系统会实时检索步态信息,生成步态序列图,然后对步态序列进行分割,提取特征,处理后存入相应数据库。

家电智能化已经成为大势所趋,各大家电厂商都在积极布局,家电智能化的标志是人机高效交互,满足用户的个性化需求。而交互的前提是机器识别,因为只有机器可以识别用户,才可以执行相关指令。

目前人机交互中较常用的有人脸识别、语音识别、手势识别等,相对于其他三种识别方式,步态识别具有识别距离远、无感知、全视角等特点,这使得这项技术在家电智能化方面拥有了独特优势。

以空调为例,有了步态识别加持后,人机交互变得更加高效,当一个家庭成员进入房间,你无需拿起遥控器或面对识别区域刷脸、喊话,空调可以自动进行识别,之后按照已经设定的个人喜好及时调整出风角度、出风量及温度,异常方便。

2019年7月,由银河水滴提交的“一种空调系统控制方法和装置”发明专利申请获得授权,根据专利说明,用户只需先注册步态信息,之后在空调配置库中预先存储注册用户各自对应的空调运行配置参数即可,配置参数包括目标温度、目标湿度、目标风量、目标风向等,当用户进入房间,空调在检测到用户后即会按照预定参数工作,且可以根据用户的行进速度,生成与用户的位置和速度对应的第一空调控制指令,以此预判用户的移动方向,对移动方向的环境进行调节。

步态识别空调运行示意图

这意味着步态识别家电已经不是想象,而是已经具备了走进千家万户的技术条件。

当我们走在大街上,人流如织,车水马龙,看着这些运动着的人,能在我们大脑中体现出区别特征,基本是面容、高矮、胖瘦、走路快慢等,而至于走路的姿势则基本相同:直立、双腿交替、手臂摆动;几乎看不出明显的区别。

这是因为很多人的关注点不在别人的腿上,即使有些人关注了,那看的也确实是腿而不是走路姿势,当你不关心一个人的时候,他无论做了什么、发生了什么改变,你都不会发现,这就叫存在着的无。

即使不从专业的角度来讲,我们只需要仔细观察一下就会发现,人和人走路姿势的不同,比如抬腿的高低、迈腿的频率、脚掌落地的重心等等,当然,这样的泛泛观察所得出的结论是不够严谨的,也无法为一项技术提供理论支撑,所以我们就请出一位专家来。

英国南安普敦大学电子与计算机系的马克•尼克松教授研究显示,人人都有截然不同的走路姿势,因为人们在肌肉的力量、肌腱和骨骼长度、骨骼密度、视觉的灵敏程度、协调能力、经历、体重、重心、肌肉或骨骼受损的程度等等方面都存在差异,所以体现在走路姿势上也就千差万别。

再回到步态识别技术本身,正向此前的问答中讲到的,步态识别提取的特征点有很多,既有走路姿势等动态特征点,也包括身高、体型等静态特征点,通过这些特征点的综合分析可以有效进行身份识别。

两步就够了

步态注册是指将被识别人的步态信息录入步态识别系统,也就是建库,之后系统才可以从芸芸众生中识别出录入者。

由于银河水滴的步态识别算法针对不同角度、不同光照、不同场景中的步态都进行了长期系统的训练,所以有着非常高的识别灵敏度,从我们的实践来看,只需要有一个人一个步态周期即两个步幅的完整信息即可进行识别。

当然,有的应用部门希望建立完整的数据库,比如公共安全机关、大型基础设施如野外钻井平台、核电站、博物馆、体育场馆等,以便于得到更好的识别效果。有人可能会问,钻井平台、博物馆之类的建设步态数据库干嘛,当然有用了,将内部工作人员的步态录入,安装相关步态识别设备,当有非内部人员进入时就及时报警,这样就可以防外部人员侵入,提高安全防范等级。

针对这样的需求,银河水滴也建立了专业的步态采集模型。被采集人员自然状态走过常规固定线路,摄像头进行实时抓拍,采集系统会实时检索步态信息,生成步态序列图,然后对步态序列进行分割,提取特征,处理后存入相应数据库。

采集流程为:

1、由银河水滴组织实施人员在现场对采集系统进行安装调试,通过增设摄像头、调整摄像头角度,设立ROI(可理解为有效步态区域)区域;

2、从起始点处沿规定路线行走,当在采集设备屏幕上看到被采集人员走到指定地点时,采集操作人员点击“开始采集”功能按钮;

3、被采集人员继续沿规定路线行走,当在采集设备屏幕上看到被采集人员走到下一个指定地点时,采集操作人员点击“结束采集”功能按钮,再点击“保存”按钮,步态信息采集工作完成;

由于采集环境良好,所以在此种情况下获得的步态信息完整而清晰,十分有利于实战,在“步态检索-步态布控”的应用中可以达到更高的精准度。

步态识别如何帮助公安破案?这是很多关注银河水滴的人都想了解的。很多人还提出了非常专业的问题,比如,相对于人脸库、指纹库来讲,大规模的嫌疑人步态数据库还未建立起来,那么公安机关如何通过步态信息识别和追踪犯罪嫌疑人呢?本文就给大家简要解答一下。

目前在公共安全领域,银河水滴推出了三种产品和解决方案:

步态检索智能一体机——水滴神鉴:这是一款便携式的步态识别安防专用设备,集步态识别算法、软件和硬件为一体,主要依靠步态识别迅速检索目标嫌疑人。现在模拟一下它的工作流程:一个案件中,犯罪现场的监控摄像头只捕捉到了犯罪嫌疑人的作案过程,视频比较模糊,看不清人脸,或人脸被刻意遮挡,但是嫌疑人的步态信息是清晰的,那么就可以将嫌疑人案发现场的步态信息进行注册,产生步态底,之后再调取相关的视频,系统对相关视频中的人物步态信息进行快速分析,并与底库进行快速的步态信息比对,从而检索到与嫌疑人相似的目标人物,并通过多种手段进一步确认嫌疑人信息。目前,以步态信息检索嫌疑人,一小时视频,水滴神鉴最快可在1分钟内检索完毕,大大改变了此前人工办案的现状,节省了大量的人力和时间,并且,步态识别技术比普通的办案人员更加“火眼金睛”,识人的效率和准确度更高。

银河水滴步态识别互联系统——水滴慧眼:集步态建库、步态识别、步态检索、步态比对、大范围追踪等功能于一体,支持海量历史视频与实时视频瞬间检索与定位,支持事前预警、事中报警和事后追踪,支持地图布控及地图轨迹追踪。看到没,水滴慧眼功能强大,没步态底库一样可以用,既可以像水滴神鉴一样进行步态检索和比对,还可以在更广泛的区域进行实时比对和预警。如果需要步态数据库呢,还可以给你建。如何建呢?

银河水滴专门推出步态数据库建设方案,可按照不同需求,量身打造完整、快速、优质的步态数据库建设方案。可完成对目标对象步态数据的规范化采集和存储管理,可同目前已经建成的人脸库、指纹库协同工作,从而在公共安全领域形成多特征、全体态的身份识别体系。

个人隐私是指公民个人生活中不愿为他人(一定范围以外的人)公开或知悉的秘密,且这一秘密与其他人及社会利益无关。判断信息是否属于个人隐私核心就在于,公民本人是否愿意他人知晓,以及该信息是否与他人及社会利益相关。

在民事法律层面,隐私被界定为一种基本人格权利,即隐私权,是指自然人享有的私人生活安宁与私人信息秘密依法受到保护,不被他人非法侵扰、知悉、收集、利用和公开的一种人格权,而且权利主体对他人在何种程度上可以介入自己的私生活,对自己的隐私是否向他人公开以及公开的人群范围和程度等具有决定权。目前隐私权的界定在法律界还存在争议。

中国著名的法学学者——中国人民大学法学院张新宝教授把侵犯隐私权的行为总结为以下十类

1、未经公民许可,公开其姓名、肖像、住址和电话号码。

2、非法侵入、搜查他人住宅,或以其他方式破坏他人居住安宁。

3、非法跟踪他人,监视他人住所,安装窃听设备,私拍他人私生活镜头,窥探他人室内情况。

4、非法刺探他人财产状况或未经本人允许公布其财产状况。

5、私拆他人信件,偷看他人日记,刺探他人私人文件内容,以及将他们公开。

6、调查、刺探他人社会关系并非法公诸于众。

7、干扰他人夫妻性生活或对其进行调查、公布。

8、将他人婚外性生活向社会公布。

9、泄露公民的个人材料或公诸于众或扩大公开范围。

10、收集公民不愿向社会公开的纯属个人的情况。

就生物特征识别而言,目前大家关心的隐私泄露问题主要为生物特征本身以及与之关联的个人其他信息。

生物特征本身:步态识别提取的生物特征主要是静态的身体轮廓以及动态的运动姿态,利用这些特征综合进行身份识别,并不针对某一特征进行清晰度很高的提取和比对,正如此前相关文章中所提到的,步态识别只提取一个剪影,剪影中所包含的信息不在张新宝教授所总结的侵犯隐私权范围内。

 

关联信息:也就是生物特征作为身份ID使用时,后面关联的个人隐私信息,比如指纹、人脸等,这些生物特征后有可能关联着个人的身份证信息、银行卡号、电话号码等。目前步态识别还没有作为身份ID使用,所以不存在此问题。步态识别更对解决的是身份比对的难题,比如帮助公安部门确认在B地出现的某个人是否就是那个在A地作案的人。

由于谈的是机器识别,所以就不考虑文化不同的因素了,直接看生理差异。

中国人和欧美人有什么区别呢?

皮肤颜色不同、头发颜色不同、眼睛颜色不同,还有资料说肠子长短不同,中国人肠子比欧美人要长。

但这些不同对于步态识别而言都不是问题,因为不是识别特征点。

所以就要找找形体上的不同,据称欧洲人的小腿比大腿长一些,亚洲人的大腿一般比小腿要长一些,此外,肌腱、肌肉纤维、长骨等欧洲人的长度都大于亚洲人的,这导致同样力量下,力臂长时,手脚摆动速度就慢,并且影响稳定性,所以亚洲人的平衡能力、精确度控制力等方面有优势,但是涉及绝对速度绝对力量方面的指标就不及欧洲人了。

这些不同点确实有步态识别的识别特征点存在,但并不影响识别,因为步态识别算法是以人类的共同特征作为训练对象的,表达的是体型和时序上的规律,上文所说的只是差异并不是特征点的消失,而且这些差别也没有产生根本性的运动姿势变化,运动特征及身体特征依然存在,在行走过程中,欧美人同中国人更多是大同而只是小异。我们实际操作的结果也可以证明,这套算法可以有效的识别欧美人,即使是在蒙头的情况下。

2018年9月,银河水滴在“欧洲计算机视觉大会”专题授课现场演示步态识别技术

哎呀,这孩子都长这么大了,我都认不出来了!

这是一句我们经常听到的话,也就是说,当很久没见到一个人之后,特别是孩子,由于变化较大,人眼就难以识别出对方了。

在机器视觉领域其实也是如此,如果识别特征点变化太大,就会影响识别精度,比如一个人,孩提时和长大后,面部特征变化会特别明显,让人脸识别去辨认,肯定难以辨识。

对于步态识别而言,这一样适用,如果只是几年之内的成长变化,由于特征点变化幅度不大依旧可以进行有效识别,但如果十几年的时间,特征点已经发生非常明显的改变,那将没办法有效识别。

但事实上,这样的使用技术在实际应用中也基本不会出现,人类使用技术来进行生产生活的目的是提高工作效率、改善生活品质,根据效益最大化的原则,人类会自发的让工具发挥最大效能。在合适的时间合适的地点合适的场景使用最合适的工具,而且是工具中最有效的那个部分,利用其所长舍弃其所短。

所以,为了机器视觉工具能够发挥最大功用,人类会根据实际需要,动态的采集信息,不断更新最新数据,以便相应技术可以达到最好的效果,促进社会生产生活的发展,否则刻舟求剑也不会成为千古笑谈。

不过,虽然变化过大不能准确识别,但步态识别却有预测未来步态的能力,在2018年10月27日晚8点播出的《机智过人》第二季节目中,银河水滴运用算法描述出了韩雪及鲁白教授未来的步态。

在节目中,机智见证团成员、著名演员韩雪、科学家鲁白教授积极体验,步态识别带领他们“穿越”到了自己的80岁。当看到韩雪和鲁白80岁的步态被模拟出来,现场所有人都连连称奇。

请看视频

央视网:http://tv.cctv.com/2018/09/28/VIDEm5xaZSsNMUcZqJH56UI2180928.shtml

爱奇艺:https://www.iqiyi.com/v_19rr2vwe98.html?vfm=2008_aldbd

就这些关键点

人的身体上有很多点,当然这里指的不是斑点,人观察人的时候,会根据自己的心理需要提取自己想看的点,这些点应该有无数个。就生物识别技术而言,弱水三千只取一瓢,步态识别、人脸识别、指纹识别、虹膜识别都可以顾名思义,识别的关键点都在名字里了。

步态识别是一种新兴的生物特征识别技术,旨在通过人们走路的姿态进行身份识别,与其他的生物识别技术相比,步态识别具有非接触远距离和不容易伪装的优点。在公共安全领域,比图像识别更具优势。

步态识别是一种全体态识别模式,但主要关注的是步态信息,识别的关键点如下:

动态特征:迈步的幅度、步子的频率、身体重心、两腿的协调关系也就是步姿、手臂的摆幅等

静态特征:体型(高矮、胖瘦)、头型、肩宽等

将整个身体分成四个部分的话,对于步态识别而言,在识别过程中的重要程度如下图:

步态特征的提取过程为,首先由摄像机采集人的步态视频,通过检测、分割和跟踪获得步态序列,经过特征表达提取该人的步态特征。在这个过程中并不会对人身细节做精细化处理,只需要人的一个剪影即可,这也充分可以体现出步态识别的安全性。

直截了当的告诉你:不用

银河水滴为客户打造的步态识别产品与解决方案,包括步态检索一体机“水滴神鉴”、步态识别互联系统“水滴慧眼”、步态数据库建设方案等,都是基于用户现有IT架构及硬件设备进行系统功能搭建的,接入的摄像机也是市场上最常见的普通摄像机,如海康威视、大华等厂商研制的普通摄像机,提升现有软硬件系统和摄像机的应用效率和功能。

步态识别技术在发挥作用前,首先要有步态信息的采集,这些数据可基于最普通的监控摄像机来完成。之后步态检索一体机——水滴神鉴,可基于已采集的步态数据,通过步态识别技术在海量普通摄像机采集的视频库里快速完成目标人员检索和分析。

步态识别互联系统——水滴慧眼,在做步态检索、步态分析、步态识别和目标追踪时,主要有前端处理和后端处理两种解决方案:

前端解决方案:城市中现有的海量普通摄像机,可通过在前端安装银河水滴自主研发的步态抓拍盒子WATRIXSNAP,完成摄像头前端步态特征的提取、存储和传输,极大降低数据存储与传输的成本,有效提升现有摄像头的利用率;

后端解决方案:海量普通监控原始视频传输至中心机房后,也可通过银河水滴自主研发的高算力、低功耗、低噪音的步态识别抓拍阵列处理器,快速完成对海量视频的步态特征提取、分析、存储、比对和预警。

步态抓拍盒子和步态抓拍阵列是银河水滴步态识别应用体系中的智能硬件,无需对前端摄像机进行更换,可以直接链接现有设备完成步态数据提取、分析、检索、比对和预警,为步态布控、检索、追踪等功能实现提供基础支撑。

水滴慧眼集成了地图追踪、地图布控、视频检索、实时布控、步态抓拍、步态提取、步态比对、步态采集等八大功能模块,而且可以支持上万路摄像机实时并发,功能非常强大,可以广泛应用于平安城市(公安系统、车站机场、博物馆、学校、景区、商场等)、重要基础设施(核电站、发电站、石油石化基地等)、海关等场景。

我们回想一下日常生活中常遇到的情景:

1、 那边确实有个人,不过离得太远了,看不到脸啊,所以不知道是哪一个

2、 那边确实有个人,不过他背对着我们,看不到脸不知道是谁啊

3、 请看镜头,把脸放到那个框里面或请录入指纹

4、 有摄像头,快把脸蒙上或看电影时复制指纹的情节

5、 光线太暗了啊,看不清楚啊

步态识别的优势:上述这些在步态识别这里都不是问题,它天然的拥有识别距离远、360度全视角、非感知及防伪装、对光照不敏感等优势,请看下表:

优势来源:

特征选取

主要因为识别特征点的不同,古人说:“取法乎上,得乎其中;取法乎中,得乎其下;取法乎下,无所得矣。”大家都知道,杂食动物普遍比依靠单一食物生存的动物适应能力更强,步态识别是全身特征识别,特征点提取包括身高、体型、胖瘦等,除了这些静态特征,还包括运动特征,步幅、步频、臂幅等,它不依赖于某个特征点,所以受到的约束就少,优势也就显现出来。

训练维度

训练维度的提升使步态识别的适用性更强,其算法在迁移学习方面更具优势。其他识别方式可能只需要若干张图片样本即可以开始训练模型,但是对于步态识别而言,则需要大量的视频数据来训练模型,银河水滴数年前进行的模型训练,每个人用到了近1000段视频数据,涵盖十余种不同着装、3个不同场景、2种行走状态、13个不同水平视角、2个不同垂直视角,多种属性(包括年龄、性别、民族、身高、国籍),还需要精准的人形分割。相比于基于二维图像进行训练学习的其他生物特征识别方式,步态识别基于三维视频进行的训练,输入的数据量提高了一个维度,这意味着什么呢,有人说过,伴随着维度变化的是认识层次和思维角度的巨大改变,《三体》中那最让人绝望的一幕还记得么,面对降维打击,低维度的存在只能接受命运的安排。

我们一样不一样?

这个问题天然的排除比较容易识别的双胞胎们,比如龙凤胎、肤色明显不同、体型身高差别明显等。那么其他长的非常相似,甚至亲妈有时候都不能直接认出谁是谁的该如何识别呢?

人类的办法:面对这样的难题,眼睛不够用的时候就用脑,人为给安上点识别标志,比如有的父母让双胞胎带不同的脚链、穿不同的衣服、剪不同的发型等等,只要不是太糟践孩子的方法都可以招呼上。否则这孩子也真是没法带了,明明一个跑远了,还大声叫站在身边的这个名字,大喊:别跑了,快回来!被叫名字的孩子也迷糊啊,我这不在这站着呢么。

AI的办法:AI没法像人一样给双胞胎安明显标识,再说了如果人一眼都能看出来,还有AI什么事啊。事实上,大家想一想,我们提到双胞胎的时候,自然而然想到的必然都是长的像,哪里像,脸、身高、体型、发型、肤色等这些静止的信息,不会有多少人去观察他们的运动信息,而这正是步态识别关注的,也正是能够发现差别的所在。

虽然把一只脚放到另一只脚的前面看似是一种简单的行为,但是我们每个人都有独特的踢腿、跳跃和摆腿的动作。这些动作最终体现出人体骨骼结构、肌肉和平衡感的细微差别。对大多数人来说,这些细微差别肉眼很难发现,但是经过训练的计算机则能辨别出来,它能够把运动分解成一系列的节点,将不同人的特征点标注出来,之后通过比对即可识别身份。

识别四胞胎:在2018年的央视第二季《机智过人》栏目中,来了四位云南曲靖的四胞胎——“四小龙”,他们从小一起长大,一起学习拉丁舞,从样貌体态到行为举止都极为相似,以至于大龙有一次顶替弟弟们给爷爷背乘法口诀,背了四遍爷爷都没分出自己检查的其实是一个人,可见在没有明显识别标记的情况下,人眼难以识别过于相似的人,但银河水滴的步态识别系统却成功从八位蒙面舞者中识别出了四胞胎。

节目网址:

央视网:http://tv.cctv.com/2018/09/28/VIDEm5xaZSsNMUcZqJH56UI2180928.shtml

爱奇艺:https://www.iqiyi.com/v_19rr2vwe98.html?vfm=2008_aldbd

面对这个问题的小编 让我冷静冷静

业内人士看到这个问题后应该会摇头不解,因为他其实不是个问题。要知道无论是人脸识别、指纹识别还是步态识别其实都是以人为研究对象的,给计算机喂食大量的人的各种特征数据来训练其识别能力,但为何还是要把这个问题拿出来呢?

这需要从为什么会有“步态识别100问”这个系列谈起,银河水滴成立三年来,社会各界众多朋友给予了我们广泛的关注,同时也对步态识别技术提出了很多疑问,提问多的问题普遍性就强,所以我们觉得应该对大家经常提到的问题进行解释,形成文本的答案通过银河水滴公众号发出,对我们感兴趣并带着疑问的朋友就可以自助式的直接查阅,消解疑虑。

步态识别是否可以识别动物就是经常被提起的问题。

答案是:既不能识别也能识别

不能识别的原因就像开头说的,我们目前的步态识别算法模型是以人为中心的,计算机就没见过其他其他动物,所以不可能识别,这类似于人认识世界的过程,如果你从来没见过大象,那就不可能认识大象。

可以识别是因为人工智能技术无限可能,我们可以根据要识别的动物对其建立专门的算法模型,采集这种动物的各种特征数据,对计算机进行训练,从而达到可以识别的能力。

在2017年的央视《机智过人》栏目中,银河水滴的步态识别系统成功从21只体型毛色相似的金毛犬及剪影中识别出目标金毛犬。俗话说台上十分钟台下十年功,在接到节目组给出的挑战课题后,银河水滴算法团队就建立了针对狗狗的专门模型,对机器进行了长达一个多月的高强度训练,最后成功完成挑战。

 

《机智过人》告诉你步态识别有多强:http://www.watrix.ai/2018/05/11/jizhiguoren/

广而告之:为何要装瘸 很容易摔倒的

装瘸或刻意不正常行走等情况下,步态识别技术是否可以识别,这个问题被N多怀着各种心情的人问过,在此小编要大声的宣告:可以识别

之后我们从识别原理和装瘸的动机这两个方面再详细聊聊:

装瘸等不正常步态为何能够被识别

又要不得不说步态识别在识别过程中要提取的特征点:既有动态的步幅、步频、手臂摆动情况、运动神经敏感度等等特征;又有静态的身高、体型、头型、高矮、胖瘦等等特征。

从提取的这些特征点可以看出,步态识别其实是一种全身识别技术,综合多种特征点进行身份识别,并非只盯着别人的两条腿,所以不正常步态也能识别。

装瘸的动机

1、  考验步态识别技术能力:从科学研究角度而言,精益求精、穷天人之际的精神是值得称道的,也是我们要推崇的,但从实践角度出发,这是小概率事件,并非普遍现象,所以从应用角度而言并没有非常大的意义,否则就会出现装瘸识别技术。

2、  心怀不轨者:这种是心先瘸而后腿瘸,设想一下,如若有人为了躲避步态识别而装瘸去做坏事,这种人疑心必重、防范之心必强,那势必也要把脸档上,一瘸一拐蒙着脸,东张西望,本就有掩耳盗铃之嫌,更别说干了坏事的都想着尽快溜走,难道还要一瘸一拐的慢慢踱回去,如果如此,那肯定是缺心眼的,啥技术手段不用也能被识破逮到。

3、  就为了好玩:那和步态识别有啥关系。

这么黑也可以识别

步态识别优势包括:识别距离远(普通高清摄像头下可识别距离达50米)、全方位(360度)、无感知(不需要识别对象配合)、对光照不敏感等。重要的事情重复三遍:对光照不敏感、对光照不敏感、对光照不敏感!

在计算机视觉领域,对光照不敏感主要是指,对光照强弱不过敏,无论是在光照过于强烈的情况下,还是在光照微弱的情况下依然可以识别出被识别对象。

步态识别分为人形检测、人形分割、身份识别、人形跟踪四个步骤,上面两图表现的是对原始视频进行人形分割的情况。我们看到,人形分割出的信息是动态人形剪影,这是步态识别的识别依据,它不依赖人体某个部分的清晰图像,只需要有完整的身体信息和运动信息即可,所以即使在晚上只要有了这两个信息要素就足够了,除非你和黑暗融为一体,但这个世界上还没有绝对的黑暗,它是相对的。

我“看”到你潇洒走过

我们先把这个问题切成两半,分别是“戴口罩”和“穿大衣”两种情况。

戴口罩必然遮挡住了脸,但是步态识别“不(xu)要脸”,从背后也能知道你是谁,所以不要和步态识别讲“面子”,它识别的过程不需要面部信息。

穿大衣相对于不穿大衣遮住了大腿或腿的大部分,遮住大腿的情况下,步态信息依然存在和穿短衣区别不大;遮住腿的大部分怎么办?步态信息也被部分屏蔽了,没事,咱有招。我们再来重温一下步态识别如何提取特征点,包括但不限于身高、头型、腿骨、关节等静态信息,以及走路姿态、手臂摆幅、运动神经敏感度等动态信息。也就是说,步态识别实际上是全身识别,诸多特征点共同作用使得步态识别难以因伪装而逃避。所以心存侥幸的人只能哭吧?

ReID/行人再识别/跨镜追踪:靠不变的黑衣服识别人

步态识别:靠身体体型和走路姿态识别人

行人再识别:用英文说就是Person re-identification,简称ReID,有时也被称作“跨镜追踪”,顾名思义就是跨越摄像机镜头追寻你,具体来说,就是通过你的衣服、帽子、手套、鞋子、发型、背包等外在“蛛丝马迹”来跨着镜头“追踪”你。什么?都脱光了就不会被ReID追踪了?No,No,No, 浑身赤裸的肉色就是你最明显的特征,跨多少个镜头,都能被找出来!那不断地换衣服,ReID就不好使了吧?好吧,算你狠。

再来看步态识别:通过身体体型行走姿态分析人的身份,其物理基础是每个人不同的生理结构:身高、头型、腿骨、臂展、肌肉、重心、神经灵敏度等。步态识别最不“势利眼”,它看人,就看“最纯粹的人”,无论外在衣着、饰品、背包多豪华、多艳丽,它都“不放在眼里”。所以换不换衣服,步态识别都能在不同镜头里找到人。

行人再识别与步态识别的区别

首先,特征点提取不同,行人再识别主要提取静态的外部特征,比如穿着、背包、发型、雨伞等,静态的外部特征很容易消失,穿的衣服可以脱、可以换样式,发型可以换、还可以带假发。

步态识别一方面要提取静态的内部特征(身高、头型、腿骨、关节等),这些特征相对比较稳定,很长一段时间,都不会发生大的变化;除此以外,步态识别还需提取动态特征,比如走路姿态、手臂摆幅、运动神经敏感度等,这些动态特征与身体属性密不可分,很长一段时间内也会相对比较稳定,当然,这些动态特征的提取与处理难度也更大。

其次,算法模型训练维度不同,由于行人再识别主要提取静态特征,所以模型训练还停留在二维图像上;步态识别除静态特征外,还要提取动态特征,所以需要进行三维的视频训练,训练难度更大,门槛相对较高。读过《三体》的读者都明白,降维打击的威力,高维度的存在状态不是低维度可以想象得到的。

步态识别要回答的是:这人谁啊?

步态识别可以告诉你:步态识别是主要基于人的走路姿态(提取的特征点还包括体型特征、肌肉力量特点、头型等上百个识别要素)进行身份识别的一种生物识别技术。步态识别与身份紧密关联,可以通过步态识别目标人物身份,可应用于刑侦破案、嫌疑人检索等场景。

姿态识别要回答的是:这人咋了?

姿态识别可以告诉你:姿态识别可以实现人体动作、手指运动等姿态的估计,对于描述人体姿态、预测人体行为至关重要。主要基于对人体关键节点的观察,比如骨骼、关节等。姿态识别无关身份,可通过研究人的姿态应用于跌倒检测、虚拟试衣、体感游戏等场景。

案例演示,请看下面两个场景:

此场景中,脑袋大脖子粗这位从正常人变成瘸子就是姿态识别需要研究的,告诉人家他是怎么一步一步变瘸的,他的姿态是如何从正常演变成不正常的,至于是谁让他变瘸的,姿态识别不负责。

这时步态识别该要登场了,我们设想一下,受害人拄着拐回到家,被媳妇一顿臭骂,还要离婚,必然憋气窝火,马上报警,警方必然要调取他变成瘸子这个案发现场的监控视频,但由于作案人带着帽子、作案时还经常把脸部扭曲起来,光线也不太好等等原因,脸部信息无法辨别,只能提取到步态信息。

有一天,作案人扮成农村大叔正在《相亲》,肆无忌惮的在大妈面前走来走去,嘴里念念叨叨“我寻思这两年日子得好了,回乡下去,种点地儿,养点儿小鸡儿,收点儿鸡子儿,老两口闲得没事儿,抽袋旱烟儿,喝点茶水儿,扯个闲皮儿,嗑点儿瓜子儿,有说有笑,那有多得儿!”。岂不知,步态识别系统已经开始工作,通过将上面提取的步态信息与这位相亲大叔的步态做比对,步态相似度极高 ,警方从而确定了他的身份。(注:本故事纯属虚构,与两个小品没有可见或不可见的联想关系,请不要臆测)

这就是步态识别与姿态识别的不同。

The outline of the half-day tutorial:

i. Introduction and overview of the tutorial: Motivations, challenges, available gait and face datasets. (15~20 minutes)

ii. A comprehensive survey on the whole pipeline of gait- and face-based human identification. (50~60 minutes)

1. Traditional approaches for gait- and face- based human identification at a distance
a) Image representation.
b) Feature dimensionality reduction.
c) Classification.

2. Advanced deep learning approaches for gait- and face- based human identification at a distance.
a) The network architecture design for gait and face recognition
b) The influencing factors to the performance such as input features, input resolution, temporal information, data augmentation, etc.
c) State-of-the-art gait and face recognition results on common benchmarks

iii. Applications of gait and face recognition in different kinds of visual tasks. (30~40 minutes)

iv. Suggestions in practice and discussion on potential directions. (10~15 minutes)

v. Experience the newest gait recognition system. (15~30 minutes)

vi. Open questions and discussion. (15~30minutes)

Introduction

This paper studies an approach to gait based human identification via similarity learning by deep convolutional neural networks (CNNs). With a pretty small group of labeled multi-view human walking videos, we can train deep networks to recognize the most discriminative changes of gait patterns which suggest the change of human identity. To the best of our knowledge, this is the first work based on deep CNNs for gait recognition in the literature. Here, we provide an extensive empirical evaluation in terms of various scenarios, namely, cross-view and cross-walking-condition, with different preprocessing approaches and network architectures. The method is first evaluated on the challenging CASIA-B dataset in terms of cross-view gait recognition. Experimental results show that it outperforms the previous state-of-the-art methods by a significant margin. In particular, our method shows advantages when the cross-view angle is large, i.e., no less than 36 degree. And the average recognition rate can reach 94 percent, much better than the previous best result (less than 65 percent). The method is further evaluated on the OU-ISIR gait dataset to test its generalization ability to larger data. OU-ISIR is currently the largest dataset available in the literature for gait recognition, with 4,007 subjects. On this dataset, the average accuracy of our method under identical view conditions is above 98 percent, and the one for cross-view scenarios is above 91 percent. Finally, the method also performs the best on the USF gait dataset, whose gait sequences are imaged in a real outdoor scene. These results show great potential of this method for practical applications.

Keywords

Deep learning, CNN, human identification, gait, cross-view

Authors

ZifengWu, Yongzhen Huang, Liang Wang, Xiaogang Wang and Tieniu Tan