径卫视觉王波:基于人脸识别技术的驾驶行为分析解决方案

  • 王波
  • 发表于: 2017/06/23 11:45:00 来源:车云网

融合人与路信息,借助车联网技术,做商用车的主动安全系统。

车云按:2017年6月21日-22日,由中国安全产业协会、TIAA车载信息服务产业应用联盟与车云网共同主办的2017年中国安全产业峰会暨首届交通安全产业论坛在北京召开。本文是径卫视觉科技总经理王波在大会上的主题演讲,介绍了基于人脸识别技术的驾驶行为分析解决方案。

径卫视觉科技总经理王波径卫视觉科技总经理王波

各位朋友下午好,刚才Mobileye 苏总给大家演示了一些ADAS的技术。Mobileye确实是整个行业的领导者,苏总也解释了他们单目视觉路线达到的技术水平。严格来说,我们是这个技术里走的另一条路,应该来说是双目,但是我们的双目和大家传统说的双目不一样,是把另外一个摄像头对准了人。

我今天分享的主题是基于人脸识别技术的驾驶行为分析。上午Dr Joseph Kanianthra谈了很多美国驾驶员分心驾驶的研究,包括方方面面的数字的构成,他的演讲提出了一些问题,我们其实是沿着这条路给大家提供了答案。

径卫视觉王波:基于人脸识别技术的驾驶行为分析解决方案

我先简单介绍一下我们公司。公司项目起始于2010年,最早是因为家里亲戚疲劳驾驶事故的经历,导致我们有这个念头去做产品,一直到2013年左右,我们把第一代针对驾驶员分心的产品做好。

当时也很感谢美国高速公路委员会的一份研究报告,让我们的产品又多了一条路径。最早我们是完全关注驾驶员,美国的研究报告就指出对车道线的检测,也就是ADAS这块的应用。如果驾驶员开车的时候有蛇形迹象,或者无意识压线,就表示他有疲劳情况出现。最后的报告结果是,对人的检测和对路的检测,都是非常有效解决疲劳驾驶的手段。所以那时我们就把对人和对路的融合,作为一个研究的重点方向,最后加上车联网技术,形成了一整套系统。

径卫视觉王波:基于人脸识别技术的驾驶行为分析解决方案

行业背景就是解决适合中国现状的安全管理,整个团队都是汽车或者图象视觉相关背景,有一部分来自于大数据挖掘的团队,所以现在我们不是简单的技术开发或者技术提供商,而是给大家提供了一套主动安全管理解决方案。

径卫视觉王波:基于人脸识别技术的驾驶行为分析解决方案

我们现在在国内两客一危领域有超过300家的合作单位,除了用技术给大家解决安全管理的问题,同时在整个的系统里面,融合了防御性驾驶,这些安全管理要求比较高的,像中石化这样的他们对车队的安全驾驶的管理的一些理念,我们把他们的管理的诉求也同时融合到了产品的设计、报警逻辑当中。

径卫视觉王波:基于人脸识别技术的驾驶行为分析解决方案

这其实就是一份来自美国的数据,当中讲到了94%的事故,可以归结为人为因素,这也是Dr Joseph Kanianthra上午讲的内容,国内的标准在这方面也能体现出来。在中国现有的国情,没有真正能实现完全自主驾驶的过程中,人的因素是非常重的。美国每年造成的损失是每年死3、4万人,损失两千多亿美金。

径卫视觉王波:基于人脸识别技术的驾驶行为分析解决方案

这是中国的数据,其实我们不用管它的细节,但是它最后表明的现象,也是大部分的交通事故都是和人的原因密切相关的。

幻灯片07.jpg

这是我们的理念,我们通过这些年的应用,把整个交通事故分为四个阶段,这是它的时间轴,第一个阶段叫不良习惯的养成阶段。所有的事故都不是突然发生,一定是有内在的原因。不良习惯的养成的阶段是一个积年累月的过程,像司机在开车的时候玩手机,抽烟,乱变道、超速,这都是绝对危险的驾驶的行为。我们应该让每个司机都有一个安全驾驶行为档案,针对他的行为进行一些有效的培训和教育,用防御性驾驶技术提高他的安全意识和驾驶技巧,这是长期的过程。

第二个阶段是事故发生前半小时。你会发现驾驶员的注意力有一个严重下降的过程,这个过程中他连续不断地打哈欠,或者表情很呆滞,这一段时间表情没有太多变化,或者开车时表现出有点蛇形、S形的走势,这个时候就表明人的注意力严重下滑,这时其实是管理介入的最佳时间。如果我们通过车联网技术直接干预到驾驶员驾驶,强制他休息,这个时候是有希望杜绝事故发生的。

再往后就是事故发生前5秒左右,今天上午周主任也讲了2.5秒的关键时间,其实是一样的。不良习惯的养成阶段和事故发生前半小时都没有得到有效的管理和干预,马上就会演化成车道开偏或者就要发生碰撞。这其实是个结果,不是一个原因,原因是在前面两个阶段。

到了最后我们又要讲到中国的情况了。你出了所有的事故,都需要一个责任认定和举证的过程,不管是保险理赔还是公安举证,都是有一些证据的。在中国这个市场我们做了这么多年,我们发现录象非常重要,一定要说明为什么会出这个事故,这是我们对事故的跟踪。

径卫视觉王波:基于人脸识别技术的驾驶行为分析解决方案
径卫视觉王波:基于人脸识别技术的驾驶行为分析解决方案

这个过程我们有两套的硬件,一个是对驾驶员做监控分析,一个是对路面的前向安全。我们对驾驶员行为进行了一个综合分析,包括身份的分析,解决了人与卡不相符的情况,货运绝对不允许押运员来操作,他可以通过换卡做假,有了我们的技术就可以给企业降低很多的风险。所有的技术都是图文并茂,我们会把司机的照片短视频发到管理平台上,起到教育举证的目的。

我们可以简单看看人脸上的特征点,你看到把他的眼睛、鼻子、嘴巴还有出现的一些朝向全部分析出来了,其实这里面做得更多的是对他手部的动作,脸部的朝向,包括像他抽烟、打电话,这些行为也是在系统当中进行了一个综合的分析。

对路面的这个,我们现在支持的车道线车辆的检测,这两个中间所有的报警信息是融合的过程。

这个讲的是两段价值百万的视频,这个请主办方帮忙播放一下。

这是我们系统主动抓拍发到平台端的视频,司机是拉着集装箱的司机,他在车速70、80码时候,拿着手机看电影,这种现象很多,糟糕的时候一天有一两百次,因为开车的时候比较无聊,手机是脱离不了的。

看右边视频的情况是12点半发生的,其实在这之前司机已经连续不断地打了很多次哈欠,然后真的睡着了。包括最近我们给几个高端物流车辆测试,我们都抓出了疲劳驾驶,因为现在中国的司机工作的负荷非常重。这些情况如果导致了事故的发生,一定是非常重大的事故,第一是车速非常快,第二注意力完全不在路面上,或者他要睡着了,或者对车辆没有任何控制和响应能力,这就是保险公司最头疼的情况。

幻灯片10.jpg

我们把整个的硬件加系统,主要是实现了三大异常管理。第一就是我们说的驾驶日常,在这个过程中驾驶的疲劳驾驶,开车的玩手机、打哈欠、抽烟、乱变道等等,这些都是事故隐患,我们根据它的事故的构成定点做了定向的功课,包括机械异常,从CAN里面得到了信息。这里面比较危险的是空档滑行,在我们的商用车里有很多有这样的驾驶的习惯,这些是和业务相关的功能,不是核心的,只是系统顺便给大家实现。

幻灯片11.jpg

最后是整个系统的合成,硬件会把信息发到分布式的云平台上面,包括大数据的分析,包括图像视频的存储分类,每个用户会有自己的帐号,可以看到他下面所有车的行为,包括像里面会注册登记,每一个司机都会有个行为档案,为企业将来做司机培训和KPI考核提供报表材料。

这是系统的具体功能,大家可以看到,其实我们整个的系统安全相关的报警将近20种,我们把每一个人的行为都进行了一些细分,这是对路的一些功能,也是ADAS的主流支持的一些功能。

幻灯片14.jpg

这是我们的爱心系统,我们会把所有司机每一次行为都放到这个平台上面来,如果出现事故也是一个取证的过程,同时可生成所有的报表。我们知道中国现状里,小车队挂靠公司的特别多,上午讲了5辆车以下的车队占90%以上,这些车队其实没有管理意识,也没有管理的能力。但是他很关注安全,因为每一辆车上都背着贷款,出一次事故关系到企业的生存。

我们做什么呢?我们就抛开平台做轻,主要包括司机的行为和报表,最后会到企业管理员的手机上。甚至我们向危险化学品行业学习,在做司机的管理培训时,请司机的家人一起参加,让他们看到拉危险品一旦出现事故会有什么样的危害,也会在司机家人允许的前提下,让他们家人也看到司机开车的状况,在严重的情况下有一个多方的联动。

径卫视觉王波:基于人脸识别技术的驾驶行为分析解决方案

这是我们实际运用中的司机的行为,各种的违规,各种风险驾驶,还有坏习惯,包括像抢红灯急刹车,这些都是我们实打实的案例。这个是和管理融合的效果,你需要有一些激励的手段培训司机,最后发现他的驾驶行为会有非常大的改善。所有对他的指正你必须有证据,你说他的驾驶习惯不好,必须拿出来图片或者视频,这样他才会心服口服。

径卫视觉王波:基于人脸识别技术的驾驶行为分析解决方案

这是包括我们在危险品行业里的应用,但是径卫最主要的是闭环,我们通过安全监控来实现主动预警,我们把他的行为结合企业的管理制度,比如说危险品抽烟,不管从管理部门还是企业都是严格禁止的、零容忍,一旦发现了对司机需要进行严格处理。还有一些行为是需要改善的,比如乱变道,这样的行为属于驾驶技术不足,需要进行一些改善。再往后是管理的细化,这个时候就要从企业的业务安排和调度的角度去做一些优化,这个闭环就可以保证事故数量会有一个大幅度的下降。

径卫视觉王波:基于人脸识别技术的驾驶行为分析解决方案

所以我们看什么是主动安全预警。我们认为体现在三点,一个是预警的主动,就说我们通过这些图像的分析的算法,主动的发现他违规的行为,绝对不像三级的视频一样,大海捞针一样,通过人工的远程的调阅视频,看有没有违规。实时的提醒驾驶者并且上报平台。

还有干预的主动,在出事故的前半个小时,发现他是处于高危状态下对它干预,通过语音的方式让他停下休息。还有管理层的机制,对他进行一些奖励和惩罚,用精确的数据分析,帮助驾驶员养成好的驾驶习惯。

这最适合中国目前商用车的营运环境,你完全不能指望只靠机器让他实现突破性的改变。商用车领域需要运营,开车是他的工作,是工作就要有管理,所以在整个系统里一定是人防加机防,两个结合起来,才能有一个安全的提升。

径卫视觉王波:基于人脸识别技术的驾驶行为分析解决方案

这是我们的一些优势,第一是使用的时间比较长,各种工况,不同人种都有覆盖。另外是监控的准确性,包括监控的类型也比较多。

基于人脸识别技术的驾驶行为分析解决方案

我们在这个行业里一直非常聚焦商用车,尤其是两客一危和公交市场,这是我们重点突破的。这是我们合作伙伴的照片,有典型的危险品运输用户,公交用户,也有一些车厂,因为我们有的时候会自己做销售运营,也有可能会和别人结合,以Tier2的角色供给车厂。这是我们的一些安装实例,你会看到有重型车,有港口车辆,包括铁路危险品,这些都是我们来安装的场景。

我大概就讲这么多,谢谢大家。

相关标签:
ASC2017
安全
  • 车云星
  • 空间站
  • 福特星球
  • 虫洞

加料 /

人评论 | 人参与 登录
查看更多评论