gogo850
Fatigue Detection Technology

A Review of the Driver Fatigue Detection Technology

*

Cheng Bo , Zhang Guang-yuan, Feng Rui-jia, Zhang Wei
State Key Laboratory of Automotive Safety and Energy, Tsinghua University, Beijing, 100084,
[email protected]*

 

Abstract: Driver fatigue is a major cause of road accidents. This paper discusses the methods of detecting driver fatigue based on the driver’s physiological signals, response characteristics, driving behavior and lane keeping characteristics. In this paper the recent developments of driver fatigue detection technology world-wide are also introduced. The findings from this review are discussed in the light of directions for future studies and development of fatigue detection. Keywords: driver fatigue, EEG, PERCLOS, information fusion


1. 引言

疲劳驾驶是当今交通安全的重要隐患之一。驾驶人在疲劳时,其对周围环境的感知能力、形势判断能力和对车辆的操控能力都有不同程度的下降,因此很容易发生交通事故。统计数据表明,在2007 年至2008 年我国直接由疲劳驾驶导致的死亡人数分别占机动车驾驶人交通肇事总死亡人数的11.35% 10.91% 12.5%[1]-[3], 大约每年有9000 人死于疲劳驾驶。因此,研究开发高性能的驾驶人疲劳状态实时监测及预警技术,对改善我国交通安全状况意义重大。

2. 驾驶人疲劳状态监测方法

关于驾驶人疲劳及注意分散等安全状态的监测预警技术,由于它在交通事故预防方面的发展前景而受到各国高度的重视,研究人员根据驾驶人疲劳时在生理和操作上的特征进行了多方面的研究,一些研究成果已形成产品并开始进入市场。

驾驶人疲劳状态的检测方法可大致分为基于驾驶人生理信号、基于驾驶人生理反应特征、基于驾驶人操作行为和基于车辆状态信息的检测方法。

2.1 基于驾驶人生理信号的检测方法

针对疲劳的研究最早始于生理学。相关研究表明,驾驶人在疲劳状态下的生理指标会偏离正常状态的指标。因此可以通过驾驶员的生理指标来判断驾驶人是否进入疲劳状态。目前较为成熟的检测方法包括对驾驶人的脑电信号EEG、心电信号ECG等的测量。

研究人员很早就已经发现EEG能够直接反映大脑的活动状态[4]。文献[5]中的研究发现在进入疲劳状态时,EEG中的delta 波和theta 波的活动会大幅度增长,而alpha波活动会有小幅增长。另一项研究[6]通过在模拟器和实车中监测EEG信号,试验结果表明EEG对于监测驾驶人疲劳是一种有效的方法。研究人员同时发现,EEG信号特征有很大的个人差异,如性别和性格等,同时也和人的心理活动相关很大[7]

ECG主要被用于驾驶负担的生理测量中。研究表明在驾驶人疲劳时ECG会明显的有规律的下降[5],并且HRV (心率变化)和驾驶中的疲劳程度的变化有潜在的关系[8]

基于驾驶人生理信号的检测方法对疲劳判断的准确性较高,但生理信号需要采用接触式测量,且对个人依赖程度较大,在实际用于驾驶人疲劳监测时有很多的局限性,因此主要应用在实验阶段,作为实验的对照参数。

2.2 基于驾驶人生理反应特征的检测方法

基于驾驶人的生理反应特征的检测方法是指利用驾驶人的眼动特性、头部运动特性等推断驾驶人的疲劳状态。

驾驶人眼球的运动和眨眼信息被认为是反映疲劳的重要特征[10],眨眼幅度、眨眼频率和平均闭合时间都可直接用于检测疲劳[11] 。目前基于眼动机理研究驾驶疲劳的算法有很多种,广泛采用的算法包括PERCLOS,即将眼睑闭合时间占一段时间的百分比作为生理疲劳的测量指标[12][13]

利用面部识别技术定位眼睛、鼻尖和嘴角位置,将眼睛、鼻尖和嘴角位置结合起来,再根据对眼球的追踪可以获得驾驶人注意力方向,并判断驾驶人的注意力是否分散[14]

Philip W. Kithil 利用头部位置传感器检测驾驶人点头动作[15],该传感器通过电容传感器阵列输出驾驶人头部距离每个传感器的位置,可实时跟踪头部的位置,根据头部位置的变化规律判定驾驶人是否瞌睡, 该研究发现点头的动作和瞌睡有非常好的相关性。

基于驾驶人生理反应特征的检测方法一般采用非接触式测量,对疲劳状态的识别精度和实用性上都较好[5][9]

2.3 基于驾驶人操作行为的检测方法

基于驾驶人操作行为的驾驶人疲劳状态识别技术,是指通过驾驶人的操作行为如方向盘操作等操作推断驾驶人疲劳状态。

Yoshihiro Takei 利用FFT对监测到的驾驶人的方向盘操作数据进行处理,研究结果在一定程度上揭示了驾驶人的方向盘操作与疲劳之间的关系[16]。文献[17]的研究指出方向盘的操作是一种有效的驾驶疲劳的判断手段。Yabuta[9]开发的驾驶人防疲劳装置中也使用了方向盘操作信息。总体来说,目前利用驾驶人操作行为进行疲劳识别的深入研究成果较少。驾驶人的操作除了与疲劳状态有关外,还受到个人习惯、行驶速度、道路环境、操作技能的影响,车辆的行驶状态也与车辆特性、道路等很多环境因素有关,因此如何提高驾驶人状态的推测精度是此类间接测量技术的关键问题。

2.4 基于车辆行驶轨迹的检测方法

利用车辆行驶轨迹变化和车道线偏离等车辆行驶信息也可推测驾驶人的疲劳状态。这种方法和基于驾驶人操作行为的疲劳状态识别技术一样,都以车辆现有的装置为基础,不需添加过多的硬件设备,而且不会对驾驶人的正常驾驶造成干扰,因此具有很高的实用价值。

日本三菱汽车公司开发了利用车辆横向位移量、驾驶人操作量等复合参数来识别驾驶人疲劳状态的方法,实验证明该方法的识别结果与利用驾驶人眨眼次数的识别结果基本一致[18]。日本庆应大学(2005) 中岛研究室利用EEG评价驾驶人的睡意,研究发现车辆的横向位移量、方向盘操作量可以用来作为驾驶人疲劳状态的评价指标,而且可以实现疲劳早期预警。

3. 国内外驾驶人疲劳状态监测技术的开发现状

美国Attention Technologies 公司推出的Driver Fatigue MonitorDD850) 是一款基于驾驶人生理反应特征的驾驶人疲劳监测预警产品,产品外形如图1所示。该产品通过红外摄像头采集驾驶人眼部信息,采用PERCLOS作为疲劳报警指标,可直接安装在仪表盘上,报警的敏感度和报警音量均可调节,目前已推广应用,但只有晚上才有效。

 


1 Driver Fatigue Monitor 2 S.A.M.疲劳报警装置

美国Digital Installations 开发的S.A.M.疲劳报警装置利用置于方向盘下方的磁性条检测方向盘转角,如图2所示。如果一段时间内驾驶员没有对方向盘进行任何修正操作,则系统推断驾驶员进入疲劳状态,并触发报警。

美国AssistWare Technology 公司的SafeTRAC 利用前置视频头对车道线进行识别,当车辆开始偏离车道时进行报警,该产品也可通过车道保持状态结合驾驶人的方向盘操作特性判断驾驶人的疲劳状态。图3SafeTRAC 的产品外观和车道线识别界面。

 


(a) (b)
3 SafeTRAC疲劳报警装置 (a)产品外观 (b)车道线识别界面

英国的ASTiD (Advisory System for Tired Drivers) Driver Alert 装置综合考虑驾驶员的睡眠信息、已完成的驾驶时长和类型,以及驾驶员的方向盘操作等各种因素判断驾驶人疲劳状态。装置运行前需要驾驶员输入自己过去24小时的睡眠信息。当视觉报警到一定程度时,触发声音报警,建议驾驶员停车并休息。休息一段时间后,内置闹钟会叫醒驾驶员,并重置驾驶时间。产品外观如图4所示。

 


4 ASTiD 产品外观图5 AWAKE 系统样车示意图

欧盟的AWAKE 项目对人眼生理反应信息、方向盘操作转角信息、方向盘转向力信息以及车道线信息进行了检测和记录,通过研究这些信息与疲劳之间的关系,利用信息融合技术实现驾驶人疲劳分级评价,采用声音、光照闪烁以及安全带振动等方式对疲劳实现预警,开发了驾驶人疲劳检测报警系统。该系统样车示意图如图5所示。

除了上述这些产品之外,还有通过手腕运动检测疲劳的疲劳报警手镯和可挂在眼睛腿上的利用加速度运动信息检测头部运动的疲劳检测眼镜等其它一些疲劳检测预警产品。

国内对驾驶人安全状态监测技术的研究起步较晚,相关研究主要在大学等研究机构进行。首都师范大学在基于机器视觉的嵌入式驾驶疲劳检测系统方面进行了研究,在实验室环境实现了检测系统平台,但是在算法的效率、疲劳判定的实时性、准确性和鲁棒性上还有待进一步提高[19]。第四军医大学和航空医学研究所对人眼的状态检测和头部运动做了一系列的实验,在利用基于视频的眼部生理特征判断驾驶人疲劳方面做了较为深入的研究工作[20]。吉林大学对人眼定位方法进行了一些系统的研究[21]。综上所述,国内以上相关领域的研究主要集中在基于视频信号的驾驶人面部生理特征的研究方面,而且目前各种算法在识别精度、可靠性、实时性等基础性能方面尚存在问题,与国外相关研究相比存在较大差距。

 

由清华大学和东南大学的几位博士组建的中国单片机公共实验室南京研发中心联合南京远驱科技有限公司研究出来的gogo850是国内唯一已经商业化的疲劳驾驶预警系统,其原理和丰田十三代皇冠标配的瞌睡报警系统类似,主要检测驾驶员的眼睛开合情况,尤其增加了对瞳孔的识别,睁眼睡觉瞳孔很暗,即使有驾驶员睁眼睡觉也能被识别出,基于红外图像的处理使得产品在阳光下和黑暗里都能进行识别,系统还能对带各类眼镜的驾驶员进行识别,实用性很强。

以清华大学汽车安全与节能国家重点实验室为核心的团队承担了国家十一五863 研究课题,开展驾驶人疲劳状态监测及预警技术的研究,以开发具有高准确性和高可靠性的驾驶人疲劳及注意分散状态的实时监测技术,可适用于实际道路环境并实现全天候工作,降低因驾驶人疲劳驾驶或注意分散导致的交通事故。该技术以眼部生理反应特征为主,结合方向盘转角信息和车辆行驶轨迹等特征,充分利用不同信息之间的互补性和冗余性,通过信息融合提高对驾驶人状态判别结果的准确性与可靠性。

4. 结论

对驾驶人疲劳状态监测方法与装置的研究, 对于预防由疲劳驾驶引起的交通事故有重要意义, 其应用前景广阔, 可以预见在未来很长一段时间内都将是汽车安全技术领域的一个热点方向。但是,驾驶人的疲劳状态受多种因素影响,到目前为止还没有发现非常有效的指标或模型能够对疲劳等级进行精确的评价。因此需要进一步深入研究各种指标与驾驶人疲劳等级之间的关系。另外,现有的驾驶人疲劳状态监测方法大都基于某一单项指标,虽然在限定条件下能够达到一定的精度,但在实际复杂多变的行车环境下,其准确性和可靠性上还存在问题,难以达到预期要求。针对这一问题,多源信息融合方法将成为一个发展方向。

参考文献

  1. [1] 2008 年全国道路交通事故概况,道路交通管理,2008(1):4-5
  2. [2] 驾驶人疲劳状态检测技术的现状与发展 清华大学 成波教授
  3. [3]    Santamaria J., Chiappa K.H. The EEG of Drowsiness. Demos Publications, New York, 1997
  4. [4]   Lal S.K.L., Craig A. Driver fatigue: Electroencephalography and psychological assessment. Psychophysiology, 2006(39):313-321
  5. [5] A kerstedt T., Torsvall L., Gillberg M.,. Sleepiness and shiftwork: field studies. Sleep 5 (Suppl. 2), 1988:95–106
  6. [6]    Santamaria J., Chiappa K.H. The EEG of drowsiness in normal adults. J. Clin. Neurophysiol. 1997(4):327–382
  7. [7]    Hartley L.R., Arnold P.K. Indicators of fatigue in truck drivers. Appl. Ergonomics, 1994.25 (3): 143–156
  8. , [8]    Yabuta K., Iizuka H., Yanagishima T., Kataoka Y. The development of drowsiness warning devices. US Department of Transportation. 1985. Section 4:282

Copyright 2009 Nanjing fardriver Technology Co., Ltd