DOI: 10.11817/j.issn.1672-7207.2020.05.026
PPG信号用于高温高湿伤害预警的可行性研究
王梦飞,金龙哲,于露,徐明伟
(北京科技大学 土木与资源工程学院,北京,100083)
摘要:考虑到高温高湿环境对人体产生不良影响,影响安全生产,对光电容积脉搏波(PPG)信号用于识别人体进入高温高湿环境的可行性进行研究。采集人体处于高温高湿环境和舒适环境的光电容积脉搏波信号,将信号人工标记后输入残差神经网络进行训练,获得预警模型。研究结果表明:人体在高温高湿环境和舒适环境下光电容积脉搏波信号存在差异,这种差异可以被预警模型识别;训练集识别准确率为99.8%,测试集识别准确率为98.3%,训练集和测试集对高温高湿环境的查准率分别为99.8%和96.9%,查全率分别为99.8%和99.7%;训练结果的受试者工作特征曲线(ROC)与横坐标所围成的面积AUC接近于1,因而认为该模型有较强的泛化能力;所使用的方法预警时间为0.512 s,即在人体生理参数变化后0.512 s对人员发出预警。
关键词:光电容积脉搏波;高温高湿;残差神经网络;预警;信号识别
中图分类号:X914 文献标志码:A 开放科学(资源服务)标识码(OSID)
文章编号:1672-7207(2020)05-1424-07
Feasibility study of PPG signal used in early warning of high temperature and humidity damage
WANG Mengfei, JIN Longzhe, YU Lu, XU Mingwei
(School of Civil and Resource Engineering, University of Science and Technology Beijing, Beijing 100083,China)
Abstract: High temperature and high humidity environment has adverse effects on human body and affects safety production. Photoplethysmography(PPG) signal was used to identify whether human body enters high temperature and high humidity environment. The photoplethysmography signals of human body in high temperature and humidity environment and comfortable environment were collected.The signals were labeled artificially and then input into residual neural network for training,and an early warning model was obtained. The results show that there are differences in photoplethysmography between human body in high temperature and humidity environment and comfortable environment,which can be recognized by early warning model. The recognition accuracy of training set is 99.8%, and that of test set is 98.3%. The precision of training set and test set to high temperature and humidity environment are 99.8% and 96.9%, respectively. The recall rate of training set and test set to high temperature and humidity environment are 99.8% and 99.7%, respectively. The area AUC enclosed by the ROC curve and the abscissa is close to 1, so the model has strong generalization ability. The early warning time of the method used in this paper is 0.512 s, i.e.,warning is given to human after 0.512 s of the change of human physiological parameters.
Key words: photoplethysmography; high temperature and humidity; residual neural network; early warning; signal recognition
图1 PPG信号振幅与时间的关系
Fig. 1 Relationship between amplitude and time of PPG signal
社会工业化和城市地下空间的不断发展使得有限空间作业环境增多,有限空间由于其作业空间小、进出口常处于关闭状态而容易导致温度和湿度较高。高温环境指35 ℃以上的生活环境和32 ℃以上的生产环境,高湿环境指相对湿度在60%以上的环境[1]。高温高湿环境使得人体产生热应力,热应力会使人感觉意识模糊、疲劳乏力,较大的热应力会导致人产生热疾病甚至死亡[2-4]。LIND等[5]认为人体进入高温高湿环境时,失水量逐渐增多,从而导致人体不能形成热适应,在高温高湿环境下,在较短时间内停留能避免环境对人体的伤害。有限空间作业环境并非专门用于人员作业,一般不设置固定式温度湿度传感器,而手持式温度湿度测量仪在有限空间内操作复杂且占用人力资源,作业人员对温度、湿度难以精确判断,因而,无法主观辨别进入的有限空间是否为高温高湿环境,缺乏相应的警觉心理。人体进入高温高湿环境时,为适应环境会自动调整产热与散热的平衡[6],从而导致人体的相关生理参数发生变化,如血管扩张、心跳加速、每博输出量减少、血压改变等[7-8]。人体的光电容积脉搏波(photoplethysmography,PPG)含有心脏搏动、血管、呼吸频率、血压等信息[9-10],信号的测量简单快速,不对人体产生创伤,是一种合适的反映人体生理状态的信号。随着智能穿戴设备的发展,在线实时监测PPG信号并进行数据处理成为可能。金龙哲等[11-12]通过监测人体的PPG信号,分析人体生理状态进而判断其所处的环境。当人体处于舒适环境和高温高湿环境中时,其生理状态存在差异,本文通过PPG信号的差异性对高温高湿环境和舒适环境这2种模式进行识别。传统的统计学方法对信号进行识别时需要进行特征提取,人为设计特征提取方法存在特征提取不完全、特征有效性低、信息处理速度慢等问题[13-15]。本文利用深度学习自动提取PPG信号中的特征并进行分类,通过残差神经网络训练过程,保证卷积层提取到特征的有效性和完备性,提高模式识别的准确率[16-19]。
1 数据采集及预处理
1.1 数据采集实验设计
实验设置的高温高湿环境为:温度35 ℃,相对湿度80%。根据PMV(predicted mean vote)指数[19]设置正常舒适环境的温度为25 ℃,相对湿度为30%。实验人员共15名,包括8名男生(平均年龄22岁)和7名女生(平均年龄22岁),这15名被试人员的生理状态良好,实验前无饮酒、饮用咖啡、药物治疗等情况。实验地点为北京科技大学土木与资源工程学院微环境实验室,该实验室能够调节内部温度、湿度及各种气体环境。本实验经北京科技大学伦理道德委员会批准。
实验开始前,调节实验室环境到指定的温度和湿度,调节完成后被试人员进入环境内。待实验室环境进一步稳定后,开始采集被试人员的PPG信号。采集完毕后,实验人员离开实验室充分休息,休息结束后进行下一次实验。本次实验共进行30组,每组采集数据时间为3~5 min,实验设备采样频率为500 Hz。采集到的PPG信号如图1所示。
1.2 数据预处理
采集数据过程中由于存在电磁辐射、呼吸、运动等干扰,因而信号存在较多噪声,需要对信号进行预处理。信号处理软件为Matlab,具体处理过程如下。
1) 剔除野值。原始的PPG信号可能存在野值,根据不同个体差异设置不同的过滤阈值将野值剔除。
2) 去除基线漂移。PPG信号采集过程中出现的基线漂移是采集过程中被试细微运动造成的,以“db5”小波基对原始信号进行10级分解,利用第8级近似分量重建信号,获得信号的基线漂移趋势并去除。
3) 小波去噪。利用小波变换rigrsure阈值规则对信号进行去噪,该阈值规则使用无偏风险估计。设置阈值方法为“soft”,阈值尺度的调整方法为“sln”。离散小波变换的级数为5,小波基为“db5”。
4) 去除高频噪声。高频噪声出现的原因主要是存在电磁辐射。利用滑动平均滤波器对信号进行平滑处理去除高频噪声,滑动平均的窗宽设置为20。
5) 归一化处理。传统的数据归一化方法是将全部的数据同时进行归一化,保证数据进行相同缩放,保留较多的信息。由于不同个体的PPG信号振幅存在较大差异,这种差异大于由于环境变化所引起的PPG信号差异,因而,在进行归一化时,将不同个体的PPG信号分别进行归一化。此方法可以将信号振幅内所包含的信息去除,降低了个体间的差异。归一化使用matlab的mapminmax函数将数据归一化到[-1,1]。
数据预处理后得到较高信噪比的信号,数据预处理过程中信号的能量与频率的关系如图2所示。
图2 数据预处理过程信号的能量与频率的关系
Fig. 2 Relationship between energy and frequency of predisposing signal of data
1.3 数据切割及分组
为保证PPG信号的识别速度,将采集的3~5 min之内的信号切分为每256个采样点为1组数据,每组数据含有1个以上完整波形,共获得7 200组数据。采取随机切割的方法对数据进行切割。从随机点开始,依次切割数据,且在切割过程中数据未重复使用。数据切割完成后,利用reshape函数将数据从一维拓展到二维,即从1×256转换为16×16,以提高训练准确率。
数据切割完成后,将数据随机分为训练集和测试集,训练集含有6 480组数据,测试集含有720组数据。神经网络训练过程属于有监督学习,因而,需要对每组数据进行标记,本文将高温高湿环境下采集的PPG信号标记为1,将舒适环境采集的PPG信号标记为0。
2 残差神经网络模型搭建及训练
2.1 函数设置
2.1.1 激活函数
激活函数是神经网络训练时内部的映射函数,该函数能够保证计算过程的非线性。随着神经网络层数和每层神经元个数增加,神经网络内部激活函数的个数也会增加,提高了神经网络的复杂度。
本文激活函数使用ReLU(rectified liner uints)函数,该函数的表达式为
(1)
该函数的输入范围为实数域,输出范围为[0,+∞)。ReLU函数由于没有受指数函数的影响,因而简化了计算过程,提高了计算速度,使得整个神经网络的计算成本降低。
2.1.2 优化算法
本文所使用的优化算法为Adam(adaptive moment estimation)算法。Adam算法是一种一阶优化算法,它能基于训练数据迭代更新神经网络权重。Adam算法兼具AdaGrad(adaptive gradient algorithm)和RMSProp(root mean square prop)算法的优点。Adam算法基于一阶矩均值计算适应性参数学习率,同时利用了梯度的二阶矩均值。
2.1.3 损失函数
本文使用交叉熵函数作为损失函数,公式为
(2)
式中:为交叉熵;P为表征真实值分布情况的变量;Q为表征预测值分布情况的变量。交叉熵可以用于衡量P和Q分布的相似性。
2.2 神经网络设置
利用Tensorflow搭建残差神经网络,网络中包含4个卷积层、4个批归一化层、4个ReLU层和2个全连接层。卷积层具体参数设置如表1所示。
表1 卷积层超参数
Table 1 Convolution layer superparameters
原始的数据经过人为归一化处理,然而,中间层数据随着训练参数的更新,数据分布发生变化,当网络层数较多时,中间层输入数据的分布变化较大,从而使得网络的泛化性能降低,因而,数据在进入ReLU函数之前进行批归一化处理,以便解决训练的中间层数据分布发生变化的情况。神经网络结构如图3所示。
2.3 神经网络训练
训练过程迭代时,每个批次喂入数据120组,共喂入54个批次。迭代次数设置为3 000次,当测试集准确率高于98%时自动停止迭代。停止迭代后,将所有训练集和测试集数据输入模型,并根据输出结果与标记的结果进行对比以获得模型的准确率、损失值及评价指标。
3 模型训练结果及分析
3.1 神经网络训练结果
残差神经网络训练共进行了489次迭代。在迭代过程中,训练集准确率、测试集准确率、训练集交叉熵、测试集交叉熵如图4所示。从图4可见:最终模型的训练集准确率为99.8%,测试集准确率为98.3%,训练集交叉熵为0.363,测试集交叉熵为0.383。训练集与测试集准确率相差较小,为1.5%,因而认为该网络的训练结果有较强的泛化能力。
图3 神经网络结构
Fig. 3 Neural network structure
图4 训练过程中准确率与迭代次数的关系
Fig. 4 Relationship between accuracy and iteration times in training iteration processes
3.2 混淆矩阵分析
混淆矩阵是分析模型训练结果的重要方法,可以通过混淆矩阵判断模型的分类能力。神经网络训练结果的混淆矩阵如图5所示(其中,坐标刻度数据0和1为标签,是对数据的一种标记)。从图5可见:模型在测试集的准确率为98.3%;在训练集中,高温高湿环境和舒适环境的查准率分别为99.8%和99.8%,查全率分别为99.8%和99.8%;在测试集中,高温高湿环境和舒适环境的PPG信号查准率分别为96.9%和99.7%,查全率分别为99.7%和97.1%。高温高湿环境虽然对人体产生不良影响,然而,该影响并不是瞬时的和致命性的,因而,对高温高湿伤害预警的查准率更关键,训练集和测试集对高温高湿环境的查准率相差2.9%,因而认为通过训练所得的模型在实际使用中有较强的泛化能力,能够对高温高湿环境和舒适环境的PPG信号进行较好识别。
图5 混淆矩阵
Fig. 5 Confusion matrixes
3.3 受试者工作特征曲线分析
受试者工作特征曲线(receiver operating characteristic curve, ROC)可以表征模型的分类性能,模型的ROC曲线如图6所示(真阳率指检测出来的真阳性样本数除以所有真实阳性样本数;假阳率指检测出来的假阳性样本数除以所有真实阳性样本数)。ROC曲线与横坐标所围成的面积为AUC,AUC与分类性能的关系如表2所示。由图6可知:训练集和测试集ROC的AUC都接近于1,因而认为训练所得的模型能够对PPG信号进行准确分类。
图6 ROC曲线
Fig. 6 ROC curves
表2 AUC与分类性能
Table 2 AUC and classification performance
3.4 预警速度分析
利用PPG信号进行预警时,需要采集人体的PPG信号。使用本文方法,在采集频率为500 Hz时,每次使用256个采集点,需要时间为0.512 s,即人体进入高温高湿环境在生理参数自动调整后的0.512 s时开始发出预警,这样,在较短的预警时间能够保证进入高温高湿环境的人员及时知晓自身当前生理状态,提高警惕以保证自身安全,同时能够使得作业人员在工作一定时间后及时退出高温高湿环境进行休息,减少身体损伤。
4 结论
1) 人体在高温高湿环境和舒适环境产生的PPG信号存在差异,通过残差神经网络训练获得的模型能够识别这种差异,进而对人体是否处于高温高湿环境进行预警。
2) 通过训练残差神经网络对人体处于不同环境的PPG信号进行识别分类,训练集和测试集的准确率分别为99.8%和98.3%,对高温高湿环境的查准率分别为99.8%和96.9%;该模型的AUC接近1.00,分类性能优良,有较强的泛化能力。
3) 预警模型输入的数据为0.512 s采集到的PPG信号。人体进入高温高湿环境时生理参数发生变化,在变化后的0.512 s即可对作业人员发出预警。
参考文献:
[1] 何学秋, 林柏泉, 程卫民, 等. 安全工程学[M]. 北京: 中国矿业大学出版社, 2000: 321-323.
HE Xueqiu, LIN Boquan, CHENG Weimin, et al.Safety engineering[M]. Beijing: China University of Mining and Technology Press, 2000: 321-323.
[2] GUN R T, BUDD G M.Effects of thermal, personal and behavioural factors on the physiological strain, thermal comfort and productivity of Australian shearers in hot weather[J]. Ergonomics, 1995, 38(7): 1368-1384.
[3] SHIBASAKI M, NAMBA M, KAMIJO Y I, et al.Effects of repetitive exercise and thermal stress on human cognitive processing[J]. Physiological Reports, 2019, 7(4): e14003.
[4] COOMBS G B, CRAMER M N, RAVANELLI N, et al.Thermoregulatory responses to exercise at a fixed rate of heat production are not altered by acute hypoxia[J]. Journal of Applied Physiology, 2017, 122(5): 1198-1207.
[5] LIND A R, BASS D E. Optimal exposure time for development of acclimatization to heat[J]. Federation Proceedings, 1963, 22(22): 704.
[6] NIELSEN, B. Regulation of body temperature and heat dissipation at different levels of energy-and heat production in man[J]. Acta Physiologica Scandinavica, 1966, 68(2): 215-227.
[7] HARRISON M H.Heat and exercise[J]. Sports Medicine, 1986, 3(3): 214-223.
[8] HARRISON M H. Effects on thermal stress and exercise on blood volume in humans[J]. Physiological Reviews, 1985, 65(1): 149-209.
[9] SANCHO J, ALESANCO A , GARCIA J. Biometric authentication using the PPG: a long-term feasibility study[J]. Sensors, 2018, 18(5): 1525.
[10] TAMURA T, MAEDA Y, SEKINE M, et al.Wearable photoplethysmographic sensors: past and present[J]. Electronics, 2014, 3(2): 282-302.
[11] 金龙哲, 王梦飞, 于露, 等. 基于PPG信号的有限空间低氧伤害评估与预警[J]. 天津大学学报(自然科学与工程技术版), 2019, 52(8): 822-828.
JIN Longzhe, WANG Mengfei, YU Lu, et al. Assessment and early warning regarding hypoxic injury in a confined space based on the photoplethysmography[J]. Journal of Tianjin University(Science and Technology), 2019, 52(8): 822-828.
[12] 于露, 金龙哲, 王梦飞, 等.基于深度学习的人体低氧状态识别[J]. 工程科学学报, 2019, 41(6): 817-823.
YU Lu, JIN Longzhe, WANG Mengfei, et al.Recognition of human hypoxic state based on deep learning[J]. Chinese Journal of Engineering, 2019, 41(6): 817-823.
[13] AVINASH M, SIVASANKAR E. A study of feature extraction techniques for sentiment analysis[J]. Emerging Technologies in Date Mining and lnformation Security, 2019, 814: 475-486
[14] KHADSE C B, CHAUDHARI M A, BORGHATE V B. Electromagnetic compatibility estimator using scaled conjugate gradient backpropagation based artificial neural network[J]. IEEE Transactions on Industrial Informatics, 2017, 13(3): 1036-1045.
[15] AKHTAR N, MIAN A. Threat of adversarial attacks on deep learning in computer vision: a survey[J]. IEEE Access, 2018, 6: 14410-14430.
[16] RAZZAK M I, NAZ S, ZAIB A. Deep learning for medical image processing: overview, challenges and the future[C]//Lecture Notes in Computational Vision and Biomechanics. Cham: Springer International Publishing, 2017: 323-350.
[17] TOKTAM Z, MOHAMMAD H, MAHMOOD D. Adaptive windows multiple deep residual networks for speech recognition[J]. Expert Systems With Applications, 2020,139: 112840.
[18] HOFFMAN J, PATHAK D, TZENG E, et al. Large scale visual recognition through adaptation using joint representation and multiple instance learning[J]. Journal of Machine Learning Research, 2016, 17(1): 4954-4984.
[19] LECUN Y, BENGIO Y, HINTON G.Deep learning[J]. Nature, 2015, 521(7553): 436-444.
(编辑 陈灿华)
收稿日期: 2019 -07 -18; 修回日期: 2019 -10 -12
基金项目(Foundation item):国家“十三五”重点科技支撑项目(2016YFC0801700) (Project(2016YFC0801700) supported by the National Key Science and Technology Subsidy Program for the 13th “Five Year” Plan)
通信作者:金龙哲,博士,教授,从事安全科学研究;E-mail:lzjin@ustb.edu.c